启步网

目光接触：眼睛巩膜线圈追踪虚拟现实

联合编译：章敏、陈圳

摘要

人眼追踪技术在移动和可穿戴式系统领域正变得越来越重要，尤其是对于新兴的虚拟和增强现实应用（VR和AR）。目前对于可穿戴AR和VR耳机的人眼追踪方法，依赖于光学跟踪，并且要实现典型的精度（0.5度至1度）。我们基于使用巩膜搜索线圈的磁辐射跟踪，研究了一个高时间和空间分辨率的眼睛跟踪系统。该技术曾经依赖于直径为几米的大型发电机线圈，或者需要约束用户的头部。我们提出了一个可穿戴的巩膜搜索线圈跟踪系统，它允许用户走动，并且消除了头部的约束/房间大小的线圈。我们的技术涉及到一个独特安置的发电机线圈和一个新的校准方法，它可以通过更小的线圈产生不均匀磁场。使用此技术，我们可以用平均校准精度为0.094度的精度估计眼睛的方向。

ACM分级关键词

H.5.m信息接口和演示文稿（如HCI）等

作者关键词

眼睛跟踪；磁跟踪；巩膜搜索线圈；头戴式显示器；虚拟现实

简介

精确和高速的人眼追踪在确保虚拟现实（VR）和增强现实（AR）的关键场景方面至关重要。人眼追踪可以确保一种新的凝视介导输入（gaze mediated input）和技术如视网膜中央凹的渲染，它可以通过聚焦用户目光位置的渲质量降低AR/VR所需要的计算量，戴着头盔显示器（HMD）时无法使用传统的运动捕捉系统。高精度的人眼追踪也可以确保学习，人类的前庭视觉系统如何响应虚拟现实。

图1。人眼巩膜线圈跟踪器可以夹在HMD上且不需要使用头部安装或房间大小的磁场线圈

现有的可穿戴式人眼追踪系统的研究主要集中于使用和提高最优的追踪技术。然而，高分辨率人睛追踪最高标准仍然是用巩膜搜索线圈（SSC）进行磁辐射跟踪。巩膜线圈追踪可以用高时间（大于1KHz）和空间分辨率（校准误差小于0.1）记录小幅度的运动。该项技术中，头部放在大亥姆霍兹线圈（ large Helmholtz coils可以产生均匀磁场）之间。钢丝圈嵌入在硅环（放置在眼睛的巩膜处）中。磁场根据它的方向诱导巩膜线圈中的电压。系统通过检查线圈引出的细线诱导的电压大小，来估计眼睛的方向。

SSC追踪最大的局限是：它需要一个大的直径为几米的发电机线圈，或者需要头部约束如：咬棒或腮托。为了克服这一限制，我们提出了一种与HMD兼容的可穿戴式巩膜搜索线圈追踪系统，如那些使用在虚拟现实系统中的一样。通过直接在HMD安装较小的发电机线圈，如图1所示，我们约束线圈相对于头部的位置允许对象自由地移动，并消除头部固定/房间大小的线圈的需求。

插入巩膜搜索线圈是一个固有的侵入性程序，通常通过局部麻醉的方式进行，并且要求有一个训练有素的技术人员进行监督。因此我们不建议消费者在VR/AR系统中使用巩膜线圈追踪器。我们只希望研究者在需要高精度、高时空分辨率追踪和空间分辨率的可穿戴HMD情景中使用它。例如，物理学研究人员可以使用我们的系统获得高分辨率的数据，来研究注视期间眼睛发生的微颤（0.2度）运动，同时在HMD上呈现视觉目标，以便更好的理解眼睛的行为变化。现存基于视觉的HMDs人眼追踪器通常没有足够的精度和时间分辨率，来进行这些方面的学习。我们同样想鼓励研究人员考虑用SSC系统获得地面实况数据，用于评估更多传统的光学人眼追踪系统。我们系统还有一个可能的应用是在医学领域，巩膜线圈追踪是微妙的前庭诊断，眼科和神经系统疾病的黄金标准。

本文具体的贡献如下：

1.用于高速度和高精度人眼追踪（不需要外界的仪器仪表）的可移动，头戴式系统。

2.独特的线圈放置位置确保重建凝视和巩膜线圈在空间中的位置 。

3.由较小的发电机线圈创建的用于不同领域的校准技术。

4.五级自由度的高精度机器测试，它允许使我们能够彻底地描述磁场，并确保评估的准确性以及一个独立于用户固定精度的精准SSC追踪系统。

背景和相关工作

在该部分，我们讨论了有关磁场人眼追踪器和SSC系统的工作原理和研究。同时我们也浅谈了磁场人眼追踪器的替代方法（视频，电图）。

人眼追踪系统

基于视频的追踪是人眼追踪最常用的方法。高终端的商业视频人眼追踪系统如 the SR Research EyeLink 1000 Plus，可以用0.33度的精度在1000Hz进行简化。Tobii和SMI的商业可穿戴人眼追踪系统，采用了红外照明的轻型眼镜形式。这些系统通常有着0.5度的精准度和60Hz到100Hz的输出数据，但它不是设计来兼容HMD的。Dual Purkinje追踪是一种可替代的高精度时间跟踪技术，但它需要复杂的镜子组和伺服电机，这使得头戴式显示器的实现变得更加困难。了解更多关于基于视频的可穿戴追踪器的观点，见Bulling和他同事的评论。

基于视频的人眼追踪方法最近被用于HMD。例如SMI追踪系统可用作Oculus Rift DK2和Samsung Gear VR的附加软件包。在60Hz的数据速率下达到0.5度到1度的精准度。Arrington Research和 Tobii的附加解法表现出了相同的性能。尽管解法会随着时间推移而改善，当前的解法数据速率和精度非常低，而且是专为一个特定的HMD视觉设计的。

另一个用于人眼追踪更古老的方法是眼动电图描记法（EOG）。眼睛是角膜与视网膜之间电偶极子的来源；记录EOG时这种角膜视网膜电位可高达1 mV，并且可变化成眼睛方位的函数。眼动电图描记法通过测量角膜视网膜电位放置在眼睛周围的电极来测量眼睛的移动。EOG信号是嘈杂的，通常只用于水平眼运动或检测眨眼和眼球的姿势。

巩膜线圈追踪

巩膜线圈跟踪是人眼追踪的黄金标准，尤其是在医学研究界内。Robinson在1963发展了这种技术，Collewijin和他的同事在1975年精炼了该技术，并且提供了一个达10KHz的数据速率，且校准精度好于0.1度。对象戴着一个嵌入了硅胶环（安置在巩膜上）的线圈（图2）。有一条细线连接到外部测量单元。外部发电机线圈产生一个磁场，包括线圈中产生的电压（被放大并测量）。

巩膜线圈追踪器的工作原理

巩膜线圈追踪依赖于呈现在用户眼睛前的交变磁场。使用交流电流驱动电磁铁（由线圈形成）是非常有效的方法，用来产生振荡在一个特定频率的磁场。根据Biot-savart定律，沿导线线圈流动的电流会产生磁场，类似于图3。

根据法拉第感应定律：这些发电机线圈与巩膜接触产生的振荡磁场，会在巩膜线圈内诱导出相同频率的电流。巩膜线圈中的电流与磁通过线圈包围表面的磁通的变化率成正比。

通过线圈的磁通量取决于磁场中线圈的方位。如果线圈与磁场垂直（也就是说，线圈的正常矢量与场垂直），那么磁通和感应电压的大小将是最大的。当线圈和磁场平行时，感应电压降低到零。如果线圈被翻转，电压将有一个180的相移，这可以表示为负振幅。

图2。克罗诺斯公司的三维扭转巩膜线圈。原始线圈通过接触捕获流动的磁通，而扭转线圈捕获跨越接触的通量。

图3。（左）传统的巩膜线圈跟踪器利用亥姆霍兹线圈对产生磁场，它产生量非常小，其中的磁场对小的头部运动不敏感。（右）我们的系统中单线圈产生的场，它产生了一个发散的磁场。

利用该现象，SSC追踪器可以通过测量巩膜线圈中电压信号的大小，评估人眼方位。然而，由于单一的磁场信息不足够以完全指定凝视，大多数的巩膜都使用三个正交线圈跟踪发电机线圈（操作在不同的频率或正交）。通过在不同频率测试巩膜线圈的信号，我们可以测试每一个发电机线圈的磁通。通常，磁场是由称为 亥姆霍兹线圈（Helmholtz coils）的大线圈对产生。如图3（左）所示，这些线圈对，通过创建一个在x，y和z方向区域的均匀磁场简化凝视评估。在该区域，磁场方向和幅度对于巩膜线圈的位置，相对来说是不敏感的，它允许用户进行少量的运动。具有较小的亥姆霍兹线圈系统（直径小于1米），均匀体积仅为几厘米宽，且限制是用来保持头部在此卷内的。这些设计限制需要大量的空间和成本约束，这阻止了该技术应用于医疗专用设施中心之外。现今，研究人员将巩膜线圈人眼追踪用于前庭神经系统疾病的诊断和生物医学研究。

一些SSC系统也寻求措施扭转眼睛的视觉轴。在传统的线圈系统中，巩膜接触内的单线圈不足以决定眼睛的扭转。因此，一些巩膜接触含有第二个扭转线圈。如图2所示，这个线圈在眼睛周围形成两个循环（在两个不同的层面上）。虽然主线圈通过接触捕获磁通量，但在扭转线圈中的所有电流都是由于磁通穿过线圈产生的。在概念上自然而然的考虑到扭转线圈作为一个第二线圈（垂直于初级线圈）。

巩膜线圈追踪的改进

为了增加SSC方法的可用性，几个项目已试图消除电线连接巩膜线圈的测量装置。Reulen 和Bakker介绍了一种双磁感应（DMI）技术（使用短循环巩膜线圈）。和以前一样，当用户放置在由亥姆霍兹的一组线圈产生的交变磁场内时，巩膜线圈内产生电流。圈内的电流会产生第二磁场，他能够被眼睛前面的一套线圈直接检测到。Bremen和他的同事进行了类似的实验——可穿戴版本的DMI技术。从根本上讲，因为需要测量二次磁场，DMI有一个噪声比微弱的信号。进一步说，它们仍然需要大的外部线圈来产生磁场。在我们的EyeContact系统中，我们使用了标准的有线SSC，并集中于改进发电机线圈的设计。因此，我们系统的准确度和标准的SSC跟踪器有的一拼，无需外界的仪器仪表，且可以连接到一个HMD。

Roberts和他的同事们展示了一个无线巩膜线圈系统（在一个类似的原则上进行）。使用嵌入在硅中的一系列电容器环缩短巩膜线圈，他们创造了一个谐振电路。谐振电路在线圈中产生一个振荡电流，并且由附近的发射机线圈驱动进行维持。多个接收器线圈测量衰减信号。接收线圈中信号的相对强度，决定了眼睛凝视的方位。尽管可以使用一个HMD适应，但这种技术的性能指标并没有得到验证。

Thomassen 和他的同事们注意到：很多追踪器小的不均匀磁场区域，使头部-无约束实验难以进行。当头部移出不均匀区域时，作者改变了现成的巩膜线圈追踪系统的追踪算法，以便纠正其性能。然而，这种技术仍然需要大量的外部仪器仪表。 Plotkin和他的同事们同样试图使用放置在一个固定的位置平面发射机 ，解决非均匀性问题。虽然他们的设计更为便携，但要安装在用户上它太过于巨大，而且在实验中它不允许用户移动超过10厘米。相反，我们的系统允许用户自由走动，只受限于HMD的系绳，巩膜线圈和励磁线圈。

系统设计

我们展示了EyeContant，设计了一种用于虚拟现实耳机的巩膜线圈跟踪系统。我们使用了五种小规模的线圈如图4（左）所示，然后严格地在用户的头部安装线圈，并约束的磁通方向到用户头部的位置。每个线圈的振荡在一个独特的频率，并创建一个独特的磁场。我们系统中存在一个关键的挑战，与亥姆霍兹线圈相反，这些线圈产生发散的场，并且磁场的方向随着位置改变有着很大的不同，如图3所示（右）。进一步复杂化我们的系统的是，眼睛旋转时巩膜线圈在沿眼睛表面的空间转换。当它相对于磁场线圈移动时，巩膜线圈磁场的大小和方向都在变化。然而，由于分解的五个磁场在每个空间中的位置是独一无二的，所以凝视估计仍然是可能的。由于眼睛位置不同场也不同，我们也能够恢复跟踪器和巩膜线圈之间的位置偏移。这允许我们考虑用户脸部HMD所有的变化或滑移。

图4。（左）巩膜线圈追踪器由五个场线圈组成安装在HMD周围。它的目的是捕捉到Oculus Rift DK2，但它可以很容易适应其他HMD。（中、右）5-DOF机械评定装置允许我们控制巩膜线圈定位（俯仰、偏航）并调整HMD /追踪器相对于巩膜线圈的位置。（右，插图）巩膜线圈放在试验装置的手臂上。

图5巩膜线圈跟踪信号管道。正弦信号是从台式电脑合成的，并且通过发电机线圈之前放大。这会诱导巩膜线圈产生电压（被放大并在桌面计算机上进行处理）。

在这种安排中使用的五个发电机线圈可以确保每只眼睛都有三个线圈，并且可以提供一个可靠的信号（中央发生器线圈是两个眼睛共用的）。虽然这三个发电机线圈足够用于重建眼睛的方位，离每一只眼睛最远的两个线圈提供了一个微弱的信号，该信号可以进一步提高凝视估计的准确性。优化线圈的大小以便平衡磁场强度和跟踪装置的权重。通过把线圈靠近眼睛，我们可以与传统的磁场线圈产生一样强度的磁场，同时使用更小的电流（每卷小于1A）。

对于巩膜线圈，我们使用了 Chronos Vision的三维巩膜接触（其中包含扭转线圈）。与之前的努力相反，我们使用了不仅仅是扭转估计的扭转线圈。相反，我们把整个巩膜线圈作为一个双轴磁场传感器测量两个磁场的三个分量。

每台发电机的线圈由50匝26 AWG磁铁绕着一个圆形的3D打印ABS框架（直径为8厘米）。线圈安装在一起，并形成一个HMD的附件。我们的设计是适应Oculus Rift DK2的，但它很容易被修改以适应其它的VR设备。系统图解如图5所示。该线圈是由台式电脑合成的正弦电流驱动。通过保持可用音频中线圈刺激的频率范围，商业音频硬件可以用于合成和放大。我们使用台式电脑运行Max7软件合成采样速率为192 kHz的正弦波和频率约为15kHz，16kHz，17.1kHz，18.3kHz，和19.6kHz的正弦波。频率结合快速傅里叶变换（FFT）箱的位置进行选择，且间隔不等以避免互调分量。用一个8通道USB音频接口将合成的音频信号转换为模拟电压信号。音频接口的五个电压信号用独立D类放大器进行放大，以增加通过场线圈的电。

由于励磁线圈向系统提出了一个感性负载，所以使用一个电容调谐适配器删除阻抗的虚分量。调整适配器包括个五通道，每一个都有升压变压器和一堆并联电容器。通过调整每个通道的电容，同时监测通过线圈的电压和电流，就有可能最大限度地将功率转移到线圈上。

在测量巩膜线圈的信号之前，我们使用仪表放大器（INA128）放大它。然后我们使用一个4通道的信号差分输入USB示波器（来自Pico Technology）采样主要和扭转信号。

在连接有USB示波器并且以1 MSa/ s的速率记录数据的台式电脑上运行MATLAB软件。该软件将每只眼睛的信号缓冲（来自于主要和扭转线圈）成有25%重叠的16毫秒缓冲区。4 -term Blackman-Harris窗口适用于每个缓冲区，因为它们的长度不是场的频率周期数的整数倍。选中这个窗口函数是因为它的旁瓣衰减。我们可以计算每一个窗口的FFT，并选择与感兴趣的频率箱相对应的5个主要分量和5个扭转分量。通过使用这些狭窄的频率箱，我们也避免了HMD中所有环境或电子的磁干扰；当HMD在使用或一个应用程序正在使用时，巩膜线圈测量值没有改变。对于每一个频率分量，我们都保存了幅度和复杂的FFT相位。连续的测量可以平均化，以进一步提高信号噪声比。

在选择与FFT样本对应的频率时，我们也迫使每个窗口包含特定频率的整数周期，保持每个窗口之间FFT相位。然而，由于系统组成部分小的时间差异，在实践中， 相位随着时间的推移显著漂移。考虑到这种漂移，在测量和跟踪相位漂移率时，我们使用了一个10秒的校准周期。（敏）在此期间我们会对阶段改变率进行测量和追踪。偶尔，我们会重新安排额外的改变，这一改变是慢慢积累起来的。有了这种技术，当通过线圈的磁通量由于关注焦点改变而发生逆转时，调整后的转移只发生在180个增量中。我们能通过调整后的阶段和已知关注焦点的阶段比较重新建立有符号的值。

机器测验装置

为评估巩膜线圈追踪器的表现，我们建立了一个5-DOF机器测试装置，能够调整线圈方向以及HMD的位置，至于线圈可见图4（中心，右边）。巩膜线圈放在塑料支架之内安装在U型的防护上。从Physik Instrument的自动旋转能让胳膊围绕（θ）摇摆。这让我们能调整偏航以及拔高线圈方向。HMD和生成器线圈安装在有三个轴线性阶级系统中（x,y,z）。这能让我们根据项圈0.5um的分辨率在空间中移动HMD，模拟HMD不同的安装方法例如前面或是后面。因为我们采用的是人眼的球形模式，安装在眼睛表面的巩膜接触会根据眼睛的半径，在眼睛旋转的空间内进行移动。对于一个非均匀磁场的系统，这是很重要的一点，因为磁场环境会随着关注焦点而发生变化，尽管HMD是固定在使用者的脑袋上。未对此进行解释，巩膜接触会安装在Re=8.5mm的旋转中心上，模拟人眼行为。为计算出巩膜线圈的偏移位置，我们会基于HMD的位置（x,y,z）和眼睛的关注中心进行考虑，如公式1。

这5个自动化的步骤都能在电脑桌面进行控制。为能启动整个视野的自动扫描，我们把所控制阶段整合到MATLAB数据收集软件中了。当对区域进行测量时，我们在理想的范围偏航（θ）和间距（φ）扫描线圈，同时也会在空间（x,y,z）中扫描HMD的位置。在一个阶段性移动停止之后的一秒中内MATLAB记录软件会自动记录巩膜线圈的数值，防止测试装置偏移带来的影响。

数据是在3゜增量中从30゜到30゜沿着水平轴（θ）和垂直轴（φ）进行收集的。这是能与其他眼睛追踪器能媲美的地方。我们扫描HMD模拟滑动，扫描范围为——在3mm的增值上沿着x轴(边至边)7.5mm至7.5mm，——或是5mm增值上沿着y轴（从前至后）5mm至0mm，——或是在2mm增值上沿着z轴（从上至下）5mm至5mm，如图4（中）所示。这也代表着在有31752数据点空间内基于6×2×6=72个位置扫描了441个点。而收集这些数据需要花费8个小时。

凝视估计模式

我们比较了凝视评估的两种模式。首先我们使用物理的方法，对磁场周围的跟踪器进行建模。通过比较巩膜线圈测量值，我们期望能在给定的磁场范围内进行测量，并测出巩膜线圈的位置和方向。我们将此方法与神经网络模式进行比较，神经网络模式能在给定的线圈测试内直接评估出方向。

使用物理模式进行凝视评估

物理模式会在眼睛的世界范围内对五个磁场范围进行评估，接着使用巩膜线圈测量结果在线圈空间对这些矢量重新进行评估。眼睛的方向是由旋转决定的，旋转是对互助系统变化最好的解释。如图6的总结一样，为评估追踪器相对于眼睛和每一帧凝视方向评价系统的不足之处，模式都包含了之前每一次使用时的校正。

这五个磁场领域就会按照固定的位置及方向建模。基于对追踪器已知的几何知识以及通过每一个发动机线圈的电流，我们能在任何眼睛的位置，根据对称轴上线圈磁场的标准方程，计算出期待的磁场领域，B(P)。有了这些信息，以及给定的巩膜线圈的位置和方向，我们能预测出我们期望能从巩膜线圈中预测出的数值。

校对程序

当使用者第一次戴上HMD时，追踪器和眼睛的旋转中心会有一个无法预知的偏移，因为每一个使用者的骨骼结构以及HMD的安放位置都不一样。我们的校对程序希望能评估出HMD偏移。在此程序中，我们必须了解初级和扭转线圈的敏感度以及眼球的半径，因为这些都是决定当眼睛进行旋转时，巩膜线圈的移动程度的。我们使用36点校对程序，在此程序中使用者会在屏幕上寻找位于特定的位置的目标。我们通过将步骤移向要求的方向在机器测试装置上对此进行模拟。

给定的校对点（已知的凝视方向）以及磁场范围模式，我们使用MATLAB’s Global Optimization Toolbox对巩膜线圈的敏感性进行评估，以及HMD偏移（Xe,Ye,Ze）和眼球的半径（Re）。通过使用测试装置转移HMD以及在滑动范围内对72个不同的偏移进行校对，对我们评价HMD偏移的能力进行评估。在每一点上，我们每一个校对程序使用36个点。在评估HMD偏移的平均欧式错误是0.72mm。

这一模式理性的解释了在巩膜线圈中所观察到的测试结果。但是在评估中却有些许错误（在初级线圈的平均错误是1.5%），造成这一结果的原因不是眼睛特殊移动造成的，磁场内的不规则是由HMD造成在此区域的偏移。其中一个关键点是这些错误都是相对称。在每十个巩膜线圈上对剩余误差进行建模并且这些都是由物理模式作为凝视位置函数进行预测，这都是有可能的。这也就是说，如果我们知道使用者凝视的焦点，我们就能从巩膜线圈中调整评价，这样使用者就最好地适用物理模式。在把剩余误差建模为凝视位置的函数时，使用36校对点就很有可能了解到正确的模式。我们利用MATLAB拟合函数的36个校准点，同时使用双调和插值对每十个巩膜线圈进行评估。在你是评估中，我们依靠迭代促进的方法并使用相关模式对凝视评估进行改进。

图6：校对程序以及凝视评价函数的总结。在36点的程序是在使用者带上HMD进行HMD偏移和眼球半径评价时开始运行的，这是为了训练巩膜评价的相关模式。每一帧，眼睛的方向都是迭代进行评估以及使用更新的线圈位置和校正因子进行完善。眼睛的方向是使用解决Wahba难题的SVD解决方法进行评估的。

逐帧凝视评估

当对眼睛的方向进行评估时，我们首先会使用磁场模型在巩膜线圈位置计算出五个预期的磁场方向，这些方向是可以通过在校对中的HMD偏移计算出来的。最初，因为不知道眼睛的方向，我们没有考虑在空间中线圈随着眼睛移动的范围；现在，我们假设有一个固定的线圈位置。接下来，我们会在巩膜测量结果的线圈空间中重建五个评估过的磁场方向。我们考虑到作为双轴传感器的巩膜线圈会在其范围内输出磁场范围矢量，这一矢量是由初级和扭转的线圈方向决定的（见图6，底部）。为重建第三个组成部分，我们会通过加强磁场强度以及相关初级和扭转线圈灵敏度将测评结果正常化，所以巩膜传感器有效的报告了一个单位矢量的两个组成部分。我们能将第三个组成部分重建为：

但考虑到第三个区域部件有一个显著的符号歧义。我们认为这五个磁场领域都有两种可能性，所以对于每一个磁场评估都会产生32候选集。

对于每一个候选集，我们会有五个已知的磁场矢量（物理模式）和在未知参考帧内的线圈的五个磁场评估（源于巩膜线圈和第三个评估部件）。这是关于Wahba的问题实例，在此实例中试图在给定的一系列加权观察中，在两个合作系统之家寻找出一个旋转矩阵。我们使用用于解决Wabha问题的解决方法对凝视进行评估。每一个领域的权重是基于对每一个线圈事先计算的平均信噪比。

这一过程输出32个候选方案，所有的都能确定眼睛的方向。为在解决方案之间进行选择，我们会计算每一个候选方案巩膜线圈测试的预期值，并选择与测试结果最接近的解决方法。

这种初始的评估不会考虑正确的模式或是随着旋转发生的眼睛移动。由于最初的凝视估计往往是会偏离平均水平3゜左右，我们能计算出对于眼睛位置的评估和必要的纠正因子。为使凝视评估更加精准，我们会在新的眼球位置进行磁场方向更新，也会根据正确的模式调整巩膜线圈评估结果，进而重新计算凝视的方向。接下来的凝视评估会更加精准，能让我们更好地评估正确的条件和巩膜线圈位置。我们会一直重复这一过程直至评估的凝视结果重合；通常情况下需要5此迭代。把这一程序应用于405测试方向包括72HMD偏移，我们实现了评估误差在0.18゜左右。这些点的小部分模式性能如图7（右上）所示，图8进行了总结也显示了累积分布函数（CDF）。

图7：凝视图显示了训练（黑色X），测试（蓝色圆圈），和评估（橘色圆圈）凝视位置，在平面y=1。（左上）36点是用于训练，剩余的405点是用于测试。（右下）物理和神经网络模型的凝视评估和小部分的真实测试结果。（右下）为进行校对的神经网络模式显示了所有72HMD的凝视偏移位置。

神经网络模式

作为物理模式的备选方案，我们训练神经网络系统了解由HMD和眼球移动所带来的磁场偏移和扭曲的影响。为训练这一模式，使用者必须执行36点校对程序。每一个数据点包括10个巩膜线圈评估。40个神经元被用于隐藏层中，输出层是由两个神经元组成，这两个神经元是训练用于输出巩膜线圈的方向。

在物理模式下，我们使用测试装置对凝视评价模式的准确度进行评估。在下滑限制内的每72个HMD偏移，我们会使用36训练点训练分离的神经网络并把剩余的405点用于测试。这种方法实现了在HDM偏移和测试点的0.094゜平均误差。对于一个HMD偏移的凝视评估如图7所示（左下）。完整的结果在图8中总结为CDF。

自由校对模式

为减少对滑移的敏感度，我们试图探索神经网络是否能在独立的位置进行训练。在这种方法中，两步走的模式被用于评估线圈位置和方向搜索的结果。为训练这些模型需要大量的训练数据，同时也让校对程序难以实施。此外，在由使用者佩戴的空间内确定搜索线圈的位置是不可能的。因此，我们引进了使用预训练模式的自由校正追踪技术。

图8：物理模式，神经网络模式，自由校对模式的CDF凝视方向早所有位置的准确度。物理模式实现了0.18゜平均误差。另外两个神经网络模式表现都优于物理模式，其平均误差分别是0.094゜和0.099゜

首先有10个输入节点的神经网络（分别是5个初级观察和5个扭转观察），40个隐藏节点和3个输出节点（x,y,z）都会使用收集在32的72个HMD偏移位置中的校对点进行训练。在剩余的27 880个点中平均欧氏错误是0.084mm。

我们现在会通过位置评估来加强原始的凝视模式。输入13个节点，10个是巩膜线圈，3个是在空间内进行评估的x,y,z位置。再次我们基于收集到的训练位置进行校对训练和在剩余的点中进行测试。在测试中平均错误是0.099゜左右。这一结果在图7的目标图中已进行总结（右下）和图8中的CDF中也可见。

讨论

基于物理模式和神经网络模式，我们呈现了两个凝视评估方法。物理模式的平均凝视方向错误为0.18゜。通过对磁场建模，模式能让我们了解巩膜线圈的磁场环境，并能它自己进行更好的拓展。例如，未来的工作可能会关注在线校对程序，扭转评估，或是使用来自双眼的信息进行校对。在不透明的神经网络中这些应用会变的更加困难。

在平均错误在0.094゜的条件下，神经网络模式能更好地逼近追踪器的磁场环境和由HMD所造成的扭曲。自由校对神经网络能通过评价HMD滑移和眼睛在每一帧的定位对能提高可用性。但是，由于这一种模式是基于来自测试装置中收集到的数据进行训练，所以如何将它推广到在不同磁场环境的使用者上还不是特别清楚。目前正研究在人类参与条件下，这一技术的表现形式。

未来探索的重点将会是这些模式的联合。通过提供来自物理模式的神经网络对磁场进行评价，我们能简化训练也能缩短训练时间。

在以校对为基础的模式中，我们期待当用户第一次戴上HMD时或是无论何时HMD在脸上发生了偏移，他们都进行36点校对程序。我们实现了一个移动算法，这一算法能在需要时，自动提醒用户进行调整。

我们系统在1Msa/s上对巩膜线圈进行取样。在缓冲和浏览之后，凝视评价标准会以244Hz的比率进行输出。通过减少窗口大小和增加重叠宽度，输出数据率就能显著增加。我们打算实现一个本地代码的算法或是使用专用的可编辑逻辑硬件。同样我们可以通过使用高频的正弦信号或是利用额外的宽度提高时间分辨率。我们还探讨了时间的平均样品，因为在许多的SSC追踪系统十分常见。尽管我们能将神经网络的准确度提高到0.03゜，但我们任选择保持更高的数据率。

在评价中，我们更关注作为人类代理的机器测试。这让我们能收集到关于位置和方向较为全面的数据集，并给了我们可靠的真实参考，这些参考能独立追踪器的精确度和人类使用者的独立固定精度。在设计测试装置时，我们考虑了许多让眼睛在HMD中追踪变得困难的琐事。例如，我们考虑到了巩膜线圈位置从测试装置中心位置的偏移导致了巩膜线圈的空间移动。我们同样也考虑到了在3轴翻译阶段系统中安装HMD和追踪器导致的HMD滑移。因为对于许多的VR应用来说，测量凝视的位置已经足够了，所以我们并未优先考虑评估眼珠扭转，并且这一评估能提供一个完整的凝视评估。虽然我们物理模式对于扭转提供了一个评估，但我们并未对其准确性进行评估，因为测试装置只让我们在扭转增度在10゜以内进行调整。未来的测试装置会包括精准的扭转控制——4゜至4゜的范围内，这将对我们的模式提供更加精准的扭转评价。然而以校对为基础的模式并未考虑对称扭转，但此类情况在却经常作为凝视功能的一部分出现。

结论

眼神交流是为虚拟和增强现实HMD设计的一个巩膜线圈追踪系统，HMD能实现高速和高准确度的移动眼睛追踪装置，并且是在没有仪器帮助的条件下实现的。我们的机器测试装置让校对和评估都真实可行。我们描述了一个校对程序和两个不同的方法对凝视进行评估：物理模式平均误差为0.18゜，神经网络模式平均误差为0.094゜。我们希望这一系统对于需要在HMD中的高质量追踪器研究者来说，会是一个有用的工具。

via：论文原址

哈尔滨工业大学李衍杰副教授的点评：人眼追踪技术在移动和可穿戴式系统领域有着重要的作用，特别是新兴的虚拟和增强现实应用（VR和AR）方面。目前，对于可穿戴的AR和VR头戴产品，人眼追踪方法主要依赖于光学跟踪，追踪估计精度多在0.5度至1度之间，而本文给出了一种可穿戴式的巩膜搜索线圈（SSC）跟踪系统，它允许用户可以走动，并且不需要头部的约束和大线圈。该技术涉及到一个独特安置的发电机线圈和一个新的校准方法，它可以通过更小的线圈产生不均匀磁场。使用该项技术来估计眼睛的方向，可以得到平均校准精度为0.094度的估计精度，从而可应用于高精度和高时空分辨率追踪的可穿戴头盔显示（HMD）场景，其缺点是巩膜搜索线圈插入需要局部麻醉，这不是一般人能接受的。

Originally posted 2016-07-22 14:00:48.

顶一下

(0)

100%

订阅 回复

踩一下

(0)

100%