使用光引导机构的眼睛跟踪的制作方法

使用光引导机构的眼睛跟踪
1.相关申请的交叉引用
2.本专利申请要求于2020年12月2日提交的名称为“eye tracking using a light directing mechanism”的美国非临时专利申请第17/109,963号的优先权，该申请通过引用明确地并入本文。
技术领域
3.本公开的各方面整体涉及眼睛跟踪，并且例如涉及使用光引导机构的眼睛跟踪。


背景技术：

4.头戴式显示器可以向佩戴该头戴式显示器的用户提供用于显示的信息。头戴式显示器可以包括用于跟踪用户的眼睛的相机。眼睛跟踪可以包括测量眼睛的凝视方向(例如，眼睛看向的方向)或眼睛相对于用户头部的运动。眼睛跟踪可以包括测量眼睛的位置和眼睛的移动。头戴式显示器中的相机可以至少部分地基于由相机捕获的图像来跟踪用户的眼睛。换言之，当执行眼睛跟踪时，可以至少部分地基于由相机捕获的图像来检测眼睛位置和/或眼睛移动。


技术实现要素：

5.在一些方面，一种眼睛跟踪设备包括：透镜模块，该透镜模块包括一个或多个透镜元件；红外照明设备，该红外照明设备在透镜模块外部，并且被配置为产生能够照射用户的眼睛以用于眼睛跟踪的红外光；眼睛跟踪相机，该眼睛跟踪相机在透镜模块内；以及基板，该基板具有光引导机构，该光引导机构被配置为将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。
6.在一些方面，一种眼睛跟踪设备包括：透镜模块，该透镜模块包括一个或多个透镜元件；红外照明设备，该红外照明设备在透镜模块外部，并且被配置为产生用来照射用户的眼睛以用于眼睛跟踪的红外光；眼睛跟踪相机，该眼睛跟踪相机在透镜模块内；以及光引导机构，该光引导机构位于一个或多个透镜元件中的一个透镜元件的表面上，并且被配置为将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。
7.在一些方面，一种方法包括：使用在透镜模块外部的红外照明设备来产生用来照射用户的眼睛以用于眼睛跟踪的红外光；使用具有光引导机构的基板，将从用户的眼睛反射的红外光朝向透镜模块内的眼睛跟踪相机引导；以及使用眼睛跟踪相机对用户的眼睛执行眼睛跟踪。
8.在一些方面，一种装置包括：用于使用在透镜模块外部的红外照明设备来产生用来照射用户的眼睛以用于眼睛跟踪的红外光的部件；用于使用具有光引导机构的基板，将从用户的眼睛反射的红外光朝向透镜模块内的眼睛跟踪相机引导的部件；以及用于使用眼睛跟踪相机对用户的眼睛执行眼睛跟踪的部件。
9.各方面整体包括一种方法、装置、系统、计算机程序产品、非暂时性计算机可读介
质、用户设备(user device)、用户装备(user equipment)、无线通信设备和/或处理系统，如大致参照附图和说明书所述并如附图和说明书所示。
10.上述内容已经相当广泛地概述了根据本公开的示例的特征和技术优点，以便可以更好地理解以下的详细描述。附加特征和优点将在下文中描述。所公开的概念和具体示例可以容易地用作修改或设计用于实现本公开的相同目的的其他结构的基础。这样的等同构造并不脱离所附权利要求的范围。当结合附图考虑时，可通过以下描述更好地理解本文公开的概念的特征，其组织和操作方法以及相关的优点。提供每个附图都是出于例示说明和描述的目的，而非作为对权利要求的限制的定义。
附图说明
11.为了可以详细地理解本公开的上述特征，可以通过参考各方面来对以上所简要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而，应当注意，附图仅示出了本公开的某些典型方面，并且因此不应被认为是对其范围的限制，因为描述可以允许其他等效的方面。不同附图中的相同附图标记可以标识相同或相似的元件。
12.图1是示出根据本公开的各个方面的示例性环境的图，在该示例性环境中可以实现使用本文所述的光引导机构的眼睛跟踪。
13.图2是示出根据本公开的各个方面的图1中所示的一个或多个设备(诸如眼睛跟踪设备)的示例性组件的图。
14.图3至图4是示出根据本公开的各个方面的与眼睛跟踪相关联的示例的图。
15.图5至图12是示出根据本公开的各个方面的与使用光引导机构的眼睛跟踪相关联的示例的图。
16.图13是根据本公开的各个方面的与使用光引导机构的眼睛跟踪相关联的示例性处理的流程图。
具体实施方式
17.在下文中参考附图更充分地描述本公开的各个方面。然而，本公开可以以许多不同的形式体现，并且不应被解释为限于贯穿本公开呈现的任何特定结构或功能。相反，提供这些方面以使得本公开将是透彻和完整的，并且将向本领域技术人员充分地传达本公开的范围。基于本文中的教导，本领域的技术人员应当理解，本公开的范围旨在覆盖本文中所公开的本公开的任何方面，无论本公开的方面是独立于本公开的任何其他方面实施，还是与本公开的任何其他方面结合实施。例如，可以使用本文阐述的任何数量的方面来实施装置或实践方法。另外，本公开的范围旨在覆盖这样的装置或方法，即该装置或方法使用除本文阐述的本公开的各个方面之外或不同于本文阐述的本公开的各个方面的其他结构、功能，或结构和功能来被实践。应当理解，本文所公开的本公开的任何方面可以由权利要求的一个或多个元素来实施。
18.眼睛跟踪设备可以包括红外照明设备，以使用用于眼睛跟踪的红外光照射用户的眼睛。眼睛跟踪设备可以包括红外反射镜，以将来自用户的红外光反射到眼睛跟踪设备的眼睛跟踪相机。红外反射镜可以使得眼睛跟踪相机能够被放置在用户的视场之外。红外反射镜虽然耗用相对较大的空间，但由于包括红外反射镜的透镜模块的尺寸也可能相对较
大，因此可以容纳红外反射镜。然而，在诸如增强现实(ar)或虚拟现实(vr)眼镜之类的头戴式显示器中，相对较大尺寸的透镜模块可能较笨重。虽然较小的透镜模块(例如，扁平透镜(pancake lens)模块)是可用的，但这样的透镜模块没有足够的空间来容纳红外反射镜，并且因此，眼睛跟踪相机可能被不期望地放置在用户的视场内。替代地，眼睛跟踪相机可以相对于用户以相对大的角度放置，这可能导致某些问题(例如，用户的睫毛可能遮挡眼睛的相机视图)，这可能降低眼睛跟踪的性能。
19.在本文描述的技术和装置的各个方面中，眼睛跟踪设备可以包括具有一个或多个透镜元件的透镜模块。透镜模块可以是扁平透镜模块。透镜模块可以包括眼睛跟踪相机，其可以在用户的视场之外。透镜模块可以包括基板和与基板相关联的光转向机构。光转向机构可以将从用户的眼睛反射的红外光引导到眼睛跟踪相机。光转向机构可以是耦合到基板的镜子、耦合到基板上的膜、至少部分地延伸到基板中的有角度的狭缝、与基板相关联的小面(facet)、与基板相关联的小面贴片(facet patch)、延伸到基板内的槽(trough)、或者延伸到基板内的一个或多个凹槽(groove)。眼睛跟踪相机可以至少部分地基于由光引导机构朝向眼睛跟踪相机引导的红外光来产生用户的眼睛的图像。通过采用具有光引导机构的基板，眼睛跟踪相机可以被放置在透镜模块内和用户的视场之外。因此，可以避免某些情况(例如，用户的睫毛遮挡眼睛的相机视图)，从而提高眼睛跟踪的性能。
20.图1是其中可以实现使用本文所述的光引导机构的用于眼睛跟踪的系统和/或方法的示例性环境100的图。如图1所示，环境100可以包括用户设备110、网络120和服务器设备130。环境100的设备可以经由有线连接、无线连接或有线连接和无线连接的组合进行互连。
21.用户设备110可以包括能够接收、生成、存储、处理和/或提供信息(诸如本文所述的信息)的一个或多个设备。例如，用户设备110可以包括头戴式显示器、计算设备(例如，台式计算机、膝上型计算机、平板计算机、手持式计算机、服务器等)、移动电话(例如，智能电话、无线电话等)或采用本文所述的眼睛跟踪技术的类似设备。在一些实施例中，用户设备110可以从服务器设备130接收信息和/或向服务器设备130发送信息。
22.网络120可以包括一个或多个有线和/或无线网络。例如，网络120可以包括蜂窝网络、公共陆地移动网络(plmn)、局域网(lan)、广域网(wan)、城域网(man)、电话网络(例如，公共交换电话网络(pstn))、自组织网络(adhoc network)、内联网、互联网、基于光纤的网络和/或这些或其他类型网络的组合。
23.服务器设备130可以包括能够接收、生成、存储、处理和/或提供信息(诸如本文所述的信息)的一个或多个设备。例如，服务器设备130可以包括计算设备，诸如服务器、台式计算机、膝上型计算机、平板计算机、手持式计算机或类似设备。
24.图1中所示的设备和网络的数量是作为示例提供的。实际上，与图1中所示的那些相比，可以存在附加的设备和/或网络、更少的设备和/或网络、不同的设备和/或网络、或不同布置的设备和/或网络。此外，图1中所示的两个或更多个设备可以在单个设备内实现，或者图1中所示的单个设备可以实现为多个分布式设备。此外，环境100的一个或多个设备可以执行被描述为由环境100的另一个或多个设备执行的一个或多个功能。
25.图2是示出根据本公开的各个方面的设备200的示例性组件的图。设备200可以对应于用户设备110，其可以是头戴式显示器。在一些方面，用户设备110可以包括一个或多个
设备200和/或设备200的一个或多个组件。如图2所示，设备200可以包括总线205、处理器210、存储器215、存储组件220、输入组件225、输出组件230、通信接口235或眼睛跟踪设备240。眼睛跟踪设备240可以包括透镜模块245、红外照明设备250、眼睛跟踪相机255、基板260和光引导机构265。
26.总线205包括允许在设备200的组件之间进行通信的组件。处理器210以硬件、固件，或硬件和软件的组合来实现。处理器210是中央处理单元(cpu)、图形处理单元(gpu)、加速处理单元(apu)、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、专用集成电路(asic)或另一种类型的处理组件。在一些方面，处理器210包括能够被编程以执行功能的一个或多个处理器。存储器215包括随机存取存储器(ram)、只读存储器(rom)，和/或存储供处理器210使用的信息和/或指令的另一种类型的动态或静态存储设备(例如，闪存存储器、磁存储器和/或光存储器)。
27.存储组件220存储与设备200的操作和使用相关的信息和/或软件。例如，存储组件220可以包括硬盘(例如，磁盘、光盘、磁光盘和/或固态盘)、光盘(cd)、数字多功能盘(dvd)、软盘、盒式磁带(cartridge)、磁带(magnetic tape)和/或另一种类型的非暂时性计算机可读介质，以及对应的驱动器。
28.输入组件225包括允许设备200接收信息的组件，诸如经由用户输入(例如，触摸屏显示器、键盘(keyboard)、小键盘(keypad)、鼠标、按钮、开关和/或麦克风)。附加地或替代地，输入组件225可以包括用于确定设备200的位置或定位的组件(例如，全球定位系统(gps)组件、全球导航卫星系统(gnss)组件等)、用于感测信息的传感器(例如，加速度计、陀螺仪、致动器、另一类型的位置或环境传感器等)。输出组件230包括提供来自设备200的输出信息的组件(例如显示器、扬声器、触觉反馈组件、音频或视觉指示器等)。
29.通信接口235包括类似收发器的组件(例如，收发器和/或单独的接收器和发送器)，其使设备200能够与其他设备通信，诸如经由有线连接、无线连接，或有线连接和无线连接的组合。通信接口235可以允许设备200从另一个设备接收信息和/或向另一个设备提供信息。例如，通信接口235可以包括以太网接口、光学接口、同轴接口、红外接口、射频接口、通用串行总线(usb)接口、无线局域网接口(例如，wi-fi接口)、蜂窝网络接口等。
30.透镜模块245可以包括一个或多个透镜元件。透镜模块245可以是扁平透镜模块。红外照明设备250可以在透镜模块245的外部，并且红外照明设备250可以被配置为产生能够照射用户的眼睛以用于眼睛跟踪的红外光。眼睛跟踪相机255可以在透镜模块245内。
31.基板260可以与光引导机构265相关联，该光引导机构可以被配置为将从用户的眼睛反射的红外光朝向眼睛跟踪相机255引导。基板260对于红外光和可见光可以是透明的或半透明的。基板260可以是玻璃基板或塑料基板。
32.光引导机构265可以是耦合到基板260的镜子、耦合到基板260的膜、或者至少部分延伸到基板260中的有角度的狭缝。耦合到基板260的膜可以是衍射膜或全息膜。
33.光引导机构265可以是与基板260相关联的小面、与基板260相关联的小面贴片、延伸到基板260中的槽、或者延伸到基板260中的一个或多个凹槽。延伸到基板260中的一个或多个凹槽可以对应于沿着轴线的一系列平行凹槽。与基板260相关联的小面贴片可以包括对应于第一轴线的第一小面贴片和对应于第二轴线的第二小面贴片。
34.眼睛跟踪相机255可以至少部分地基于对处于第一角度的红外光的检测来产生用
户的眼睛的至少一部分的第一图像。眼睛跟踪相机255可以至少部分地基于对处于第二角度的红外光的检测来产生用户的眼睛的至少一部分的第二图像，其中第一图像和第二图像沿着轴线。第一图像与第二图像之间的中心可以与用户的眼睛沿着轴线的凝视角度有关。该轴线可以是水平轴线或竖直轴线。
35.眼睛跟踪相机255可以是第一眼睛跟踪相机，并且光引导机构265可以是第一光引导机构。可以包括第二眼睛跟踪相机和第二光引导机构，其中第一光引导机构可以垂直于第二光引导机构。第一眼睛跟踪相机和第一光引导机构可以沿第一轴线执行眼睛跟踪，并且第二眼睛跟踪相机和第二光引导机构可沿第二轴线执行眼睛跟踪。
36.设备200可以执行本文描述的一个或多个处理。设备200可以基于处理器210执行由诸如存储器215和/或存储组件220之类的非暂时性计算机可读介质存储的软件指令来执行这些处理。计算机可读介质在本文中被定义为非暂时性存储器设备。存储器设备包括单个物理存储设备内的存储器空间或分布在多个物理存储设备上的存储器空间。
37.软件指令可以从另一计算机可读介质，或经由通信接口235从另一设备读入存储器215和/或存储组件220。当被执行时，存储在存储器215和/或存储组件220中的软件指令可以使处理器210执行本文描述的一个或多个处理。附加地或替代地，硬连线电路可以代替软件指令或与软件指令结合使用以执行本文描述的一个或多个处理。因此，本文描述的各方面不限于硬件电路和软件的任何特定组合。
38.在一些方面，设备200包括用于执行本文所述的一个或多个处理的部件和/或用于执行本文所述处理的一个或多个操作的部件。例如，设备200可以包括：用于使用在透镜模块外部的红外照明设备来产生用来照射用户的眼睛以用于眼睛跟踪的红外光的部件；用于使用具有光引导机构的基板，将从用户的眼睛反射的红外光朝向透镜模块内的眼睛跟踪相机引导的部件；和/或用于使用眼睛跟踪相机对用户的眼睛执行眼睛跟踪的部件。在一些方面，这样的部件可以包括结合图2描述的设备200的一个或多个组件，诸如总线205、处理器210、存储器215、存储组件220、输入组件225、输出组件230、通信接口235和/或眼睛跟踪设备240等。
39.图2中所示的组件的数量和布置是作为示例提供的。在实践中，设备200可以包括与图2中所示的那些组件相比附加的组件、更少组件、不同组件或不同布置的组件。附加地或替代地，设备200的组件的集合(例如，一个或多个组件)可以执行被描述为由设备200的另组件的集合执行的一个或多个功能。
40.眼睛跟踪解决方案可以用于跟踪用户的眼睛的位置或移动。眼睛跟踪可以在诸如ar或vr眼镜的头戴式显示器中采用。例如，头戴式显示器可以包括附接到头戴式显示器的框架的相机，并且相机可以向内指向用户的眼睛。红外发光二极管(led)可以安装在头戴式显示器的框架中，以照射用户的眼睛以用于眼睛跟踪。
41.图3是示出眼睛跟踪的示例300的图。眼睛跟踪设备可以包括与透镜、红外led、红外反射镜、眼睛跟踪相机和显示器相关联的一个或多个透镜元件。红外led可以用红外光照射用户的眼睛。红外反射镜可以用于使得能够将眼睛跟踪相机放置在用户的视场之外。红外反射镜可以将从用户的眼睛反射的红外光引导到眼睛跟踪相机，同时使从显示器发射的可见光通过。换言之，可见光可以不受红外反射镜的影响。眼睛跟踪相机可以至少部分地基于从用户的眼睛反射的红外光来捕获用户的眼睛的图像，并且该图像可以用于对用户的眼
睛执行眼睛跟踪。
42.在眼睛跟踪设备中，眼睛跟踪相机可以在透镜内，并且因此在用户的视场外。眼睛跟踪相机可以能够至少部分地基于透镜内的红外反射镜而位于透镜内以及用户的视场外。红外反射镜可以将光引导或转向大约九十度离开用户的视场并朝向眼睛跟踪相机。
43.如以上所指出的，图3被提供作为示例。其他示例可能与关于图3所描述的不同。
44.图4是示出眼睛跟踪的示例400的图。眼睛跟踪设备可以包括具有一个或多个扁平透镜元件的扁平透镜、眼睛跟踪相机和显示器。眼睛跟踪相机可以被放置在扁平透镜的外部。眼睛跟踪相机可以捕获用户的眼睛的图像，并且该图像可以用于对用户的眼睛执行眼睛跟踪。
45.如图4所示，扁平透镜可以包括一个或多个具有部分反射表面的扁平透镜元件，其可以使光在离开扁平透镜之前反射若干次。例如，扁平透镜中的光线的光路可以包括：光从第一扁平透镜元件的表面反射、从第二扁平透镜单元的表面反射，然后传播到扁平透镜的外部。
46.与非扁平透镜相比，扁平透镜可以提供各种优点。例如，与非扁平透镜相比，扁平透镜的尺寸可以更小。与非扁平透镜相比，扁平透镜可能效率较低，因为扁平透镜可以实现大约10％的光透射率，这可能小于与非扁平透镜相关联的透射率。然而，与非扁平透镜相比，扁平透镜可以占据减少的空间量，因为与使用非扁平透镜时相比，一个或多个扁平透镜元件可以定位得更靠近显示器。扁平透镜占用的空间量的减少可以有利于头戴式显示器，但可以为红外反射镜留下足够的空间。
47.如图4所示，在眼睛跟踪设备中，眼睛跟踪相机可以放置在扁平透镜的外部。眼睛跟踪相机可以被放置在用户的视场之外，以避免遮挡用户的视场。因此，眼睛跟踪相机可能以大角度(α)指向用户的眼睛，诸如大于40度的角度。在这个较大的角度下，某些用户特征可能会遮挡眼睛的眼睛跟踪相机视图。例如，用户的睫毛可能会遮挡眼睛的眼睛跟踪相机视图，从而导致无法对用户的眼睛执行眼睛跟踪和/或在执行眼睛跟踪时精度降低。
48.如以上所指出的，图4被提供作为示例。其他示例可能与关于图4所描述的不同。
49.图5是示出根据本公开的各个方面的使用光引导机构的眼睛跟踪的示例500的图。
50.如图5所示，眼睛跟踪设备(例如，眼睛跟踪设备240)可以包括透镜模块(例如，透镜模块245)、红外照明设备(例如，红外照明设备250)、眼睛跟踪相机(例如，眼睛跟踪相机255)、基板(例如，基板260)、光引导机构(例如，光引导机构265)和显示器。眼睛跟踪设备可以包括在诸如头戴式显示器的用户设备(例如，用户设备110)中，以用于使用用户设备跟踪用户的眼睛。
51.在一些方面，透镜模块可以包括一个或多个透镜或一个或多个透镜元件。在一些方面，透镜模块可以是具有一个或多个扁平透镜元件的扁平透镜模块。如本文所述，“扁平透镜”可以指在眼睛跟踪设备中使用的相对平坦、薄的透镜或一系列透镜。
52.在一些方面，红外照明设备可以在透镜模块的外部。红外照明设备可以是红外led。红外照明设备可以产生能够照射用户的眼睛以用于眼睛跟踪的红外光。眼睛跟踪相机可以在透镜模块内。基板可以包括光引导机构或者与光引导机构相关联。光引导机构可以将从用户的眼睛反射的红外光引导或转向眼睛跟踪相机。眼睛跟踪相机可以位于基板上方，使得眼睛跟踪相机可以捕获来自光引导机构的红外光。眼睛跟踪相机可以至少部分地
基于从用户的眼睛反射的红外光来捕获图像，并且该图像可以用于对用户的眼睛执行眼睛跟踪。
53.在一些方面，基板对于红外光和可见光可以是透明的或半透明的。基板可以是玻璃基板或塑料基板。基板可以被位于眼睛跟踪相机的下方。
54.例如，基板可以具有大约三毫米的宽度。用户的眼睛与基板的前表面之间的距离可以是大约十毫米。基板的后表面与显示器之间的距离可以是大约18毫米。基板的后表面与显示器之间的距离可以包括一个或多个透镜元件。透镜模块内的基板和一个或多个透镜元件的高度可以是大约40毫米。
55.在一些方面，光引导机构可以是耦合到基板的镜子，并且镜子可以将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。在一些方面，光引导机构可以是耦合到基板的膜，并且膜可以将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。该膜可以是衍射膜或全息膜。在一些方面，光引导机构可以是至少部分延伸到基板中的有角度的狭缝，并且有角度的狭缝可以将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。
56.在一些方面，光引导机构可以是与基板相关联的小面，并且小面可以将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。在一些方面，小面可以形成为层压到基板的膜。在一些方面，光引导机构可以是与基板相关联的小面贴片，并且小面贴片可以将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。在一些方面，光引导机构可以是延伸到基板中的槽，并且槽可以将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。
57.在一些方面，光引导机构可以是延伸到基板中的一个或多个凹槽，并且一个或多个凹槽可以将从用户的眼睛反射的红外光朝向眼睛跟踪相机引导。一个或多个凹槽可以对应于沿着轴线(例如水平轴线)的一系列平行凹槽。在一些方面，一个或多个凹槽可以被机械加工或印刷到基板的表面中，或者一个或多个凹槽可以浮雕到被层压到基板表面的膜中。
58.如图5进一步所示，光引导机构可以是一系列凹槽，每个凹槽大约30微米(μ m)深。从用户的眼睛反射的红外光可以打在凹槽，并且凹槽可以使红外光被引导或转向眼睛跟踪相机。
59.在一些方面，凹槽深度可以在十微米到500微米之间变化。凹槽顶点的角度可以是大约45度。凹槽可以延伸穿过基板的表面。凹槽可以在基板上居中，也可以不居中。凹槽可以在垂直于凹槽长度的方向上偏移。
60.如以上所指出的，图5被提供作为示例。其他示例可能与关于图5所描述的不同。
61.图6是示出根据本公开的各个方面的使用光引导机构的眼睛跟踪的示例600的图。
62.在一些方面，用户设备(例如，头戴式显示器)中的红外照明设备可以产生能够照射用户的眼睛的红外光。从红外照明设备发射的红外光可以具有大约850纳米(nm)的波长。红外照明设备可以在透镜模块的外部。与基板相关联的光引导机构可以将从用户的眼睛反射的红外光引导或转向眼睛跟踪相机。眼睛跟踪相机可以至少部分地基于从用户的眼睛反射的红外光来捕获图像，并且该图像可以用于对用户的眼睛执行眼睛跟踪。
63.在一些方面，眼睛跟踪相机可以至少部分地基于对处于第一角度的红外光的检测来产生用户的眼睛的至少一部分的第一图像。眼睛跟踪相机可以至少部分地基于对处于第二角度的红外光的检测来产生用户的眼睛的至少一部分的第二图像。第一图像和第二图像
可以沿着诸如水平轴线之类的轴线。第一图像与第二图像之间的中心可以与用户的眼睛沿着轴线的凝视角度有关。
64.如图6所示，用户的眼睛可以针对三个不同的角度进行捕获。在第一角度，红外光可以从光引导机构(例如，一系列水平槽)被引导，并且红外光可以被眼睛跟踪相机捕获。由于红外光的全内反射，红外光可能以两个角度打在眼睛跟踪相机的传感器，这可能导致在眼睛跟踪相机处产生两个图像。这两个图像可以对应于用户的眼睛，并且可以对应于第一角度。这两个图像可以对应于诸如水平轴线之类的轴线。类似地，眼睛跟踪相机可以以第二角度和第三角度中的每一着捕获用户的眼睛的两个图像。在该示例中，第一角度可以对应于用户的眼睛沿左方向观看，第二角度可以对应于用户的眼睛直向观看，并且第三角度可以对应于用户的眼睛沿右方向观看。
65.在一些方面，红外光可以从眼睛反射或散射，并打在光引导机构(例如，基板上的有角度的凹槽或小面)。反射或散射的红外光可以在光引导机构(或空气界面)处经历全内反射。红外光可以被俘获在基板中，并朝向眼睛跟踪相机传播，该眼睛跟踪相机可以位于基板的边缘。红外光可以以一定范围的入射角打在光引导机构(例如，基板上的有角度的凹槽或小面)，当红外光在光导中朝向眼睛跟踪相机传播时，可以保持该入射角。
66.在一些方面，红外光可以从光导的顶表面和底表面反射。因此，当眼睛跟踪相机至少部分地基于红外光执行成像时，眼睛跟踪相机可以沿着水平轴线捕获两个单独的图像。两个单独的图像的中心可以与眼睛跟踪相机的传感器上的相同x位置相关联，其中x位置可以与眼睛沿着水平轴线的凝视角度直接相关。
67.在一些方面，根据光引导机构(例如，一系列竖直槽)，眼睛跟踪相机可以沿着竖直轴线捕获两个单独的图像。两个单独的图像的中心可以与眼睛跟踪相机的传感器上的相同y位置相关联，其中y位置可以与眼睛沿着竖直轴线的凝视角度直接相关。
68.如以上所指出的，图6被提供作为示例。其他示例可能与关于图6所描述的不同。
69.图7是示出根据本公开的各个方面的使用光引导机构的眼睛跟踪的示例700的图。
70.如附图标记702、704和706所示，红外光可以从用户的眼睛反射或散射。红外光可以打在光引导机构，诸如基板上的一系列水平凹槽。红外光可以朝向位于基板边缘处的眼睛跟踪相机传播。根据与用户的眼睛相关联的角度，红外光可以以小范围的入射角打在光转向机构，当红外光在光导中朝向眼睛跟踪相机传播时，可以保持该入射角。
71.如以上所指出的，图7被提供作为示例。其他示例可能与关于图7所描述的不同。
72.图8是示出根据本公开的各个方面的使用光引导机构的眼睛跟踪的示例800的图。
73.如附图标记802所示，红外光可以从用户的眼睛反射或散射。红外光可以打在第一光引导机构，诸如基板上的一系列水平凹槽。红外光可以朝向位于基板的第一边缘处的第一眼睛跟踪相机传播。此外，红外光可以打在第二光引导机构，诸如基板上的一系列竖直凹槽。第二光引导机构可以垂直于第一光引导机构。红外光可以朝向位于基板的第二边缘处的第二眼睛跟踪相机传播，其中基板的第二边缘可以与基板的第一边缘相邻。
74.在一些方面，第一光引导机构和第一眼睛跟踪相机可以用于沿着第一轴线(诸如水平轴线)执行眼睛跟踪。第二光引导机构和第二眼睛跟踪相机可以用于沿着第二轴线(诸如竖直轴线)执行眼睛跟踪。换言之，第一光引导机构和第一眼睛跟踪相机可以用于确定用户沿水平轴线的眼睛凝视角度，并且第二光引导机构和第二眼睛跟踪相机可以用于确定用
户沿竖直轴线的眼睛凝视角度。
75.如附图标记804所示，第一光引导机构和/或第二光引导机构可以偏离基板的中心。换言之，第一光引导机构可以不位于基板的中心，和/或第二光引导机构可以不位于基板的中心。
76.在一些方面，可以使用两个眼睛跟踪相机来分别确定用户的眼睛的水平位置和竖直位置，其中第一眼睛跟踪相机可以与第二眼睛跟踪相机正交。在一些方面，可以使用单个眼睛跟踪相机来确定用户的眼睛的水平位置和竖直位置。如上所述，单个眼睛跟踪相机可以确定用户的眼睛的水平位置。单个眼睛跟踪相机可以至少部分地基于眼睛在单个眼睛跟踪相机的传感器上的竖直位置来确定用户的眼睛的竖直位置。
77.如以上所指出的，图8被提供作为示例。其他示例可能与关于图8所描述的不同。
78.图9是示出根据本公开的各个方面的使用光引导机构的眼睛跟踪的示例900的图。
79.如图9所示，当采用透镜模块(例如，扁平透镜模块)并且眼睛捕获设备被位于透镜模块内时，可以确定从用户的眼睛反射的红外光与在眼睛捕获设备处捕获的红外光之间的角度(φ)。此外，眼睛捕获设备可以经由与透镜模块内的基板相关联的光引导机构来检测红外光。角度分辨率可以被确定为角度φ的函数。在眼睛的视场上，诸如在眼睛的整个水平偏移上，角分辨率可以是相对恒定的。在一些情况下，角分辨率可以小于0.35度，这可以小于使用红外反射镜的眼睛跟踪解决方案，红外反射镜可以与范围从0.5度到1.5度的角分辨率相关联。
80.如以上所指出的，图9被提供作为示例。其他示例可能与关于图9所描述的不同。
81.图10是示出根据本公开的各个方面的使用光引导机构的眼睛跟踪的示例1000的图。
82.如附图标记1002所示，红外光可以从用户的眼睛反射或散射。红外光可以打在第一光引导机构，诸如基板上对应于水平轴线的第一小面贴片。红外光可以朝向位于基板的第一边缘处的第一眼睛跟踪相机传播。此外，红外光可以打在第二光引导机构，诸如基板上对应于竖直轴线的第二小面贴片。第二光引导机构可以垂直于第一光引导机构。红外光可以朝向位于基板的第二边缘处的第二眼睛跟踪相机传播，其中基板的第二边缘可以与基板的第一边缘相邻。在该示例中，第一小面贴片可以用于确定用户沿水平轴线的眼睛凝视角度，并且第二小面贴片可以用于确定用户沿竖直轴线的眼睛凝视角度。换言之，第一小面贴片可以与第一眼睛凝视方向相关联，并且第二小面贴片可以与第二眼睛凝视方向相关联，第二眼睛凝视方向与第一眼睛凝视方向正交。
83.如附图标记1004所示，红外光可以从用户的眼睛反射或散射。红外光可以打在光引导机构，诸如基板上的小面贴片。小面贴片可以包括正交的小面或凹槽的多个集合。打在与水平轴线相关联的小面贴片中的小面或凹槽的红外光可以朝向位于基板的第一边缘处的第一眼睛跟踪相机传播。打在与竖直轴线相关联的小面贴片中的小面或凹槽的红外光可以朝向位于基板的第二边缘处的第二眼睛跟踪相机传播。
84.如以上所指出的，图10被提供作为示例。其他示例可能与关于图10所描述的不同。
85.图11是示出根据本公开的各个方面的使用光引导机构的眼睛跟踪的示例1100的图。
86.如附图标记1102所示，红外光可以从用户的眼睛反射或散射。红外光可以打在光
引导机构，诸如耦合到基板的红外镜。例如，红外镜可以位于一定角度(例如，45度)，并且红外镜可嵌入到基板中或耦合到基板。红外镜可以涂覆有红外反射器，这可以允许红外镜通过可见光，这可以防止伪影，因为可见光可以在没有折射的情况下透射。打在红外镜的红外光可以朝向位于基板边缘处的眼睛跟踪相机传播。
87.如附图标记1104所示，红外光可以从用户的眼睛反射或散射。红外光可以打在光引导机构，诸如至少部分延伸到基板中的有角度的狭缝。有角度的狭缝可以不延伸基板的整个宽度以保持基板的机械强度。有角度的狭缝可以不延伸穿过基板的整个厚度以保持基板的机械强度。红外光可以从由有角度的狭缝形成的玻璃/空气界面全内反射，并且可以朝向位于基板边缘的眼睛跟踪相机传播。
88.如以上所指出的，图11被提供作为示例。其他示例可能与关于图11所描述的不同。
89.图12是示出根据本公开的各个方面的使用光引导机构的眼睛跟踪的示例1200的图。
90.在一些方面，眼睛跟踪设备可以包括透镜模块、红外照明设备、眼睛跟踪相机和光引导机构。眼睛跟踪设备可以不包括基板。相反，光引导机构可以是膜(例如，光引导膜)，其可以耦合到透镜模块的透镜元件。在该示例中，从用户的眼睛反射的红外光可以被膜引导到眼睛跟踪相机。
91.在一些方面，如附图标记1202所示，膜可以耦合到透镜模块中的第一透镜元件的前表面。在一些方面，如附图标记1204所示，膜可以耦合到透镜模块中的第一透镜元件的后表面。
92.在一些情况下，将膜耦合到透镜元件的表面可能会干扰透镜元件表面上的电介质涂层的功能。然而，当膜覆盖相对较小的区域时，这种干扰可能是最小的。在一些情况下，膜可以与电介质涂层兼容，其中可以不添加附加的基板。
93.在一些方面中，透镜元件的表面可以是弯曲的，在这种情况下，可以在透镜元件的整个表面上使用膜贴片而不是膜条，因为膜贴片可以更容易地附接到弯曲表面。
94.如以上所指出的，图12被提供作为示例。其他示例可能与关于图12所描述的不同。
95.图13是与使用光引导机构的眼睛跟踪相关联的示例性处理1300的流程图。在一些实施例中，图13的一个或多个处理框可以由眼睛跟踪设备(例如，眼睛跟踪设备240)执行。在一些实施例中，图13的一个或多个处理框可以由与眼睛跟踪设备分离或包括眼睛跟踪设备的另一设备或一组设备执行，诸如用户设备110。附加地或替代地，图13的一个或多个处理框可以由设备200的一个或者多个组件执行，诸如处理器210、存储器215、存储组件220、输入组件225、输出组件230和/或通信接口235。
96.如图13所示，处理1300可以包括使用透镜模块外部的红外照明设备来产生用来照射用户的眼睛以用于眼睛跟踪的红外光(框1310)。例如，如上所述，眼睛跟踪设备可以使用在透镜模块外部的红外照明设备来产生用来照射用户的眼睛以用于眼睛跟踪的红外光。
97.如图13中进一步所示，处理1300可以包括使用具有光引导机构的基板将从用户的眼睛反射的红外光朝向透镜模块内的眼睛跟踪相机引导(框1320)。例如，如上所述，眼睛跟踪设备可以使用具有光引导机构的基板将从用户的眼睛反射的红外光朝向透镜模块内的眼睛跟踪相机引导。
98.如图13中进一步所示，处理1300可以包括使用眼睛跟踪相机对用户的眼睛执行眼
睛跟踪(框1330)。例如，如上所述，眼睛跟踪设备可以使用眼睛跟踪相机对用户的眼睛执行眼睛跟踪。
99.处理1300可以包括附加的实施例，诸如以下描述的和/或结合本文其他地方描述的一个或多个其他处理的任何单个实施例或实施例的任何组合。
100.在第一实施例中，基板对红外光和可见光是透明或半透明的，并且基板是玻璃基板或塑料基板中的一种。
101.在第二实施例中，单独地或与第一实施例相结合，光引导机构是镜子、膜、小面、小面贴片、槽，或一个或多个凹槽。
102.在第三实施例中，单独地或与第一实施例和第二实施例中的一个或多个相结合，处理1300包括使用眼睛跟踪相机至少部分地基于对处于第一角度的红外光的检测来产生用户的眼睛的第一图像，至少部分地基于对处于第二角度的红外光的检测来产生用户的眼睛的第二图像，其中第一图像和第二图像沿着轴线，其中第一图像与第二图像之间的中心对应于用户的眼睛沿着轴线的凝视角度。
103.尽管图13示出了处理1300的示例框，但是在一些实施例中，与图13中所描绘的框相比，处理1300可以包括附加的框、较少的框、不同的框或不同布置的框。附加地或替代地，处理1300的框中的两个或更多个框可以被并行地执行。
104.前述公开提供了说明和描述，但不旨在穷举或将这些方面限制为所公开的精确形式。可以根据以上公开进行修改和变化，或者可以从各方面的实践中获得修改和变化。
105.如本文所使用的，术语“组件”旨在被广义地解释为硬件、固件和/或硬件和软件的组合。如本文所使用的，处理器以硬件、固件和/或硬件和软件的组合来实现。本文所描述的系统和/或方法可以以不同形式的硬件、固件和/或硬件和软件的组合来实现将是显而易见的。用于实现这些系统和/或方法的实际的专用控制硬件或软件代码并不限制这些方面。因此，本文在不参考特定软件代码的情况下描述了系统和/或方法的操作和行为，应当理解，软件和硬件可以被设计为至少部分地基于本文的描述来实现系统和/或方法。
106.如本文所使用的，根据上下文，满足阈值可以指大于阈值、大于或等于阈值、小于阈值、小于或等于阈值、等于阈值、不等于阈值等的值。
107.尽管在权利要求中记载特征的特定组合和/或在说明书中公开了特征的特定组合，但是这些组合不旨在限制各个方面的公开。实际上，这些特征中的许多特征可以以未在权利要求书中具体记载和/或说明书中公开的方式被组合。尽管下面列出的每项从属权利要求可以直接依赖于仅一项权利要求，但是各个方面的公开包括与权利要求集合中的每项其他权利要求相结合的每项从属权利要求。如本文所使用的，指代项目列表中的“至少一个”的短语是指那些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一项”旨在覆盖a、b、c、a-b、a-c、b-c和a-b-c，以及具有多个相同元素的任何组合(例如，a-a、a-a-a、a-a-b，a-a-c、a-b-b、a-c-c、b-b、b-b-b、b-b-c、c-c和c-c-c或a、b和c的任何其他排序)。
108.除非明确地这样描述，否则本文使用的任何元素、动作或指令不应被解释为关键的或必要的。另外，如本文所使用的，冠词“一(a)”和“一(an)”旨在包括一个或多个项目，并且可以与“一个或多个”互换使用。此外，如本文所使用的，冠词“该”旨在包括与冠词“该”相关引用的一个或多个项目，并且可以与“一个或多个”互换使用。此外，如本文所使用的，术语“集合”和“组”旨在包括一个或多个项目(例如，相关项目、不相关项目、相关项目和不相
关项目的组合)，并且可以与“一个或多个”互换使用。在旨在只有一个项目的情况下，使用短语“只有一个”或类似语言。另外，如本文所使用的，术语“具有(has)”、“具有(have)”、“具有(having)”等旨在是开放式术语。此外，除非另有明确说明，否则短语“基于”旨在表示“至少部分地基于”。此外，如本文所使用的，术语“或”在以一系列形式使用时旨在作为包含性的，并且可以与“和/或”互换使用，除非另有明确说明(例如，如果与“任一”或“只有一个”结合使用)。

技术特征：
1.一种眼睛跟踪设备，包括：透镜模块，所述透镜模块包括一个或多个透镜元件；红外照明设备，所述红外照明设备在所述透镜模块外部，并且被配置为产生能够照射用户的眼睛以用于眼睛跟踪的红外光；眼睛跟踪相机，所述眼睛跟踪相机在所述透镜模块内；以及基板，所述基板具有光引导机构，所述光引导机构被配置为将从所述用户的所述眼睛反射的所述红外光朝向所述眼睛跟踪相机引导。2.根据权利要求1所述的眼睛跟踪设备，其中所述基板对红外光和可见光是透明或半透明的，并且其中所述基板是玻璃基板或塑料基板中的一种。3.根据权利要求1所述的眼睛跟踪设备，其中被配置为引导光的所述光引导机构是：耦合到所述基板的镜子、耦合到所述基板的膜，或至少部分延伸到所述基板中的有角度的狭缝。4.根据权利要求3所述的眼睛跟踪设备，其中耦合到所述基板的所述膜是衍射膜或全息膜。5.根据权利要求1所述的眼睛跟踪设备，其中被配置为引导光的所述光引导机构是：与所述基板相关联的小面、与所述基板相关联的小面贴片、延伸到所述基板中的槽、或延伸到所述基板中的一个或多个凹槽。6.根据权利要求5所述的眼睛跟踪设备，其中延伸到所述基板中的所述一个或多个凹槽对应于沿着轴线的一系列平行凹槽。7.根据权利要求5所述的眼睛跟踪设备，其中与所述基板相关联的所述小面贴片包括对应于第一轴线的第一小面贴片和对应于第二轴线的第二小面贴片。8.根据权利要求1所述的眼睛跟踪设备，其中所述眼睛跟踪相机被配置为：至少部分地基于对处于第一角度的红外光的检测来产生所述用户的所述眼睛的至少一部分的第一图像；以及至少部分地基于对处于第二角度的红外光的检测来产生所述用户的所述眼睛的至少一部分的第二图像，其中所述第一图像和所述第二图像沿着轴线。9.根据权利要求8所述的眼睛跟踪设备，其中所述第一图像与所述第二图像之间的中心与所述用户的眼睛沿着所述轴线的凝视角度有关。10.根据权利要求8所述的眼睛跟踪设备，其中所述轴线是水平轴线。11.根据权利要求8所述的眼睛跟踪设备，其中所述轴线是竖直轴线。12.根据权利要求1所述的眼睛跟踪设备，其中：所述眼睛跟踪相机是第一眼睛跟踪相机，并且所述光引导机构是第一光引导机构，并且还包括第二眼睛跟踪相机和第二光引导机构，其中所述第一光引导机构垂直于所述第二光引导机构。13.根据权利要求12所述的眼睛跟踪设备，其中所述第一眼睛跟踪相机和所述第一光引导机构被配置为沿第一轴线执行眼睛跟踪，并且所述第二眼睛跟踪相机和所述第二光引导机构被配置为沿第二轴线执行眼睛跟踪。14.根据权利要求1所述的眼睛跟踪设备，其中包括所述一个或多个透镜元件的所述透
镜模块是扁平透镜模块。15.根据权利要求1所述的眼睛跟踪设备，其中所述眼睛跟踪设备包括在头戴式显示器中。16.一种眼睛跟踪设备，包括：透镜模块，所述透镜模块包括一个或多个透镜元件；红外照明设备，所述红外照明设备在所述透镜模块外部，并且被配置为产生用来照射用户的眼睛以用于眼睛跟踪的红外光；眼睛跟踪相机，所述眼睛跟踪相机在所述透镜模块内；以及光引导机构，所述光引导机构位于所述一个或多个透镜元件中的一个透镜元件的表面上，并且被配置为将从所述用户的所述眼睛反射的所述红外光朝向所述眼睛跟踪相机引导。17.根据权利要求16所述的眼睛跟踪设备，其中被配置为引导光的所述光引导机构是：镜子、膜、小面、小面贴片、槽或一个或多个凹槽。18.根据权利要求17所述的眼睛跟踪设备，其中所述一个或多个凹槽包括沿着轴线的一系列平行凹槽。19.根据权利要求17所述的眼睛跟踪设备，其中所述小面贴片包括对应于第一轴线的第一小面贴片和对应于第二轴线的第二小面贴片，其中所述第一轴线对应于所述用户的所述眼睛沿着所述第一轴线的第一凝视角度，并且所述第二轴线对应于所述用户的所述眼睛沿所述第二轴线的第二凝视角度。20.根据权利要求16所述的眼睛跟踪设备，其中所述眼睛跟踪相机被配置为：至少部分地基于对处于第一角度的红外光的检测来产生所述用户的所述眼睛的第一图像；以及至少部分地基于对处于第二角度的红外光的检测来产生所述用户的所述眼睛的第二图像，其中所述第一图像和所述第二图像沿着轴线，并且其中所述第一图像与所述第二图像之间的中心对应于所述用户的所述眼睛沿着所述轴线的凝视角度。21.根据权利要求20所述的眼睛跟踪设备，其中所述轴线是水平轴线或竖直轴线。22.根据权利要求16所述的眼睛跟踪设备，其中：所述眼睛跟踪相机是第一眼睛跟踪相机，并且所述光引导机构是第一光引导机构，并且还包括第二眼睛跟踪相机和第二光引导机构，其中所述第一光引导机构垂直于所述第二光引导机构。23.根据权利要求22所述的眼睛跟踪设备，其中所述第一眼睛跟踪相机和所述第一光引导机构被配置为沿第一轴线执行眼睛跟踪，并且所述第二眼睛跟踪相机和所述第二光引导机构被配置为沿第二轴线执行眼睛跟踪。24.一种方法，包括：使用在透镜模块外部的红外照明设备来产生用来照射用户的眼睛以用于眼睛跟踪的红外光；使用具有光引导机构的基板，将从所述用户的所述眼睛反射的红外光朝向所述透镜模块内的眼睛跟踪相机引导；以及
使用所述眼睛跟踪相机对所述用户的所述眼睛执行眼睛跟踪。25.根据权利要求24所述的方法，其中所述基板对红外光和可见光是透明或半透明的，并且其中所述基板是玻璃基板或塑料基板中的一种。26.根据权利要求24所述的方法，其中所述光引导机构是：镜子、膜、小面、小面贴片、槽或一个或多个凹槽。27.根据权利要求24所述的方法，还包括：使用所述眼睛跟踪相机至少部分地基于对处于第一角度的红外光的检测来产生所述用户的所述眼睛的第一图像；以及使用所述眼睛跟踪相机至少部分地基于对处于第二角度的红外光的检测来产生所述用户的所述眼睛的第二图像，其中所述第一图像和所述第二图像沿着轴线，其中所述第一图像与所述第二图像之间的中心对应于所述用户的所述眼睛沿着所述轴线的凝视角度。28.一种装置，其包括：用于使用在透镜模块外部的红外照明设备来产生用来照射用户的眼睛以用于眼睛跟踪的红外光的部件；用于使用具有光引导机构的基板，将从所述用户的所述眼睛反射的红外光朝向所述透镜模块内的眼睛跟踪相机引导的部件；以及用于使用所述眼睛跟踪相机对所述用户的所述眼睛执行眼睛跟踪的部件。29.根据权利要求28所述的装置，其中所述光引导机构是：镜子、膜、小面、小面贴片、槽或一个或多个凹槽。30.根据权利要求28所述的装置，还包括：用于使用所述眼睛跟踪相机、至少部分地基于对处于第一角度的红外光的检测来产生所述用户的所述眼睛的第一图像的部件；以及用于使用所述眼睛跟踪相机、至少部分地基于对处于第二角度的红外光的检测来产生所述用户的所述眼睛的第二图像的部件，其中所述第一图像和所述第二图像沿着轴线，其中所述第一图像与所述第二图像之间的中心对应于所述用户的所述眼睛沿着所述轴线的凝视角度。

技术总结
在一些方面，一种眼睛跟踪设备可以使用在透镜模块外部的红外照明设备来产生用来照射用户的眼睛以用于眼睛跟踪的红外光。眼睛跟踪设备可以使用具有光引导机构的基板将从用户的眼睛反射的红外光朝向透镜模块内的眼睛跟踪相机引导。眼睛跟踪设备可以使用眼睛跟踪相机对用户的眼睛执行眼睛跟踪。提供了许多其他方面。方面。方面。


技术研发人员：R
受保护的技术使用者：高通股份有限公司
技术研发日：2021.10.07
技术公布日：2023/8/24