【技术实现步骤摘要】
技术介绍
1、本申请要求于2022年9月23日提交的名称为“经校正凝视方向和原点”的美国临时申请序列号63/376,946的优先权权益，并且该申请据此全文以引用方式并入本文。
2、扩展现实(xr)系统诸如混合现实(mr)系统或增强现实(ar)系统将计算机生成的信息(称为虚拟内容)与真实世界图像或真实世界视图相结合，以增强用户的世界视图或向用户的世界视图添加内容。因此，可利用xr系统为多个应用提供交互式用户体验，诸如将虚拟内容添加到观看者的环境的实时视图的应用、与虚拟训练环境进行交互的应用、游戏应用、远程控制无人机或其他机械系统的应用、观看数字媒体内容的应用、与因特网交互的应用等。
技术实现思路
1、描述了用于校正眼睛跟踪系统(例如，在头戴式设备(hmd)(包括但不限于在扩展现实(xr)应用中使用的hmd)中使用的凝视跟踪系统)中的凝视方向和原点的方法和装置的各种实施方案。hmd可包括可穿戴设备，诸如头戴式耳机、头盔、护目镜或眼镜。xr系统可包括hmd，该hmd可包括一个或多个相机，该一个或多个相机可用于捕获用户环境的静态图像或视频帧。该hmd可包括定位在眼睛前方的透镜，穿戴者可透过这些透镜观看环境。在xr系统中，虚拟内容可显示在这些透镜上或投影到这些透镜上，以使虚拟内容对穿戴者可见，同时仍能够透过这些透镜观看真实环境。
2、在至少一些系统中，hmd可包括凝视跟踪技术。在示例性凝视跟踪系统中，一个或多个红外(ir)光源朝向用户的眼睛发射ir光。ir光的一部分
3、在此类凝视跟踪系统中，在初始校准或登记过程期间，可根据如上所述捕获的用户眼睛的一个或多个图像生成眼睛的模型。然后，在设备的使用期间，将该模型用于各种算法中，例如用于凝视估计过程中。眼睛模型可包括诸如角膜、虹膜和瞳孔形状、眼睛中心、入射瞳孔和眼睛光轴(穿过眼睛中心和入射瞳孔的矢量)的信息。
4、传统上，光轴用于渲染虚拟内容以供显示，并且在凝视估计过程中用于确定显示器上用户正在注视的点。然而，人眼的实际视轴偏离通过眼睛建模方法确定的光轴。另外，实际入射瞳孔可不同于通过眼睛建模方法确定的入射瞳孔。实际眼睛特征与建模眼睛特征之间的这些差异可能导致在显示虚拟内容或确定显示器上用户正在注视的内容时出现错误。
5、描述了用于校正凝视跟踪系统中的凝视方向和原点(入射瞳孔)的方法和装置的实施方案。在实施方案中，在获得眼睛模型之后的登记期间执行确定在注视目标提示时眼睛的姿势的步骤。此信息用于估计眼睛的真实视轴。然后，可使用所估计的视轴在使用期间校正相对于显示器的视点(pov)。如果存在夹式透镜，则可基于该夹式透镜的已知光学特性和姿势来计算经校正凝视轴。然后，可通过发射两条或更多条虚拟光线穿过该夹式透镜以确定光线与经校正凝视轴之间的交点来估计夹式校正入射瞳孔。
6、在一些实施方案中，在诸如hmd的设备的使用期间，为了确定显示器上眼睛正在注视的内容，可应用pov校正。在一些实施方案中，可基于pov校正来调整要显示的虚拟内容。在一些实施方案中，如果存在夹式透镜，则可在pov校正之前应用夹式校正。
本文档来自技高网...【技术保护点】
1.一种设备，包括：
2.根据权利要求1所述的设备，所述设备还包括视点(PoV)相机，所述PoV相机被配置为捕获所述设备前方的环境的视频，并且其中所述控制器被进一步配置为：
3.根据权利要求2所述的设备，所述设备还包括透镜，所述透镜被配置为在所述眼睛和所述显示器之间添加到所述设备，其中所述控制器被进一步配置为：
4.根据权利要求3所述的设备，其中所述控制器被进一步配置为通过根据所述光学特性，跟踪穿过所述透镜的一条或多条附加虚拟光线来计算经校正入射瞳孔。
5.根据权利要求3所述的设备，其中为了至少部分地基于所述眼睛的所述视轴确定从所述当前凝视方向到经校正凝视方向的平移，所述控制器被进一步配置为在基于所述PoV相机应用校正之前，基于所述透镜校正凝视轴对所述当前凝视方向应用校正。
6.根据权利要求1所述的设备，所述设备还包括一个或多个光源，所述一个或多个光源被配置为朝向所述眼睛发射光线，其中所发射的光线的一部分从所述眼睛朝向所述面向眼睛的相机反射。
7.根据权利要求6所述的设备，其中所述面向眼睛的相机被配置为捕获由
8.根据权利要求1所述的设备，其中所述设备是扩展现实(XR)系统的头戴式设备(HMD)。
9.一种方法，包括：
10.根据权利要求9所述的方法，还包括：
11.根据权利要求10所述的方法，还包括：
12.根据权利要求11所述的方法，所述方法还包括通过根据所述光学特性，跟踪穿过所述透镜的一条或多条附加虚拟光线来计算经校正入射瞳孔。
13.根据权利要求11所述的方法，其中至少部分地基于所述眼睛的所述视轴确定从所述当前凝视方向到经校正凝视方向的平移包括在基于所述PoV相机应用校正之前，基于所述透镜校正凝视轴对所述当前凝视方向应用校正。
14.根据权利要求9所述的方法，所述方法还包括一个或多个光源，所述一个或多个光源被配置为朝向所述眼睛发射光线，其中所发射的光线的一部分从所述眼睛朝向所述面向眼睛的相机反射。
15.根据权利要求14所述的方法，其中获得包括光轴和入射瞳孔的眼睛的模型包括：
16.根据权利要求9所述的方法，其中所述控制器、所述显示器和所述面向眼睛的相机是扩展现实(XR)系统的头戴式设备(HMD)的部件。
17.一种系统，包括：
18.根据权利要求17所述的系统，所述系统还包括位于所述眼睛与所述显示器之间的透镜，其中所述控制器被进一步配置为：
19.根据权利要求18所述的系统，其中所述控制器被进一步配置为通过根据所述光学特性，跟踪穿过所述透镜的一条或多条附加虚拟光线来计算经校正入射瞳孔。
20.根据权利要求17所述的系统，其中所述系统是扩展现实(XR)系统。
...【技术特征摘要】
1.一种设备，包括：
2.根据权利要求1所述的设备，所述设备还包括视点(pov)相机，所述pov相机被配置为捕获所述设备前方的环境的视频，并且其中所述控制器被进一步配置为：
3.根据权利要求2所述的设备，所述设备还包括透镜，所述透镜被配置为在所述眼睛和所述显示器之间添加到所述设备，其中所述控制器被进一步配置为：
4.根据权利要求3所述的设备，其中所述控制器被进一步配置为通过根据所述光学特性，跟踪穿过所述透镜的一条或多条附加虚拟光线来计算经校正入射瞳孔。
5.根据权利要求3所述的设备，其中为了至少部分地基于所述眼睛的所述视轴确定从所述当前凝视方向到经校正凝视方向的平移，所述控制器被进一步配置为在基于所述pov相机应用校正之前，基于所述透镜校正凝视轴对所述当前凝视方向应用校正。
6.根据权利要求1所述的设备，所述设备还包括一个或多个光源，所述一个或多个光源被配置为朝向所述眼睛发射光线，其中所发射的光线的一部分从所述眼睛朝向所述面向眼睛的相机反射。
7.根据权利要求6所述的设备，其中所述面向眼睛的相机被配置为捕获由所述一个或多个光源照射的所述眼睛的包括角膜、虹膜和瞳孔在内的图像，其中所捕获的图像由所述控制器处理以生成所述眼睛的所述模型。
8.根据权利要求1所述的设备，其中所述设备是扩展现实(xr)系统的头戴式设备(hmd)。
9.一种方法，包括：
10.根据...
【专利技术属性】
技术研发人员：J·本多夫，范启超，J·K·舒茨伯格，P·A·莱西，高华，
申请(专利权)人：苹果公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。