基于眼睛注视的相机自动聚焦制造技术

本文公开的技术基于眼睛跟踪来使相机自动聚焦。技术包括跟踪眼睛的眼睛注视以确定用户所专注的位置。然后，相机透镜可以聚焦于该位置。在一方面，确定第一向量，该第一向量对应于在一时间点用户的第一眼睛正在注视的第一方向。确定第二向量，该第二向量对应于在该时间点用户的第二眼睛正在注视的第二方向。确定第一向量和第二向量的交点位置。确定该交点位置与相机透镜位置之间的距离。透镜基于该距离来聚焦。透镜可基于单个眼睛向量和深度图像来聚焦。

【技术实现步骤摘要】
【国外来华专利技术】【专利说明】基于眼睛注视的相机自动聚焦 背景 消费者电子设备中的相机的最大问题之一是用户想要捕捉图像（例如，照片或视 频）与实际上捕捉到该图像之间的时间。用于自动聚焦相机的技术有助于减轻必须手动聚 焦相机的用户负担。然而，自动聚焦算法可耗费时间来执行。而且，该算法可能使相机误聚 焦于错误物体。 用于自动聚焦的一种技术是使相机扫过一焦距范围，以便在多个距离中的每一距 离处收集图像数据。然后使用图像处理来分析图像数据以确定哪一个图像提供了最佳聚 焦。相机然后在该最佳焦距拍摄照片。这一技术的问题在于相机扫过不同焦距所花费的时 间。 另一种技术是选择相机视野中的物体。相机然后可以自动聚焦于该物体。一些相 机可检测脸部并自动聚焦于脸部。然而，可能难以知晓相机应聚焦于什么物体，因为知晓用 户希望拍摄什么物体的照片可能是困难的。例如，前景中可以有一个人，背景中有一棵树。 如果相机系统不正确地假定用户期望拍摄前景中的人的照片，则树将是失焦。当然，相机可 以重新聚焦于树，但这耗费额外的时间。如果用户曾尝试拍摄树中的鸟的照片，则这只鸟可 能在相机聚焦时已经飞走。 概述 公开了用于使相机自动聚焦的方法和系统。技术包括跟踪眼睛的眼睛注视以确定 用户所专注的位置。然后，相机透镜可以聚焦于该位置。这允许相机的快速聚焦。 -个实施例包括一种用于使相机自动聚焦的方法，包括以下内容。使用眼睛跟踪 系统来跟踪用户的眼睛注视。基于眼睛跟踪来确定对应于在一时间点用户的眼睛正在注视 的方向的向量。该方向在相机的视野中。基于该向量与相机透镜位置来确定距离。透镜基 于该距离来自动聚焦。 -个实施例包括一种系统，该系统包括具有透镜的相机以及耦合到该相机的逻 辑。逻辑被配置成执行以下动作。逻辑被配置成确定第一向量，该第一向量对应于在一时 间点用户的第一眼睛正在注视的第一方向。逻辑被配置成确定第二向量，该第二向量对应 于在该时间点用户的第二眼睛正在注视的第二方向。逻辑被配置成确定第一向量与第二向 量的交点位置。逻辑被配置成确定交点位置与透镜位置之间的距离。逻辑被配置成使透镜 基于该距离来聚焦。 -个实施例包括一种用于使相机自动聚焦的方法，包括以下内容：使用眼睛跟踪 系统来跟踪用户的眼睛。基于眼睛跟踪来确定多个第一向量，该多个第一向量各自对应于 在不同时间点用户的第一眼睛正在注视的第一方向。基于眼睛跟踪来确定多个第二向量， 该多个第二向量各自对应于在这些不同时间点中的相应时间点用户的第二眼睛正在注视 的第二方向。确定针对这些不同时间点中的每一时间点的第一向量与第二向量的多个交 点。基于多个交点位置来生成深度图。基于深度图来使相机透镜自动聚焦。 提供本概述以便以简化形式介绍将在以下的【具体实施方式】中进一步描述的一些 概念。本概述并不旨在标识出所要求保护的主题的关键特征或必要特征，也不旨在用于限 定所要求保护的主题的范围。 附图简述 图1A和图1B示出了基于跟踪一个人的眼睛注视的方向来使相机聚焦的示例。 图2A是使相机自动聚焦的过程的一个实施例的流程图。 图2B是使用两个眼睛向量的交点来使相机自动聚焦的过程的一个实施例的流程 图。 图2C是帮助示出计算眼睛注视位置的一个实施例的原理的图示。 图2D是使用眼睛向量和深度图像来使相机自动聚焦的流程图。 图3A是描绘HMD设备的一个实施例的各示例组件的框图。 图3B描绘HMD设备的一部分的俯视图。 图3C示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛 的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的示例性布置。 图3D示出定位成在配备在一副眼镜中的混合现实显示设备上面对各相应眼睛 的、用于每个眼睛的注视检测系统中的相应注视检测元件的集合的位置的另一示例性安 排。 图3E示出由该副眼镜定位成面对各相应眼睛的、用于每个眼睛的注视检测系统 中的相应注视检测元件的集合的位置的又一示例性安排。 图4是描绘HMD设备的各个组件的框图。 图5是HMD设备的处理单元的各组件的一个实施例的框图。 图6是基于用户注视的位置的深度图来使相机聚焦的过程的一个实施例的流程 图。 图7是用于使相机自动聚焦的过程的一个实施例的流程图。 图8A是基于眼睛跟踪来使相机自动聚焦的过程的一个实施例的流程图，其中相 机选择脸部来聚焦。 图8B是基于眼睛跟踪来使相机自动聚焦的过程的一个实施例的流程图，其中相 机选择该相机的视野（F0V)的中心来聚焦。 图8C是基于眼睛跟踪来使相机自动聚焦的过程的一个实施例的流程图，其中用 户手动选择要聚焦的物体。 图9A是基于用户注视的最后位置来使相机聚焦的流程图的一个实施例。 图9B是基于用户最近注视的两个或更多个位置来使相机聚焦的流程图的一个实 施例。 图10A是基于用户花费在注视各个位置的时间量的相机自动聚焦过程的一个实 施例的流程图。 图10B是基于对用户花费在注视各个位置的时间量加权的相机自动聚焦过程的 一个实施例的流程图。 图11是描述用于使用上述技术来跟踪眼睛的一个实施例的流程图。 详细描述 公开了用于使相机自动聚焦的方法和系统。在一个实施例中，系统跟踪两个眼睛 的眼睛注视以确定用户正专注于的点。在一个实施例中，该位置被确定为两个向量的交点， 每一向量对应于其中一只眼睛正在注视的方向。然后，相机透镜可以聚焦于该点。在一个 实施例中，系统跟踪用户的眼睛注视，访问具有深度值的深度图像，并且确定该深度图像中 对应于该向量的点。该点可以是用户正在注视的物体。系统能够从深度值和相机的已知位 置中确定从相机到物体的距离。术语"注视"指的是用户朝某个方向看达到某一最少时间。 不存在所设置的最少时间，因为这是可被调整的参数。 图1A和1B示出了基于跟踪一个人的眼睛注视的方向来使相机聚焦的示例。在该 示例中，人13正佩戴包括相机113和眼睛跟踪传感器134的设备2。然而，相机113可以是 与具有眼睛跟踪传感器134的设备分开的设备。在图1A中，人113正在注视物体A。设备 2跟踪用户的眼睛注视以确定用户113正看着处于该位置的某一事物。设备2无需知晓在 该位置存在物体。相反，在一个实施例中，设备2简单地确定该位置在某一参考坐标系中的 3D坐标。设备2然后使相机113聚焦以使其适当地聚焦以捕捉物体A的图像。这可通过知 晓相机在坐标系中的位置并确定相机透镜与用户正在注视的点之间的距离来实现。然后， 设备2使相机113针对该距离来聚焦。注意，相机113可拍摄静止图像（例如，照片）或移 动图像（例如，视频）。 在图1B中，人113正在注视物体B。设备2跟踪用户的眼睛注视以确定用户113 正看着处于该位置的某一事物。设备2然后使相机113聚焦以使其适当地聚焦以捕捉物体 B的图像。如上所述，设备2无需知晓在物体B所处之处存在任何事物。设备2可简单地确 定相机113与用户正注视的位置之间的距离，并且然后使相机113针对该距离来适当地聚 焦。图2A是使相机自动聚焦的过程200的一个实施例的流程图。在一个实施例中，相 机是头戴式显示器（HMD)的一部分。而且，HMD具有眼睛跟踪传感器。然而，过程200不限 于HMD。示例HMD在以下讨论。该过程可以在其中相机在与眼睛跟踪传感器不同的设备中 的系统本文档来自技高网...

【技术保护点】
一种方法，包括：使用眼睛跟踪系统来跟踪用户的眼睛注视；基于跟踪所述眼睛注视来确定对应于在一时间点所述用户的眼睛正在注视的方向的向量，所述方向在相机的视野中；基于所述向量与所述相机的透镜位置来确定距离；以及基于所述距离来自动使所述相机的透镜聚焦。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：N·阿克曼，A·C·高里斯，B·西尔弗，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US