3D映射环境中的凝视检测制造技术

本公开涉及3D映射环境中的凝视检测。一种方法包括：接收计算机系统的用户(22)的至少一个身体部位的三维(3D)图；以及接收用户的二维(2D)图像，该图像包括用户的眼睛(34)。用户头部(32)的3D坐标从3D图和2D图像中提取出来，并且基于头部的3D坐标和眼睛的图像识别出由用户执行的凝视的方向。

【技术实现步骤摘要】
本申请是国际申请日为2012年2月9日、申请号为201280007484.1、专利技术名称为“3D映射环境中的凝视检测”的进入中国国家阶段的国际申请的分案申请。相关申请本申请要求2011年2月9日提交的美国临时专利申请61/440877，2011年8月24日提交的美国临时专利申请61/526692，以及2011年9月25日提交的美国临时专利申请61/538867的优先权，在此通过引用将它们并入本文。
本专利技术一般涉及人-机界面，并且具体地涉及组合多个用户交互形式的界面。
技术介绍
目前可以利用许多不同类型的用户界面设备和方法。常用的触觉界面设备包括计算机键盘、鼠标和操纵杆。触摸屏检测显示区域中通过手指或其他物体而进行的触摸的存在和位置。红外远程控件得以广泛地使用，并且也已经开发了“可佩戴的”硬件设备，用于远程控制的目的。基于用户的身体部位的三维(3D)感应的计算机界面也已经被提出。例如，PCT国际公开WO 03/071410，其公开内容通过引用并入本文，描述了一种使用深度-感知传感器的手势识别系统。通常设置在房间中的接近用户的3D传感器提供位置信息，该位置信息用于识别目标身体部位所产生的手势。基于身体部位的形状和它的位置以及在一段间隔的朝向来识别该手势。将该手势进行分类以用于确定到相关的电子设备的输入。通过引用而并入本专利申请中的文献，将被认为是本申请的一个完整部分，除非在这些并入的文献中定义的任何术语和本说明书中明确地或隐含地做出的定义相冲突，(此时)应仅考虑本说明书中的定义。作为另一个例子，美国专利7,348,963，其公开内容通过引用并入本文，该专利描述了一种交互式视频显示系统，在该系统中显示屏显示可视图像，并且摄像头捕获关于位于显示屏前面的交互式区域中的对象的3D信息。计算机系统响应于对象的改变来指示显示屏改变可视图像。三维人机界面系统不仅可以识别用户的手，而且还可以识别身体的其它部位，包括头部、躯干和肢体。例如，美国专利申请2010/0034457，其公开内容通过引用并入本文，其描述了一种用于根据深度图模拟人形的方法。对该深度图进行分割以便发现身体的轮廓。对该轮廓进行处理以便识别该对象的躯干以及一个或多个肢体。通过分析深度图中的至少一个所识别出的肢体的布置来产生输入以控制在计算机上运行的应用程序。一些用户界面系统跟踪用户的凝视方向。例如，美国专利7,762,665，其公开内容通过引用并入本文，其描述了一种用于调节设备操作的方法，该方法包括：提供用于获得关于用户的注意状态的信息的注意用户界面；并且基于所获得的信息调节设备的操作，其中，被调节的操作由该设备来启动。优选地，关于用户的注意状态的信息是用户与由该注意用户界面感测到的设备进行的眼神交流。
技术实现思路
根据本专利技术的实施例，提供了一种方法，该方法包括：接收计算机系统的用户的至少一个身体部位的三维(3D)图；接收该用户的二维(2D)的图像，该图像包括该用户的眼睛，从3D图和2D图像中提取出该用户的头部的3D坐标；基于该头部的3D坐标和眼睛的图像识别由用户执行的凝视的方向。根据本专利技术的实施例，还提供了一种方法，该方法包括：接收包括计算机系统的用户的眼睛的图像；基于该眼睛的图像识别由该用户执行的凝视的方向；基于凝视方向识别耦合到计算机系统的显示器上的区域，以及对呈现在该区域中的内容执行操作。根据本专利技术的实施例，另外又提供了一种方法，该方法包括：通过计算机系统在耦合到计算机的显示器上呈现多个交互项目；从耦合到该计算机的传感设备上接收表示用户的凝视方向的输入；基于凝视方向识别在该显示器上的目标点；使该目标点与出现在该显示器上的第一交互项目相关联；并响应于该目标点，打开该显示器上的一个或多个第二交互项目。根据本专利技术的实施例，还提供了一种方法，该方法包括：接收和分割计算机系统的用户的至少一个身体部位随时间的三维(3D)图的第一序列，以便提取该用户的第一点和第二点的3D坐标，该3D图指示了第二点相对于耦合到该计算机系统的显示器的运动；计算与第一点和第二点相交的线段；识别该线段与该显示器相交处的目标点，并且接合在显示器上呈现的接近该目标点的交互项目。根据本专利技术的实施例，还提供了一种装置，该装置包括传感设备，该传感设备被配置为接收用户的至少一个身体部位的三维(3D)图和该用户的眼睛图像，并接收该用户的二维(2D)图像，该2D图像包括用户的眼睛；及计算机，该计算机耦合到该传感设备并被配置为从3D图和2D图像中提取该用户的头部的3D坐标，基于该头部的3D坐标和眼睛图像识别由该用户执行的凝视的方向。根据本专利技术的实施例，另外还提供了一种装置，该装置包括传感设备，该传感设备被配置为接收包括用户眼睛的图像；及计算机，该计算机被配置为基于该眼睛图像识别由该用户执行的凝视的方向，基于凝视方向识别耦合到该计算机系统的显示器上的区域，以及对呈现在该区域中的内容执行操作。根据本专利技术的实施例，还提供了一种装置，该装置包括显示器和计算机，该计算机耦合到该显示器并被配置为在该显示器上呈现多个交互项目；从耦合到该计算机的传感设备接收表示用户的凝视方向的输入；基于该凝视方向识别在该显示器上的目标点；使该目标点与出现在该显示器上的第一交互项目相关联；并响应于该目标点，打开该显示器上的一个或多个第二交互项目。根据本专利技术的实施例，还提供了一种装置，该装置包括显示器和计算机，该计算机耦合到该显示器并被配置为接收和分割计算机系统的用户的至少一个身体部位随时间的三维(3D)图的第一序列，以便提取该用户的第一点和第二点的3D坐标，该3D图指示了第二点相对于耦合到该计算机系统的显示器的运动；计算与第一点和第二点相交的线段；识别该线段与该显示器相交处的目标点；以及接合在显示器上呈现的接近该目标点的交互项目。根据本专利技术的实施例，另外还提供了一种计算机软件产品，该计算机软件产品包括其中存储有程序指令的非暂时的计算机可读介质，当该指令由计算机读出时，使该计算机接收该计算机的用户的至少一个身体部位的三维(3D)图；接收该用户的二维(2D)图像，该图像包括该用户的眼睛；从3D图和2D图像中提取该用户头部的3D坐标；并且基于该头部的3D坐标和该眼睛图像识别由该用户执行的凝视的方向。根据本专利技术的实施例，还提供了一种计算机软件产品，该计算机软件产品包括其中存储有程序指令的非暂时的计算机可读介质，当该指令由计算机读出时，使该计算机接收包括该计算机系统的用户的眼睛的图像；基于该眼睛图像识别由该用户执行的凝视的方向；基于该凝视方向识别耦合到该计算机系统的显示器上的区域，以及对呈现在该区域中的内容执行操作。根据本专利技术的实施例，还提供了一种计算机软件产品，该计算机软件产品包括其中存储有程序指令的非暂时的计算机可读介质，当该指令由计算机读出时，使得该计算机在耦合到该计算机的显示器上呈现多个交互项目；从耦合到该计算机的传感设备接收表示用户的凝视方向的输入；基于该凝视方向识别该显示器上的目标点；使该目标点与出现在该显示器上的第一交互项目相关联；并响应于该目标点，打开该显示器上的一个或多个第二交互项目。根据本专利技术的实施例，另外还提供了一种计算机软件产品，该计算机软件产品包括其中存储有程序指令的非暂时的计算机可读介质，当该指令由本文档来自技高网...

【技术保护点】
一种方法，包括：接收计算机系统的用户的至少一个身体部位的三维3D图；接收所述用户的二维2D图像，所述图像包括所述用户的眼睛；从所述3D图和所述2D图像中提取所述用户的头部的3D坐标；以及基于所述头部的3D坐标和所述眼睛的图像识别由所述用户执行的凝视的方向。

【技术特征摘要】
2011.02.09 US 61/440,877;2011.08.24 US 61/526,692;1.一种方法，包括：接收计算机系统的用户的至少一个身体部位的三维3D图；接收所述用户的二维2D图像，所述图像包括所述用户的眼睛；从所述3D图和所述2D图像中提取所述用户的头部的3D坐标；以及基于所述头部的3D坐标和所述眼睛的图像识别由所述用户执行的凝视的方向。2.根据权利要求1所述的方法，其中识别所述凝视的方向包括分析从所述眼睛的组成部分反射的光。3.根据权利要求1所述的方法，其中提取所述头部的3D坐标包括分割所述3D图以便提取所述头部沿着水平轴、竖直轴和深度轴的位置。4.根据权利要求1所述的方法，其中提取所述头部的3D坐标包括从所述2D图像中识别所述头部沿着水平轴和竖直轴的第一位置，以及分割所述3D图以便从所述3D图中识别所述头部沿着深度轴的第二位置。5.根据权利要求1至4中任意一项所述的方法，还包括响应于所述凝视的方向来控制所述计算机系统的功能。6.根据权利要求5所述的方法，其中控制所述计算机系统的功能包括识别在耦合到所述计算机系统的显示器上呈现的在所述凝视的方向上的交互项目，以及改变所述交互项目的状态。7.根据权利要求6所述的方法，还包括接收指示所述用户在特定的方向上移动肢体的三维图的序列，以及响应性地在所述特定的方向上重新定位所述交互项目。8.根据权利要求6所述的方法，还包括识别在所述显示器上的在所述凝视的方向上的目标点，以及基于所述目标点与所述交互项目的接近程度来计算校准系数。9.根据权利要求5所述的方法，其中控制所述计算机系统的功能包括在接收到指示肢体朝向所述显示器运动的三维3D图的第一序列、接收到指示所述肢体朝向所述显示器减速运动的3D图的第二序列、及接收到指示所述肢体远离所述显示器运动的3D图的第三序列时，执行与在耦合到所述计算机系统的显示器上在所述凝视的方向上呈现的交互项目相关联的动作。10.根据权利要求5所述的方法，其中控制所述计算机系统的功能包括在所述用户引导所述凝视远离所述显示器时，由所述计算机系统激活功率节省技术。11.根据权利要求10所述的方法，其中激活功率节省技术包括减小耦合到所述计算机系统的显示器的亮度。12.根据权利要求5所述的方法，...

【专利技术属性】
技术研发人员：伊亚尔·贝奇科夫，奥伦·布兰泽纳，米莎·加洛尔，奥菲尔·欧尔，乔纳森·波克拉斯，埃米尔·奥夫南，塔米尔·贝利纳，
申请(专利权)人：苹果公司，
类型：发明
国别省市：美国;US