视线检测方法和装置制造方法及图纸

一种用于确定用户的视线是否指向3D场景中的感兴趣区的方向的方法包括：提供包含感兴趣区的3D场景；将属性与该感兴趣区相关联；创建表示该感兴趣区在3D场景的投影视图中的定位的位图，该感兴趣区所投影到的该位图的每个像素存储该感兴趣区的属性；检测用户的视线的方向；使用该位图来确定检测到的用户的视线是否指向该感兴趣区的方向。

Method and device for line of sight detection

Includes a method for determining whether the user's line of sight to the 3D scene in the area of interest includes: providing direction of region of interest 3D scene; attribute and the associated region of interest; create a region of interest in the said positioning projection view 3D scene in the bitmap, the attribute projection the areas of interest to the bitmap of each pixel of the storage region of interest detection; the user's line of sight direction; use the bitmap to determine whether the detected user view point to the direction of the area of interest.

【技术实现步骤摘要】
【国外来华专利技术】视线检测方法和装置本专利技术涉及当用户正在观察3D场景时跟踪用户的视线，并且具体涉及如何确定用户的视线是否指向3D场景中的感兴趣区的方向。已知检测眼睛及其视线方向，这例如可以通过以下方式来完成：使用红外辐射照亮寻找(seek)眼睛的区域；捕获该区域的图像；以及检测该图像中的从眼睛的瞳孔和角膜得到的明亮点。该方法利用了摄影师已知的明亮的眼睛或“红眼”效应，其中光线进入眼睛并被反射或者通过瞳孔而被吸收并重新发射，使得瞳孔看起来比脸部和眼睛的其余部分亮。一个单独的、较小的明亮点(也称为闪光点(glint))是由角膜创建的。瞳孔和角膜闪光点的相对位置可以用来确定眼睛的视线方向。更多细节在US6,152,563中给出。可替代地或互补地，可以使用类似的技术，其中红外照明器与图像传感器间隔开，因此由图像传感器捕获的图像具有不明亮的瞳孔，也被称为“暗瞳孔”效应。该视线跟踪技术可以在例如位于显示器附近的远程视线跟踪器中实现，或者在诸如一副眼镜、虚拟现实耳机、增强现实耳机、头盔之类的可穿戴设备中实现。这种视线跟踪技术可以用来确定用户是否正在看着屏幕上的特定物体或分区(area)(这些物体或分区在本文档中一般称为“区”)。例如，这可以作为游戏的一部分。这允许用户通过看着屏幕上的图像(看着图像的行为具有预定结果)来与这些图像进行交互，或者通过看着图像和另一个控制的组合(例如，用户按下键盘或鼠标上的键，同时其视线指向该图像)来与图像进行交互。通常，屏幕上的图像可能包含视线可交互区以及不是视线可交互的区。用于确定用户的视线是否指向图像中的视线可交互区的先前方法倾向于基于开发者需要指定“交互掩模(mask)”来指示可交互元素在屏幕上的定位。这些可以在某些约束下运作良好。这些约束包括使用静态“相机”(即，用来确定屏幕上的图像的视点)，以及维持少量作为“遮挡物(occluder)”的可移动物体(需要被标记为视线可交互的元素，但仅是为了传输视觉剔除信息的目的，而不是本身为“可交互”)。而且，这样的系统通常依赖于在视觉场景中可见的视线可交互物体。此外，先前已经可以从虚拟相机轮流检测(poll)或以其他方式投影线以确定场景内与它相交的物体。然而，由于视线跟踪技术内在缺乏100％的准确性，因此优选地轮流检测场景的分区以考虑用户确定的视线定位的误差或偏移。实际上，这需要在从虚拟相机投影的锥形内进行搜索。这是处理密集且低效的解决方案。然而，在3D(其中相机可以在场景中旋转，诸如在许多计算机游戏中或在虚拟现实耳机中，并且通常存在可以用作遮挡物的限定场景的大量几何体)中，先前的方法不是如此成功。即使没有遮挡物，3D情况也是有问题的。创建必需的掩模来应对3D环境和物体(不管它们是交互物还是遮挡物)从不同视点看去的变化的定位变得非常复杂。这是因为，例如，3D游戏中的演员(actor)(可以以主动方式与玩家交互的游戏实体)的数量通常比在2D应用中高得多。这实际上意味着场景中的每个物体都需要被视为潜在的遮挡物。相比之下，实际上意图视线可交互的物体，诸如部分其他角色(character)(角色是可以被AI或玩家拥有的演员)，可能包含少至每个场景的5-10％。结果，与视线可交互物体相比，遮挡物需要10倍或更多的带宽。这对于实现而言是低效的，并且对于游戏开发者来说实施起来麻烦。另外，游戏场景中的某些实体(诸如世界几何体(房屋、山等))本身不暴露呈现边界(renderbound)或物理边界，这意味着需要将这些网格投影到屏幕来为它们创建交互物遮挡物。这在计算上可以是极其昂贵的。另外，该世界几何体中的某一个是极其笨重的(山等)，所以为了以有意义的方式投影它们(以获得适当的遮挡物)，在执行任何投影之前首先使用网格划分算法将变得必需。这变得不切实际。最后，在某些情形下可能希望知道用户的视线是否指向在监视器或屏幕上显示的图像中未被可视地呈现的物体或区域。例如，物体或区域可能是不可见的，或者可能不再处于屏幕上显示的图像的边界内。因此，存在如何在3D情形下有效地实现视线跟踪的问题。本专利技术旨在至少部分地克服该问题。根据本专利技术，提供了一种用于确定用户的视线是否指向3D场景中的感兴趣区的方向的方法，该方法包括：提供包含感兴趣区的3D场景；将属性与该感兴趣区相关联；创建表示该感兴趣区在3D场景的投影视图中的定位的位图，该感兴趣区所投影到的位图的每个像素存储该感兴趣区的属性；检测用户的视线的方向；使用位图来确定检测到的用户的视线是否指向该感兴趣区的方向。该方法有效地允许以位图的形式动态且高效地生成“交互物掩模”。这样，游戏开发者的负担被减轻，并且视线交互可以更容易地并入3D情形。检测步骤可以包括检测用户的视线相对于位图或3D场景的另一投影的方向。该方法还可以包括为用户提供对应于3D场景的视觉表示；并且检测步骤可以包括检测用户的视线在该视觉表示内的方向。位图的视口(viewport)和视觉表示的视口可以相对于3D场景处于相同位置。可替代地，位图的视口和视觉表示的视口可以相对于3D场景不处于相同位置。可替代地，视觉表示的视口可以属于与3D场景相对应的第二场景。感兴趣区或感兴趣区的部分在视觉表示内可能不可见。感兴趣区或感兴趣区的部分因为被隐藏在一个或多个其他物体后面而在视觉表示内可能不可见。该方法还可以包括确定用户的视线指向在视觉表示内不可见的感兴趣区或感兴趣区的部分。可以存在多个感兴趣区。不同的感兴趣区可以与不同的属性相关联。创建步骤可以包括创建具有包含感兴趣区的多个属性的像素的位图，并且创建步骤还可以包括向像素中的属性分配用来指示感兴趣区在场景内的相对深度的索引(index)。属性可以是以下各项之一：感兴趣区的标识符，关于感兴趣区的运动的信息，或者关于感兴趣区的视觉重要性的信息。该方法还可以包括将多个属性与该感兴趣区或每个感兴趣区相关联。3D场景可以是模拟的3D场景。可以使用对应于3D场景的深度缓冲和/或模板缓冲数据来创建位图。根据本专利技术的另一方面，提供了一种用于确定用户的视线是否指向3D场景中的感兴趣区的方向的装置，该装置包括：缓冲器，其被配置为存储表示感兴趣区在3D场景的投影视图中的定位的位图，该感兴趣区所投影到的位图的每个像素存储该感兴趣区的属性；检测器，用于检测用户的视线的方向；处理器，用于使用位图来确定检测器所检测到的视线是否指向感兴趣区的方向。下面参照示例性实施例和附图来描述本专利技术，在附图中：图1是用于说明如何将3D场景呈现为2D图像的图；图2是示出分开的视觉和视线检测相机的用途的图；图3是示出分开的视觉和视线检测相机的另一用途的图；图4是示出分开的视觉和视线检测相机的又一用途的图；并且图5是用于实现视线检测的系统的图。本专利技术涉及关于3D场景的视线跟踪。术语视线跟踪在本文中用来指代检测和/或监视眼睛的定位和/或眼睛视线的方向的任何系统。本领域的技术人员将会知道并理解这样的系统。还注意到，描述也提及“视线可交互的”物体或区。该短语意图指示这样的物体：系统可以检测到用户的视线正在指向该物体。这可能会或可能不会引起用户的显性“交互”。例如，当系统检测到用户的视线正在指向视线可交互的物体时，用户可能看不到迹象(sign)。然而，物体已被看着的事实已经被检测到并且可能被系统以非本文档来自技高网...

【技术保护点】
一种用于确定用户的视线是否指向3D场景中的感兴趣区的方向的方法，该方法包括：提供包含感兴趣区的3D场景；将属性与感兴趣区相关联；创建表示感兴趣区在3D场景的投影视图中的定位的位图，感兴趣区所投影到的位图的每个像素存储感兴趣区的属性；检测用户的视线的方向；使用位图来确定检测到的用户的视线是否指向感兴趣区的方向。

【技术特征摘要】
【国外来华专利技术】2015.06.03 GB 1509622.51.一种用于确定用户的视线是否指向3D场景中的感兴趣区的方向的方法，该方法包括：提供包含感兴趣区的3D场景；将属性与感兴趣区相关联；创建表示感兴趣区在3D场景的投影视图中的定位的位图，感兴趣区所投影到的位图的每个像素存储感兴趣区的属性；检测用户的视线的方向；使用位图来确定检测到的用户的视线是否指向感兴趣区的方向。2.根据权利要求1所述的方法，还包括：其中，检测步骤包括检测用户的视线相对于位图或3D场景的另一个投影的方向。3.根据权利要求2所述的方法，还包括：为用户提供对应于3D场景的视觉表示；并且其中，检测步骤包括检测用户的视线在视觉表示内的方向。4.根据权利要求3所述的方法，其中，位图的视口和视觉表示的视口相对于3D场景处于相同位置。5.根据权利要求3所述的方法，其中，位图的视口和视觉表示的视口相对于3D场景不在相同位置。6.根据权利要求3所述的方法，其中，视觉表示的视口属于与3D场景相对应的第二场景。7.根据权利要求3至6中任一项所述的方法，其中，感兴趣区或感兴趣区的部分在视觉表示内不可见。8.根据权利要求7所述的方法，其中感兴趣区或感兴趣区的部分因为被隐藏在一个或多个其他物体后面而在视觉表示内不可见。9.根据权利要求7或权利要求8所述的方法，还包括确定用户的...

【专利技术属性】
技术研发人员：F·琳达，M·哥斯达伍森，A·凡斯琼姆，A·艾德林，
申请(专利权)人：托比股份公司，
类型：发明
国别省市：瑞典,SE