视频获取单元(310)从与用户头部的运动相关联地移动的第一光源(220)以及具有相对于用户当作观测目标的视频呈现单元(500)不变的位置的第二光源(400)这两个光源，获取包括从照射到用户的眼球之一的每个各自的光反射的光的区域的视频，所述视频是与用户头部的运动相关联地移动的图像捕获元件(210)进行图像捕获的。头部运动估计单元(320)基于在视频获取单元(310)已经获取的视频中第二光源(400)的反射光相对于第一光源(220)的反射光的相对位置，估计用户头部的运动。
【技术实现步骤摘要】
【国外来华专利技术】视频分析设备、视频分析方法和注视点显示系统
本专利技术涉及视频分析设备、视频分析方法和注视点显示系统。
技术介绍
注视点（Point-Of-Gaze ;P0G)的估计技术已经被研究了很长时间，并且应用于涉 及与计算机的对话的许多领域，诸如对计算机的信息输入、以及观测用户对网络浏览器的 关注目标。为了实现高精度注视点估计，考虑到一些情况下的光学折射，执行角膜的曲率中 心以及瞳孔中心的测量。 另一方面，在将注视点估计技术应用于诸如例如游戏的应用的情况下，需要可以 通过舒服的操作容易地执行注视点控制，而不是总是精确估计注视点。换句话说，期望在视 线注视在目标上的情况下光标可以与目标精确对准的技术。
技术实现思路
要解决的技术问题 上述的考虑光学折射来测量角膜的曲率中心和瞳孔中心的注视点估计技术具有 高精度。然而，需要相对高的计算能力，因此可能导致延迟。 有鉴于上述问题做出了本专利技术，并且本专利技术目的之一在于提供一种技术，其使得 能够控制注视点而不引入计算成本。 解决问题的技术方案 为了解决上述问题，本专利技术的一具体方面是一种视频分析设备。所述设备包括： 视频获取器，获取通过与用户头部运动相关联地移动的成像元件对一区域成像而获得的视 频，所述区域具有从与用户的头部的运动相关联地移动的第一光源以及其相对位置关于作 为用户的观测目标的视频呈现器不变的第二光源这两个光源照射到用户的任一眼球的光 束的各自的反射光；以及头部运动估计器，基于在通过视频获取器获取的视频中第二光源 的反射光相对于第一光源的反射光的相对位置，估计用户头部的运动。 本专利技术的另一方面是一种视频分析方法。所述方法使得处理器执行以下步骤：获 取通过与用户头部运动相关联地移动的成像元件对一区域成像而获得的视频，所述区域具 有从与用户的头部的运动相关联地移动的第一光源以及其相对位置关于作为用户的观测 目标的视频呈现器不变的第二光源这两个光源照射到用户的任一眼球的光束的各自的反 射光束；以及基于在所述视频中两个反射光束的相对位置，估计用户头部的运动。 本专利技术的另一方面是一种注视点显示系统。所述系统包括：头部安装的成像元件， 其是对用户的任一眼球成像并与用户头部的运动相关联地移动的成像元件；第一光源，其 是用光照射通过成像元件成像的眼球并与成像元件的运动相关联地移动的光源；作为用户 的观测目标的视频呈现器；第二光源，其是用光照射通过成像元件成像的眼球并附接到视 频呈现器的光源。所述系统还包括：头部运动估计器，基于在通过成像元件的成像获得的视 频中第二光源的反射光相对于第一光源的反射光的相对位置，估计用户头部的运动；眼球 运动估计器，基于通过成像元件的成像获得的视频中的第一光源的反射光的绝对位置，估 计通过成像元件成像的眼球的运动；注视位置获取器，基于所估计的用户的头部的运动和 眼球的运动，获取用户的注视位置；以及光标生成器，生成在视频呈现器的显示区域中与通 过注视位置获取器获取的注视位置相对应的位置处显示的光标图像。 本专利技术的另一方面是一种程序，使得计算机实现上述方法的各个步骤。 此程序可以作为嵌入在装置中的固件的一部分而提供，用于执行诸如视频和音频 解码器的硬件资源的基本控制。此固件存储在装置的例如ROM(只读存储器）中或诸如闪 存的半导体存储器中。为了提供此固件或更新固件的一部分，可以提供记录了此程序的计 算机可读记录介质，或可以通过通信线路传输此程序。 作为本专利技术的各方面，通过在方法、设备、系统、计算机程序、数据结构、记录介质 等之间转换本专利技术的上面的构成元件和表述的任意组合而获得的也是有效的。 专利技术的有利效果 根据本专利技术，可以提供能够进行注视点的控制而不引入计算成本的技术。 【附图说明】 图1是示出使用根据实施例的角膜反射的视线跟踪系统的系统图。 图2是示出与根据本实施例的方法A-1和A-2中的屏幕上的各个Pgaze对应的 的坐标的图。 图3是示出根据本实施例的方法C中的P。。^^和h的相对位置的坐标的图。 图4是示出用于比较根据本实施例的各个方法的性能的实验系统的图。 图5是示出根据实施例的每个阶段的校准过程和校准结果的图。 图6是示出当受试者跟踪屏幕上的九个标记时的估计注视点的图。 图7是示出当受试者使得光标与十个固定标记逐一重叠时的轨迹的图。 图8是示出用于评估在游戏使用的情况下根据实施例的各个方法的性能的应用 的图。 图9是示出在游戏使用的情况下根据实施例的各个方法的性能的评估的结果的 图。 图10是示出在游戏使用的情况下根据实施例的各个方法的性能的评估的结果的 另一图。 图11是示意性示出根据实施例的注视点显示系统的配置的图。 图12是示意性示出根据实施例的头部运动估计器和眼球运动估计器的内部配置 的图。 图13 (a)到（d)是例示第一光源220的反射光的位置P。。^^与第二光源400的反 射光的位置之间的位置关系的图。 图14是示出根据实施例的注视点显示系统中的处理流程的流程图。 【具体实施方式】 下面，将基于优选实施例说明本专利技术。首先，将描述作为实施例的基础的理论，作 为前提技术，然后，将说明具体实施例。 (前提技术） I ?序语 注视点的估计技术已经被研究了很长时间，并且应用于涉及与计算机的对话的许 多领域，诸如对计算机的信息输入、以及观测人类对网络浏览器的关注目标。在几乎所有情 况下，最主要的关注之一是高精度注视点估计。为了实现此目的，考虑到一些情况下的光学 折射，执行角膜的曲率中心以及瞳孔中心的测量。尽管此方法具有非常高的精度，但是需要 相对高的计算能力，并因此导致延迟。在游戏中，最小化输入数据的延迟是最重要的需求之 一。因此，应当尽可能避免这种复杂的图像处理。 另一方面，当考虑到游戏中视线估计的有效使用时，首要考虑的事情是对于第一 人称射击（first person shooter，FPS)的应用。如果可以实现完全精确的视线估计，贝IJ可 以立即应用于此。然而，实际上，由于许多因素，估计的注视点趋于容易从实际的注视点偏 离。在这样的情况下，将视线对准于目标的重要性在于，可以通过舒服的操作容易地执行注 视点控制，而不是总是精确地估计注视点。换句话说，在视线处于目标上的情况下光标可以 精确对准于目标上的能力是非常重要的。顺便提及，从游戏创建的角度，如果头部的运动和 视线的运动可以分开表达，在某些情况下可以很好地表达真实世界中存在的感觉。与头部 的运动相关联地摇摄背景图像、并且通过视线的运动移动光标的情况是其典型示例。 II ?相关方法 在注视点估计中，通常利用角膜表面上的光源反射。图1是使用角膜反射的视线 跟踪系统的系统图。在此图中，示出两个红外光源。一个存在于屏幕上，另一个安装于头 上。在许多研究中，它们中的任一个用于注视点估计。如图1中的图像可见，屏幕上的光源 的光强相对高（两列上排列了三个光源的配置），并且具有相对低输出功率的光源布置为 紧挨鼻尖。选择前者的原因在于两种光源的反射的有效区分，选择后者的原因在于考虑到 对于眼睛的不利影响。此外，摄像机安装本文档来自技高网...
【技术保护点】
一种视频分析设备，其特征在于，包括：视频获取器，获取通过与用户头部的运动相关联地移动的成像元件对一区域成像而获得的视频，所述区域具有从与用户头部的运动相关联地移动的第一光源以及其相对位置关于作为用户的观测目标的视频呈现器不变的第二光源这两个光源照射到用户的任一眼球的光束的各自的反射光；以及头部运动估计器，基于在通过视频获取器获取的视频中第二光源的反射光相对于第一光源的反射光的相对位置，估计用户头部的运动。
【技术特征摘要】
【国外来华专利技术】2012.05.25 JP 2012-1201241. 一种视频分析设备，其特征在于，包括： 视频获取器，获取通过与用户头部的运动相关联地移动的成像元件对一区域成像而获 得的视频，所述区域具有从与用户头部的运动相关联地移动的第一光源以及其相对位置关 于作为用户的观测目标的视频呈现器不变的第二光源这两个光源照射到用户的任一眼球 的光束的各自的反射光；以及 头部运动估计器，基于在通过视频获取器获取的视频中第二光源的反射光相对于第一 光源的反射光的相对位置，估计用户头部的运动。2. 如权利要求1所述的视频分析设备，其特征在于，还包括： 眼球运动估计器，基于通过成像元件的成像获得的视频中第一光源的反射光的绝对位 置，估计通过成像元件成像的眼球的运动；以及 注视位置获取器，基于所估计的用户头部的运动和眼球的运动，获取用户的注视位置。3. 如权利要求2所述的视频分析设备，其特征在于， 所述眼球运动估计器具有： 第一位置坐标获取器，获取通过成像元件的成像获得的视频中第一光源的反射光的位 置坐标；以及 第一变换器，将通过第一位置坐标获取器获取的位置坐标乘以预定第一变换矩阵，以 将所述位置坐标变换为作为用户的观测目标的视频呈现器的显示区域中的位置坐标；并且 所述第一变换器所使用的第一变换矩阵是当用户在固定头部的运动的情况下通过移 动眼球而移动显示区域中的注视位置时、基于第一光源的反射光的位置坐标和视频呈现器 的显示区域中注视位置的绝对位置坐标而预先计算的矩阵。4. 如权利要求3所述的视频分析设备，其特征在于， 所述头部运动估计器具有： 第二位置坐标获取器，获取通过成像元件的成像获得的视频中第二光源的反射光的位 置坐标； 位置矢量获取器，获取其起点是通过第一位置坐标获取器获取的位置坐标、其终点是 通过第二位置坐标获取器获取的位置坐标的位置矢量；以及 第二变换器，将通过位置矢量获取器获取的位置矢量变换为作为用户的观测目标的视 频呈现器的显示区域中的位置坐标；并且 所述第二变换器通过使用第二变换矩阵将位置矢量变换为视频呈现器的显示区域中 的位置坐标，所述第二变换矩阵基于当用户在固定眼球的运动的情况下通过移动头部而移 动显示区域中的注视...
【专利技术属性】
技术研发人员：大贯善数，
申请(专利权)人：索尼电脑娱乐公司，
类型：发明
国别省市：日本;JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。