信息处理设备和信息处理方法技术

本发明专利技术涉及信息处理设备和信息处理方法。所述信息处理设备包括：获得单元，用于获得被摄体的图像；面部区域检测单元，用于从图像检测被摄体的面部区域；眼部区域检测单元，用于检测被摄体的眼部区域；生成单元，用于生成面部区域检测单元所检测到的面部区域的高分辨率图像和低分辨率图像；第一提取单元，用于从低分辨率图像中提取表示面部区域中存在的面部的方向的第一特征量；第二提取单元，用于从高分辨率图像中提取表示眼部区域中存在的眼部的方向的第二特征量；以及估计单元，用于从第一特征量和第二特征量估计被摄体的视线方向。

【技术实现步骤摘要】

本专利技术涉及检测被摄体的视线方向的信息处理设备和所使用的信息处理方法。
技术介绍
日本特开2003-256852公开了一种通过使用包括左眼和右眼的黑色部分以及外眼角的面部图像来检测眼部的方向的技术。然而，该技术被设计为在不考虑面部的方向β 1 的情况下而仅估计如图1所示的眼部的方向α 1。日本特开2007-265367公开了以下技术通过从图像中的面部检测诸如眼部等的特征点并使用所检测到的特征点之间的距离(即，两只眼部之间的距离)，从图1所示的眼部的方向α 和面部的方向β 1来估计眼部的视线方向(即，眼部朝向的方向)。
技术介绍
中的许多技术被设计为基于面部的器官(诸如鼻子、眼部、嘴部以及它们的特征点)之间的位置关系来计算眼部的方向α 1和面部的方向β 1，如日本特开2007-265367所公开的。 另外，许多技术在分别计算眼部的方向α 和面部的方向β 1时，从眼部的方向α 和面部的方向β 1估计视线方向。第一个问题是如果如在日本特开2007-265367中直接将特征点的坐标信息用于视线检测，则特征点检测精度自身变成视线方向的估计精度。即，所检测到的特征点中至少一个特征点从期望位置的偏离可能极大地降低视线检测精度。第二个问题是分别计算眼部的方向α 1和面部的方向β 1的技术可能导致各自的计算所产生的误差累积，因此不能以高精度估计视线方向。第三个问题是为了以高精度估计视线方向，还需要考虑诸如眼部的大小等的个体差异。考虑到上述问题，本专利技术提供一种不依赖于被摄体之间的个体差异而以高精度估计视线方向的技术。
技术实现思路
根据本专利技术的一个方面，提供一种信息处理设备，包括获得单元，用于获得摄像单元所拍摄的被摄体的图像；面部区域检测单元，用于从所述图像检测所述被摄体的面部区域；眼部区域检测单元，用于从所述图像检测所述被摄体的眼部区域；生成单元，用于从所述面部区域检测单元所检测到的面部区域的所获得的图像生成高分辨率图像和低分辨率图像；第一提取单元，用于从所述低分辨率图像中提取表示所述面部区域中存在的面部的方向的第一特征量；第二提取单元，用于从所述高分辨率图像中提取表示所述眼部区域中存在的眼部的方向的第二特征量；以及估计单元，用于从所述第一特征量和所述第二特征量估计所述被摄体的视线方向。根据本专利技术的一个方面，提供一种信息处理方法，包括获得步骤，用于获得所拍摄的被摄体的图像；面部区域检测步骤，用于从所获得的图像检测所述被摄体的面部区域； 眼部区域检测步骤，用于从所获得的图像检测所述被摄体的眼部区域；生成步骤，用于从在所述面部区域检测步骤中所检测到的面部区域的所获得的图像生成高分辨率图像和低分辨率图像；第一提取步骤，用于从所述低分辨率图像中提取表示所述面部区域中存在的面部的方向的第一特征量；第二提取步骤，用于从所述高分辨率图像中提取表示所述眼部区域中存在的眼部的方向的第二特征量；以及估计步骤，用于从所述第一特征量和所述第二特征量估计所述被摄体的视线方向。 通过以下参考附图对典型实施例的说明，本专利技术的其它特征将变得明显。附图说明图1是示出视线方向的定义的图2A是示出视线检测设备10的硬件结构的框图2B是示出视线检测设备10的各处理单元的功能结构的框图3是示出视线检测处理的过程的流程图4是示出通过面部检测和器官检测所检测到的器官、特征点和瞳孔的图5是示出通过标准化处理所生成的两种不同分辨率的图像的图6A 6D是示出边缘检测结果的图7是示出眼部区域的特征量提取处理的过程的流程图8A是示出基于眼部的特征点所设置的左眼和右眼区域的图8B是示出基于眼部的特征点所设置的眼部区域的标准化的图8C是示出基于眼部的特征点所设置的足以包括眼睑的眼部区域的图；以及图9是示出各种面部的视线方向的图。具体实施例方式现在将参考附图详细说明本专利技术的典型实施例。应该注意，在这些实施例中所述的组件的相对配置、数字表达式和数值不限制本专利技术的范围，除非以其它方式特别声明。第一实施例首先将参考图2A说明根据本实施例的作为检测被摄体的视线方向的信息处理设备的视线检测设备10的硬件结构。CPUl控制整个设备的操作，更具体地，各处理单元(将在后面说明)的操作。存储器2存储用于CPU 1的操作的程序和数据。总线3用于各处理单元之间的数据传送。接口 4与总线3和各种设备连接。外部存储装置5存储要装载至CPU 1的程序和数据。键盘6和鼠标7构成用于启动程序或指定程序的操作的输入装置。显示单元8显示处理的操作结果。接着将参考图2B说明视线检测设备10的各处理单元的功能结构。视线检测设备 10包括图像获得单元100、面部检测单元110、标准化图像生成单元120、面部方向判断特征量提取单元130、眼部区域特征量提取单元140和视线估计单元150。图像获得单元100获得摄像设备等所拍摄的图像。面部检测单元110从图像获得单元100所获得的图像检测被摄体的面部区域，并且还检测面部的中心位置。面部检测单元110还检测面部的诸如眼部和嘴部等的各部分的中心位置、诸如外眼角和内眼角等的较小的特征点、以及诸如瞳孔的位置等的器官的位置寸。标准化图像生成单元120通过使用面部检测单元110所检测到的位置来标准化图像，以将面部的大小设置为预定大小，并使面部朝向正立位置。标准化图像生成单元120还生成具有不同分辨率的多个标准化图像。面部方向判断特征量提取单元130从标准化图像生成单元120所生成的图像中提取用于判断面部的方向的特征量。眼部区域特征量提取单元140从标准化图像生成单元120所生成的图像中提取眼部区域特征量。视线估计单元150通过使用面部方向判断特征量提取单元130所提取的用于判断面部的方向的特征量、以及眼部区域特征量提取单元140所提取的眼部区域特征量，来估计视线方向。接着将参考图3的流程图说明视线检测处理的过程。在步骤S301中，图像获得单元100通过使用各种方法之一获得图像。例如，图像获得单元100获得由诸如数字照相机等的摄像设备所拍摄的并且存储在非易失性存储器等中的面部图像。图像获得单元100可以获得存储在硬盘驱动器中的面部图像。在步骤S302中，面部检测单元110检测面部的中心位置，作为步骤S301中获得的图像中的面部区域的位置。面部检测单元110还检测眼部的中心位置，作为被摄体的眼部区域的位置。在步骤S303中，面部检测单元110判断是否从图像检测到面部。如果面部检测单元110判断为检测到面部(步骤S303中为“是”)，则处理进入步骤S304。如果面部检测单元110判断为没有检测到面部(步骤S303中为“否”)，则处理返回至步骤S301。本实施例处理人的面部作为对象。然而，可以处理诸如狗或猫等的动物的面部。例如，获得如图4所示的面部的中心位置432。注意，可以使用检测面部的各种技术(参见例如 P.Viola and Μ. Jones,"Rapid Object Detection using a Boosted Cascade of Simple Features”，in Proc. Of CVPR，Vol. 1，pp. 511-518，December，2001)。另外，可以使用利用神经网络来检测面部的技术(参见例如Yusuke Mitarai, Katsuhiko M本文档来自技高网...

【技术保护点】
１．一种信息处理设备，包括：获得单元，用于获得摄像单元所拍摄的被摄体的图像；面部区域检测单元，用于从所述图像检测所述被摄体的面部区域；眼部区域检测单元，用于从所述图像检测所述被摄体的眼部区域；生成单元，用于从所述面部区域检测单元所检测到的面部区域的所获得的图像生成高分辨率图像和低分辨率图像；第一提取单元，用于从所述低分辨率图像中提取表示所述面部区域中存在的面部的方向的第一特征量；第二提取单元，用于从所述高分辨率图像中提取表示所述眼部区域中存在的眼部的方向的第二特征量；以及估计单元，用于从所述第一特征量和所述第二特征量估计所述被摄体的视线方向。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：金田雄司，真继优和，森克彦，
申请(专利权)人：佳能株式会社，
类型：发明
国别省市：JP