图像处理方法、图像处理装置以及图像处理程序制造方法及图纸

一种图像处理方法，获取图像数据；从图像数据检测包含人的脸部的至少一部分的脸部区域；在检测到的脸部区域，设定用于检测人的眼睛的第一区域；通过基于规定的基准使第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；在第二区域，检测表示瞳孔或虹膜的瞳信息；输出检测到的瞳信息。出检测到的瞳信息。出检测到的瞳信息。

【技术实现步骤摘要】
【国外来华专利技术】图像处理方法、图像处理装置以及图像处理程序


[0001]本专利技术涉及一种检测表示瞳孔或虹膜的瞳信息的技术。

技术介绍

[0002]视线检测技术被用于诸如对人感兴趣的对象的推测、对睡意等人的状态的推测以及通过视线进行向设备的输入的用户界面等的各种用途。视线检测技术大致区分为头部佩戴型和非接触型。头部佩戴型的视线检测技术是将头戴式显示器等的装置佩戴到人的头部从而检测视线的技术。非接触型的视线检测技术是无需将装置佩戴到人体即可以检测视线的技术。由于非接触型的视线检测技术不必如头部佩戴型的视线检测技术那样需要将装置佩戴到头部，具有不会给人带来麻烦、不会遮挡人的视野的优点。因此，本专利技术着眼于非接触型的视线检测技术。
[0003]在此，非接触型的视线检测技术大致区分为瞳孔角膜反射法和基于三维眼球模型的方法。瞳孔角膜反射法是用发光二极管(LED)照射人的眼睛，通过被投影到眼睛的反射像的位置、LED的照射角度、反射像的位置的移动量等检测视线的方法。
[0004]基于三维眼球模型的方法是将连接通过解析例如脸部图像而获得的眼球中心位置和虹膜中心位置的三维矢量推测为视线方向，或将相对于瞳孔中心位置的切面的法线推测为视线方向的方法。
[0005]在此，在非接触型的视线检测技术中存在难以对佩戴了眼镜的人进行视线检测的问题。为了解决该问题，专利文献1公开了一种技术，该技术判断人是否佩戴了眼镜，在人没有佩戴眼镜的情况下通过瞳孔角膜反射法检测视线，在人佩戴了眼镜的情况下通过利用了三维眼球模型的方法检测视线。
[0006]然而，在专利文献1中，在利用三维眼球模型检测视线时，只不过是进行了根据可见光图像的图像数据将驾驶员的脸部或眼球作为检测对象的特征量计算以及形状判别等的识别处理(段落0014)，并没有进行考虑到眼镜的存在的识别处理。为此，在专利文献1中，存在将眼镜作为瞳孔或虹膜而检测的可能性，为了高精度地检测进行瞳孔或虹膜等视线检测所需的瞳信息需要进一步地改善。
[0007]现有技术文献
[0008]专利文献
[0009]专利文献1：日本专利公开公报特开2005
‑
296382号

技术实现思路

[0010]本专利技术是为了解决上述的问题而做出的专利技术，其目的在于谋求进一步提高瞳信息的检测精度。
[0011]本专利技术的一实施方式涉及的图像处理方法，是在图像处理装置检测瞳信息的图像处理方法，获取图像数据；从所述图像数据检测包含人的脸部的至少一部分的脸部区域；在检测到的所述脸部区域，设定用于检测所述人的眼睛的第一区域；通过基于规定的基准使
所述第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；在所述第二区域，检测表示所述瞳孔或所述虹膜的瞳信息；输出检测到的所述瞳信息。
附图说明
[0012]图1是表示本专利技术的第一实施方式涉及的图像处理系统的整体构成的一个例子的示意图。
[0013]图2是表示第一实施方式涉及的图像处理系统的详细构成的一个例子的方框图。
[0014]图3是表示第一实施方式涉及的图像处理装置的动作的一个例子的流程图。
[0015]图4是表示脸部区域的示意图。
[0016]图5是表示第一区域的示意图。
[0017]图6是表示基于第一基准而设定的第二区域的示意图。
[0018]图7是表示基于第二基准而设定的第二区域的示意图。
[0019]图8是表示基于第三基准而设定的第二区域的示意图。
[0020]图9是表示被二值化的第二区域的示意图。
[0021]图10是表示本专利技术的比较例的示意图，是表示被二值化的第一区域的示意图。
[0022]图11是表示第一区域的其它例子的示意图。
[0023]图12是用于说明虹膜外缘检测处理的示意图。
[0024]图13是表示针对脸部区域设定的脸部的特征点的示意图。
[0025]图14是检测脸部朝向信息的处理的说明图。
[0026]图15是表示第二实施方式涉及的图像处理系统的详细构成的一个例子的方框图。
[0027]图16是表示第二实施方式涉及的图像处理装置的动作的一个例子的流程图。
[0028]图17是表示第三实施方式涉及的图像处理系统的详细构成的方框图。
具体实施方式
[0029]以下，参照附图对本专利技术的实施方式进行说明。另外，以下的实施方式只不过是具体化本专利技术的一个例子，并不用于限定本专利技术的技术保护范围。
[0030]本专利技术的基础知识
[0031]通过三维眼球模型检测视线的方法基于瞳孔或虹膜的中心位置检测视线。瞳孔或虹膜的中心位置可以通过例如从包含脸部的图像的图像数据检测包含人的脸部的脸部区域，根据检测到的脸部区域设定用于检测眼睛的眼睛检测区域，并对眼睛检测区域进行解析而获得。在此，眼睛检测区域不是剪切眼睛本身的区域，而是包含眼睛的例如矩形的区域。
[0032]在根据脸部区域设定眼睛检测区域时，例如使用为了检测出眼睛检测区域而预先创建的分类器。在使用这样的分类器检测眼睛检测区域的情况下，由于所检测出的眼睛检测区域的大小根据分类器的性能会有所不同，在所检测出的眼睛检测区域存在有可能缺失为了检测瞳孔或虹膜所需的特征量的情况。为此，需要将眼睛检测区域的大小设定成与眼睛的大小相比具有一定的余裕。
[0033]然而，本专利技术的专利技术人发现，在较大地设定眼睛检测区域的情况下，在眼睛检测区域有可能包含例如眼镜框等存在于眼睛的周围且类似于瞳孔或虹膜的物体，因为这些类似
的物体被误检测为瞳孔或虹膜的可能性较高，存在不能高精度地检测瞳孔或虹膜的问题。
[0034]在此，本专利技术的专利技术人对该问题进行了详细的研究得出以下见解，即，不是对眼睛检测区域直接执行检测瞳孔或虹膜的处理，而是基于规定的基准使眼睛检测区域缩小(narrowing)，对缩小的区域执行检测瞳孔或虹膜的处理，这样可以提高瞳孔或虹膜的检测精度，从而可以提高视线检测的精度，因此想到了以下所示的各个实施方式。
[0035]本专利技术的一实施方式涉及的图像处理方法，是在图像处理装置检测瞳信息的图像处理方法，获取图像数据；从所述图像数据检测包含人的脸部的至少一部分的脸部区域；在检测到的所述脸部区域，设定用于检测所述人的眼睛的第一区域；通过基于规定的基准使所述第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；在所述第二区域，检测表示所述瞳孔或所述虹膜的瞳信息；输出检测到的所述瞳信息。
[0036]根据该构成，通过基于规定的基准使第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域，在第二区域检测表示瞳孔或虹膜的瞳信息。由此，即使在第一区域包含诸如眼镜框等被误检测为瞳孔或虹膜的可能性较高的信息，因为从第一区域删除了这种信息的区域被设定为第二区域的可能性变高，所以该构成可以提高瞳孔或虹膜的检测精度。其结果，该构成可以准确地确定瞳孔或虹膜的中心位置，并可以提高视线的检测精度。
[0037]而且，根据该构成，因为对用规本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，是图像处理装置的检测瞳信息的图像处理方法，其特征在于包括以下步骤：获取图像数据；从所述图像数据检测包含人的脸部的至少一部分的脸部区域；在检测到的所述脸部区域，设定用于检测所述人的眼睛的第一区域；通过基于规定的基准使所述第一区域缩小来设定被推测包含瞳孔或虹膜的第二区域；在所述第二区域，检测表示所述瞳孔或所述虹膜的瞳信息；输出检测到的所述瞳信息。2.根据权利要求1所述的图像处理方法，其特征在于，所述规定的基准是在所述第一区域去除从所述第一区域的边界侧超规定量的面积的基准。3.根据权利要求1所述的图像处理方法，其特征在于，所述规定的基准是通过去除所述第一区域的一部分将包含所述第一区域的中心的规定形状的区域设定为所述第二区域的基准。4.根据权利要求1所述的图像处理方法，其特征在于，还从检测到的所述脸部区域检测外眼角以及内眼角；在检测到所述外眼角以及所述内眼角的情况下，所述规定的基准是通过去除所述第一区域的一部分将包围所述外眼角以及所述内眼角的区域作为所述第二区域进行设定的基准。5.根据权利要求1至4中任一项所述的图像处理方法，其特征在于，还从检测到的所述脸部区域检测外眼角以及内眼角，在检测到所述外眼角以及所述内眼角的情况下，在设定所述第一区域时，将包围所述外眼角以及所述内眼角的区域设定为所述第一区域，该第一区域比在没有检测到所述外眼角以及所述内眼角的情况下设定的第一区域小，所述瞳信息的检测是在所述第一区域检测所述瞳信息。6.根据权利要求1至5中任一项所述的图像处理方法，其特征在于，还从检测到的所述脸部区域检测脸部的特征点，还基于所述脸部的特征点检测表示所述人的脸部的朝向的脸部朝向信息，还基于检测到的所述瞳信息和所述脸部朝向信息检测表示所述人的视线的视线信息，还输出检测到的所述视线信息。7.根据权利要求6所述的图像处理方法，其特征在于，还从检测到的所述脸部区域检测眉毛以及嘴角的至少其中之一，还基于所述视线信息和检测到的所述眉毛的位置以及所述嘴角的位置的至少其中之一推测所述人的感兴趣程度。8.根据权利要求7所述的图像处理方法，其特征在于，基于检测到的所述眉毛的位置以及所述嘴角的位置的至少其中之一推测所述人的表情，基于所述视线信息和表示所述被推测的表情的信息推测所述人的感兴趣程度。9.根据权...

【专利技术属性】
技术研发人员：大野寿和，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：