图像信息处理方法及装置制造方法及图纸

本发明专利技术提供一种图像信息处理方法及装置，能够从拍摄的人物的图像中正确地计测该人物的虹膜的中心位置，而且，还能够实现高精度的视线方向计测。视线方向计算部（２９）根据从虹膜检测部（２５）输出的虹膜的形状数据和从面部方向计测部（２７）输出的面部方向的计测数据，进行规定的运算处理，从而计算输入的人物的面部图像中的视线方向。根据在虹膜形状检测单元（１９）中得到的高精度的虹膜形状的信息，能够计测人物的面部图像的视线方向。根据检测出的眼睑的轮廓信息，能够推测虹膜和巩膜的区域部分，所以能够高精度地推测虹膜的形状。

【技术实现步骤摘要】

本专利技术涉及从输入的图像中检测面部图像区域并执行规定的图像处理 动作的图像信息处理方法及装置。
技术介绍
以往开发了一种方法，目的在于能够自动地检测影像中的人物是否为 具有特定的意图的人物(可疑人物)。该方法从与上述人物的视线方向有关 的信息中，通过提取多个表示行动意图的信息来进行上述检测，从与提取 的视线方向相关的信息中提取注视特征量(向特定方向的总注视时间、视 线迁移次数、平均注视时间、瞥视次数或视线离散值、视线的平均移动量、 与一般的视线模式的距离)，从而判别上述人物是否为可疑人物(例如，参 照专利文献l)。另外，以往还开发了一种方法，目的在于能够从拍摄的面部的图像中 高精度地检测视线方向。该方法为了检测瞳孔的中心位置而从图像中检测虹膜的形状，作为其中一个例子，举出了通过椭圆哈夫(Hough)变换求 出虹膜的椭圆轮廓。 一般的，为了计测瞳孔的中心位置，需要检测虹膜的 轮廓，并根据该虹膜的中心位置来推测瞳孔的中心，所以上述方法是适用 的(例如，参照专利文献2)。(专利文献1)日本特开2007-6427号公报 (专利文献2)日本特许第3797253号公报但是，在专利文献1公开的技术中，通过计测眼球的中心位置和瞳孔 的中心位置所成的角度，从而计测该人物的视线方向，但对于上述瞳孔的 中心位置的检测方法，没有公开具体的技术方法。另外，在专利文献2公开的技术中，需要检测虹膜的轮廓，但实际的 虹膜被眼睑遮住了轮廓的一部分，所以虹膜的整体形状(轮廓的形状)没 有出现在图像上。因此，从上述图像上检测虹膜的轮廓的整体形状是困难的。例如，在进行上述椭圆哈夫变换等图像处理、从人物的图像中检测其 虹膜的轮廓时，由于虹膜的轮廓的整体没有出现图像上，所以会发生仅检 测出在图像上出现的虹膜的轮廓部分这样的不佳情况、或误检测出巩膜部 分的周边部分这样的不佳情况。作为其结果，存在以下问题g卩，对依赖 于虹膜的轮廓检测的瞳孔的中心位置进行检测的精度也降低，在上述图像 中的人物的视线方向的计测上发生较大误差。
技术实现思路
因此，本专利技术的目的在于能够从拍摄的人物的图像中正确地计测该 人物的虹膜的中心位置，而且，还能够实现高精度的视线方向计测。按照本专利技术的第一观点的图像信息处理装置，具备面部图像区域检 测部，从输入的图像中检测面部图像区域；眼睑区域轮廓检测部，从上述 面部图像区域检测部所检测出的面部图像区域中，检测眼睑区域的轮廓； 以及虹膜区域检测部，根据上述眼睑区域轮廓检测部所检测出的上述眼睑 区域的轮廓，从上述面部图像区域中检测虹膜区域的形状；根据上述虹膜 区域检测部所检测出的虹膜区域的形状，推测上述虹膜区域的瞳孔的位置。在本专利技术的第一观点涉及的优选的实施方式中，上述眼睑区域轮廓检 测部根据由上述面部图像区域检测部所检测出的上述面部图像区域的尺寸 生成眼睑轮廓模型，使用生成的该眼睑轮廓模型检测上述面部图像区域中 的眼睑区域的轮廓点并决定该眼睑区域的位置，从而检测眼睑区域的轮廓。在与上述不同的实施方式中，上述眼睑区域轮廓检测部通过使上述眼 睑轮廓模型与上述面部图像区域重合，从而将上述面部图像区域中被评价 为最类似于眼睑区域的部位判断为上述眼睑区域的位置。另外，在与上述不同的实施方式中，对于上述眼睑轮廓模型中的各个 轮廓点的位置的每一个，提取其特征量并计算作为轮廓点的相似度，并且 求出所计算的相似度的总合，从而进行上述评价。另外，在与上述不同的实施方式中，基于上述眼睑区域轮廓检测部的 上述眼睑区域的位置决定包括下述处理，该处理用于分别在规定的范围内 探索用于划定上述眼睑区域的轮廓的各轮廓点的最佳位置，并将在以前的探索中决定的上述各轮廓点的位置更新为能够被判断为更加合适的位置。另外，在与上述不同的实施方式中，还具备面部方向计测部，从上 述面部图像区域检测部所检测出的面部图像区域中，计测表示被拍摄上述 面部图像的人物的面部所朝向的方向的值。另外，在与上述不同的实施方式中，上述眼睑区域轮廓检测部根据由 上述面部图像区域检测部所检测出的上述面部图像区域的尺寸、以及由上 述面部方向计测部所计测的表示上述面部所朝向的方向的值，生成眼睑轮 廓模型，使用生成的该眼睑轮廓模型检测上述面部图像区域中的眼睑区域 的轮廓点并决定该眼睑区域的位置，从而检测眼睑区域的轮廓。另外，在与上述不同的实施方式中，上述虹膜区域检测部根据由上述 面部方向计测部所计测的表示上述面部所朝向的方向的值、以及规定的眼 睑轮廓模型，推测上述面部图像区域中的眼球区域的形状，根据推测的该 眼球区域的形状，探索虹膜区域的位置，并决定虹膜区域的中心位置和该 虹膜区域的形状。进而，在与上述不同的实施方式中，在推测上述眼球区域的形状的处 理中，至少使用眼球区域的中心、眼球区域的半径以及虹膜区域的半径的 各数据。根据本专利技术的第二观点的图像信息处理方法，具备第一步骤，从输 入的图像中检测面部图像区域；第二步骤，从上述第一步骤中检测出的面 部图像区域中，检测眼睑区域的轮廓；第三步骤，根据上述第二步骤中检 测出的上述眼睑区域的轮廓，从上述面部图像区域中检测虹膜区域的形状； 以及第四步骤，根据上述第三步骤中检测出的虹膜区域的形状，推测上述 虹膜区域的瞳孔的位置。根据本专利技术，能够从拍摄的人物的图像中正确地计测该人物的虹膜的 中心位置，而且，还能够实现高精度的视线方向计测。附图说明图1是表示本专利技术的第一实施方式所涉及的图像信息处理系统的整体 结构的功能框图。图2是表示图1所记载的CPU (视线方向运算部)的内部结构的功能框图。图3是表示图2所记载的眼睑轮廓检测部进行眼睑区域的轮廓检测时 使用的眼睑轮廓模型的一个例子的示意图。图4是表示在由图1所记载的摄像装置所拍摄的实际的眼部的图像区 域上重合图3所记载的眼睑轮廓模型的状态的说明图。图S是表示由图2所记载的眼睑轮廓检测部进行的眼睑区域的轮廓检 测的处理动作的一个例子的流程图。图6是表示由图2所记载的虹膜检测部所进行的虹膜区域检测的处理 动作的方式的一个例子的示意图。图7是表示本专利技术的第二实施方式所涉及的、进行眼睑轮廓模型的各 轮廓点的位置探索时的、根据面部图像中的面部方向而变更各轮廓点的探 索范围的方法的一个例子的示意图。图8是表示由本专利技术的第二实施方式涉及的眼睑轮廓检测部进行的眼 睑轮廓检测的处理动作的一个例子的流程图。图9是表示本专利技术的第三实施方式所涉及的CPU (视线方向运算部) 在推测输入的面部图像中的眼球区域的形状时使用的眼球模型的一个例子 的示意图。图10是表示本专利技术的第三实施方式所涉及的虹膜区域检测的处理动 作的方式的一个例子的示意图。图11是表示由本专利技术的第三实施方式所涉及的虹膜检测部所进行的 虹膜区域检测的处理动作的一个例子的流程图。符号说明1图像输入部3图像存储器5视线方向运算部(CPU)7RAM9 ROM11计测结果记录部 13输出接口 (输出I/F) 15总线719虹膜形状检测单元 21面部检测部 23眼睑轮廓检测部 25虹膜检测部 27面部方向计测部 29视线方向计算部 100摄像装置 200视线方向计测装置 300输出装置具体实施例方式以下，通过附图详细说明本专利技术的实施方式。图1是表示本专利技术的第一实施方式所涉及的图像信息处理本文档来自技高网...

【技术保护点】
一种图像信息处理装置，具备：　面部图像区域检测部，从输入的图像中检测面部图像区域；　眼睑区域轮廓检测部，从上述面部图像区域检测部所检测出的面部图像区域中，检测眼睑区域的轮廓；以及　虹膜区域检测部，根据上述眼睑区域轮廓检测部所检测出的上 述眼睑区域的轮廓，从上述面部图像区域中检测虹膜区域的形状；　根据上述虹膜区域检测部所检测出的虹膜区域的形状，推测上述虹膜区域的瞳孔的位置。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：吉永智明，长屋茂喜，佐山千春，日高英之，下川宽之，渡边浩司，
申请(专利权)人：株式会社日立制作所，日本烟草产业株式会社，
类型：发明
国别省市：JP[日本]