图像处理装置和图像处理方法制造方法及图纸

本发明专利技术公开了一种图像处理装置和图像处理方法。该图像处理装置包括投影单元、变换单元、生成单元和识别单元，投影单元将包含脸部的至少一部分的注册脸部图像投影到三维模型的表面上，使得注册脸部图像中包含的脸部的水平方向基本与图像要被投影到的表面上的一个方向一致，其中该三维模型的形状如下形成：该三维模型在所述表面上的所述一个方向上的至少一部分被向正面弯折；变换单元基于目标图像中包含的脸部的朝向来变换三维模型；生成单元通过将投影在变换后的三维模型的表面上的注册脸部图像投影到一个平面上来生成二维图像；识别单元通过将所生成的二维图像与目标图像进行比较来识别目标图像中包含的脸部。

【技术实现步骤摘要】

本专利技术涉及图像处理装置，具体而言涉及识别图像中包含的人的 脸部等的。
技术介绍
诸如数字静态相机和数字摄像机之类的图像拍摄装置已得到广泛 的使用，这种图像拍摄装置拍摄诸如人之类的被摄物并且记录所拍摄 的图像。另外，已提出了大量的图像处理装置，这些图像处理装置包 括用于从拍摄的图像中检测人的脸部的脸部检测功能。另外，近年来，已提出了多种脸部识别技术，用于从利用这种脸 部检测功能检测出的脸部中识别特定人的脸部。例如，已提出了一种 图像处理装置，该装置寻找输入图像上与注册图像上的目标区域相对 应的对应区域的位置，并且基于该对应区域的位置来识别输入图像中的脸部(例如，参见曰本未实审专利申请No. 2007-115109 (图3))。 例如，在诸如安保和娱乐领域中，作为生物"i人证的一部分，利用 包含人的脸部的脸部图像来识别人物的脸部识别技术已经投入实用。
技术实现思路
根据上述现有技术，对于正面的脸部可以实现更高的精度。然而， 例如，当拍摄人的脸部时，尽管在许多情况下拍摄的是正面的脸部， 但是也可想到这样的情形，其中拍摄的不是正面的脸部。因此，可能 出现包含正面脸部的拍摄图像和包含非正面脸部的拍摄图像被记录的 情况。如上所述，当拍摄图像中包含的脸部朝向不同时，即使这些图 像属于同一人，拍摄图像中包含的脸部图像也可能非常不同，并且存 在脸部识别性能不稳定的风险。因此，当识别拍摄图像中包含的脸部时，例如，可以想到利用与人的脸部相对应的复杂的三维模型、通过 使目标拍摄图像中包含的脸部的朝向与注册脸部的朝向相同来执行识 别。然而，在例如由小型数字静态相机之类的图像拍摄装置执行脸部 识别的情况下，图像拍摄装置通常只能进行与脸部识别有关的数量相 对有限的计算。因而，可能难以利用上述复杂的三维脸部模型来执行 脸部识别。因此，增强脸部识别的准确性(无论脸部朝向如何)、同 时减小脸部识别处理的负荷是很重要的。希望增强脸部识别的准确性，同时减小脸部识别处理的负荷。 根据本专利技术的一个实施例，提供了一种图像处理装置、用于图像 处理装置的图像处理方法和用于使计算机执行图像处理方法的程序， 该图像处理装置包括投影单元、变换单元、生成单元和识别单元，投 影单元将包含脸部的至少 一部分的注册脸部图像投影到三维模型的表 面上，使得注册脸部图像中包含的脸部的水平方向基本与图像要被投影到的表面上的一个方向一致，其中所述三维模型的形状如下形成 该三维模型在所述表面上的所述一个方向上的至少一部分被向正面弯 折，变换单元基于目标图像中包含的脸部的朝向来变换三维模型，生 成单元通过将投影在经变换单元变换的三维模型的表面上的注册脸部 图像投影到一个平面上来生成二维图像，识别单元通过将由生成单元 生成的二维图像与目标图像进行比较来识别目标图像中包含的脸部。 这样，注册脸部图像被投影到三维模型的表面上，该三维模型基于目 标图像中包含的脸部的朝向被变换，投影在变换后的三维模型的表面 上的注册脸部图像被投影到一个平面上以生成二维模型，并且该二维 图像和目标图像进行相互比较以识别目标图像中包含的脸部。在上述实施例中，可以如下形成三维^^莫型的形状所述表面上的 所述一个方向上的两端都向背面弯折，且三维模型在所迷一个方向上 的 一部分被用作弯折线，并且投影单元可以将注册脸部图像投影到三 维模型的表面上，以使相对于注册脸部图像中包含的脸部的水平方向 的中心线基本与弯折线一致。这样，注册脸部图像被投影到三维模型的表面上，以使相对于注册脸部图像中包含的脸部的水平方向的中心 线与三维模型的弯折线相互基本一致。在上述实施例中，注册脸部图像可以是基于注册脸部图像中包含 的脸部的眼睛被正规化的正规化图像，并且图像处理装置还可包括眼 睛检测单元和正规化单元，眼睛检测单元检测目标图像中包含的脸部 的眼睛，正规化单元基于眼睛检测单元检测出的眼睛来正规化目标图 像以生成正规化目标图像，变换单元可以相对于连接投影在三维模型 的表面上的注册脸部图像中所包含的脸部的眼睛的线段的中点旋转及 平移三维模型，使得由生成单元生成的二维图像中包含的脸部的眼睛 的位置与正规化目标图像中包含的脸部的眼睛的位置变为相同，并且 识别单元可以通过将由生成单元生成的二维图像与正规化目标图像进 行比较来识别目标图像中包含的脸部。这样，三维模型相对于连接注 册脸部图像中包含的脸部的眼睛的线段的中点被旋转和平移，使得二 维图像中包含的脸部的眼睛的位置与正规化目标图像中包含的脸部的 眼睛的位置变为相同，并且该二维图像与正规化目标图像被相互比较， 从而识别目标图像中包含的脸部。在上述实施例中，图像处理装置还可包括变换参数存储单元，该 变换参数存储单元以与脸部的朝向相关联的方式存储变换参数，该变换参数被用于将注册脸部图像投影到三维模型的表面上，使得相对 于注册脸部图像中包含的脸部的水平方向的中心线基本与弯折线一 致，相对于该线段的中点旋转及平移三维模型，使得由生成单元生成 的二维图像中包含的脸部的眼睛的位置与正规化目标图像中包含的脸 部的眼睛的位置变为相同，其中该线段是连接投影在三维模型的表面 上的注册脸部图像中所包含的脸部的眼睛的线段，以及将投影在旋转 及平移后的三维模型的表面上的注册脸部图像投影到一个平面上以针 对每种脸部朝向生成二维图像，并且生成单元可以利用以与目标图像 中包含的脸部的朝向相关联的方式存储的变换参数来由注册脸部图像 生成二维图像。这样，利用与目标图像中包含的脸部的朝向相关联地存储的变换参数来由注册脸部图像生成二维图像。9在上述实施例中，图像处理装置还可包括器官检测单元和正规化 单元，器官检测单元检测目标图像中包含的脸部的两个器官，正规化 单元基于器官检测单元检测出的两个器官来正规化目标图像以生成正 规化目标图像，变换单元可以旋转及平移三维模型，使得由生成单元 生成的二维图像中包含的脸部的两个器官的位置与正规化目标图像中包含的脸部的两个器官的位置变为相同，并且识别单元可以通过将由生成单元生成的二维图像与正规化目标图像进行比较来识别目标图像中包含的脸部。这样，三维模型被旋转及平移，使得二维图像中包含的脸部的两个器官的位置与正规化目标图像中包含的脸部的两个器官的位置变为相同，并且该二维图像和正规化目标图像被相互比较以识别目标图像中包含的脸部。在上述实施例中，图像处理装置还可包括变换数据存储单元，该变换数据存储单元以与脸部的朝向相关联的方式存储三维模型的旋转角和平移距离的值，并且变换单元可以利用以与目标图像中包含的脸部的朝向相关联的方式存储的旋转角和平移距离的值来旋转并平移三维模型。这样，利用与目标图像中包含的脸部的朝向相关联地存储的 旋转角和平移距离的值对三维模型进行旋转及平移。在上述实施例中，识别单元可以通过将以下两种图像之 一 作为与 目标图像的比较对象来与目标图像进行比较以识别目标图像中包含的脸部基于目标图像中包含的脸部的朝向而确定的注册脸部图像和由 生成单元生成的二维图像。这样，基于目标图像中包含的脸部的朝向 而确定的注册脸部图像和由生成单元生成的二维图像之一作为目标图 像的比较对象与目标图像进行比较，以识别目标图像中包含的脸部。在上述实施例中，图像处理装置还可包括注册脸部图像存储单元 和确定单本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：　投影单元，该投影单元将包含脸部的至少一部分的注册脸部图像投影到三维模型的表面上，使得所述注册脸部图像中包含的脸部的水平方向基本与图像要被投影到的表面上的一个方向一致，其中所述三维模型的形状如下形成：所述三维模 型在所述表面上的所述一个方向上的至少一部分被向正面弯折；　变换单元，该变换单元基于目标图像中包含的脸部的朝向来变换所述三维模型；　生成单元，该生成单元通过将投影在经所述变换单元变换的三维模型的表面上的注册脸部图像投影到一个平面上 来生成二维图像；以及　识别单元，该识别单元通过将由所述生成单元生成的二维图像与所述目标图像进行比较来识别所述目标图像中包含的脸部。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：大谷孝英，小坂井良太，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]