用于处理图像的方法、装置制造方法及图纸

本发明专利技术提供一种用于处理图像的方法、装置和计算机程序。用于从显示三维物体的二维图像生成该物体的三维模型的图像处理装置包括：三维模型生成器，用于从图像生成显示在图像中的物体的三维模型；以及扩展器，用于在作为深度方向的Ｚ方向上扩展由三维模型生成器生成的三维模型的侧面区域。

【技术实现步骤摘要】

本专利技术涉及图像处理装置、图像处理方法和计算机程序，尤其涉及用于容易地创建逼真的动画的图像处理装置、图像处理方法和计算机程序。
技术介绍
为了在计算机图形中生成逼真的人的面部，翔实的三维面部模型，即三维构造和纹理是必需的。可以得到用于生成翔实的三维面部模型的方法。在Cyberware所执行的一种方法中，对实际的人的面部进行3D扫描。在另一种方法中，基于实际面部模式来产生面部模型，并使用3D指针(在2004年12月6日搜索到的Cyberware在线文档(URLhttp://www.cyberware.com/)中公开)来输入面部模型的数据。这些方法产生逼真的高精度三维(3D)模型，这些方法在需要计算机图形(CG)的电影制作以及通常需要逼真性的游戏软件制作中经常使用。3D扫描仪通常很昂贵，并且扫描整个面部需要很长时间。3D指针也很昂贵。使用3D指针进行的数据输入需要手动执行，因而需要成本和时间。由于现在可以得到高速低成本的中央处理单元和存储器，因此可以较容易地执行通常是很大量的数字图像数据处理。在一种数据处理中，从多个在不同角度捕获的二维图像中生成3D模型。例如，在以下文献中公开了另一种从在不同角度拍摄的5幅面部图像中生成逼真3D模型的方法“Synthesizing Realistic Facial Expressions from Photographs”，Proceedingsof SIGGRAPH 98，in Computer Graphics Proceedings，Annual ConferenceSeries，1998，其作者是Frederic Pighin、Jamie Hecker、Dani Lischinski、Richard Szeliski和David Salesin。该方法比Cyberware的方法更容易地生成3D模型。然而，由于3D面部模型是基于从多个面部图像捕获的面部的特征点来修改的，因此以原始面部图像显示的实际面部中，3D模型中出现微小的差异。更具体而言，由于从多个面部图像中捕获的特征点的准确度不高，因此难以从在一个角度捕获的特征点当中指定准确与在另一角度捕获的面部图像的特征点相对应的特征点。而且，由于照明的关系，即使从正面看上去的面部3D模型也给人以该面部模型不同于实际面部的印象。在以下文献中公开了另一种技术“A morphable model for thesynthesis of 3D faces”，Proceedings of ACM SIGGRAPH 99，in ComputerGraphics Proceedings，Annual Conference Series，1999，其作者是Blanz，V和Vetter，T.。根据该技术，通过反复地修改用Cyberware方法获得的3D模型面部来重新组织准确的3D模型，以使单个面部图像的面部部分与Cyberware 3D模型样本的渲染结果之间的误差最小化。该技术使用了如下算法，其中用大量3D模型样本来反复地修改3D模型。结果，在最终获得3D模型之前需要很长时间。日本未实审专利申请公布No.2002-32783公开了一种用于生成3D面部模型的技术。根据该公开技术，将适当的三维构造添加(适应)到正面拍摄的单个面部图像。较为容易地生成了与面部图像中实际拍摄的个人的面部具有高相似度的3D面部模型。由于正面拍摄的单个面部图像不包括面部的侧面部分(从面颊延伸到耳朵的侧面部分、头顶部分，以及下颏的下侧)，因此从面部图像生成的3D模型限于正面拍摄的面部(面部图像中拍摄的面部区域)。如果旋转这种3D模型以生成在倾斜角度观察的CG(在二维图像中)，则3D模型中不存在的面部的侧面部分出现在前面，因而破坏了倾斜观察的CG(看起来不自然)。设想了通过如下方式向从正面拍摄的单个面部图像生成的3D模型添加面部侧面部分将以不同方法生成的面部的侧面部分的3D模型与从正面拍摄的单个面部图像生成的3D模型组合起来。如果将生成面部侧面部分的3D模型的处理与从正面拍摄的单个面部图像进行的3D模型的生成组合起来，则失去了整个处理的简单性。如果将这两个模型合成起来，则在从正面拍摄的单个面部图像生成的3D模型与包括面部侧面部分的3D模型的耦合部分可能出现不匹配。由于头发是纤细的，因此即使使用3D方式扫描头发，也难以进行准确的捕获。在已知的生成3D面部模型的技术中，在3D面部模型中常常不考虑头发。在3D面部模型中，头发的问题是通过在生成了3D面部模型以后，将面部图像的头发的纹理与3D模型合成来解决的。根据此方法，难以再现发型和头发的纹理。由于面部的3D模型是以如下方式生成的，即头发的轮廓与面部的轮廓匹配，因此在3D模型的面部的轮廓之外不存在3D模型形状。然而，在面部轮廓之外的区域也有头发。如果面部图像的头发仅仅与面部3D模型合成，则未考虑面部轮廓之外的区域中的头发。结果，无法获得面部图像中的发型和头发纹理。例如，在CG中非常需要面部的逼真的动画，例如眨眼、开合嘴唇、倾斜头部等。为了创建面部的逼真的动画，例如需要眨眼、开合嘴唇、倾斜头部时的移动区域的大量准确定位的特征点。为了创建逼真的眨眼动作，需要检测沿着通过眼睑露出的眼球的轮廓的大量准确的特征点，以及沿着眼眶与眼睑间边界的大量准确的特征点。特征点传统上被用在面部识别和面部3D模型的生成中，准确度要求和特征点的数量都不那么高。在以下研究论文中公开了称为活动外貌模型(Active AppearanceModels，AAM)的特征点检测技术该论文题为“Active AppearanceModels”，作者是T.F.Cootes、G.J.Edwards和C.J.Taylor，其出处是Proc.Fifth European Conf.Computer Vision，H.Burkhardt and B.Neumann，eds，vol.2.pp.484-498，1998。根据该技术，将面部图像扭曲，通过主元分析来减少维数，将面部图像的信息量减少到某种程度。这样检测特征点。根据AAM技术，通过对显示在图像中的每个特征点和面部纹理应用主元分析，来抽取信息。单个面部由主元参数表示。通过改变主元参数，关于特征点和纹理的信息被大致恢复成甚至一个新面部。AAM将面部图像的信息量减少到某种程度，以将原始面部图像变成模糊图像。由于特征点是从模糊图像中检测的，因此获得的是一般的特征点而非被定位的特征。基于AAM的特征点检测方法可以用在3D模型的生成中，但不适用于要求高度准确的特征点的逼真的动画。根据论文“Synthesizing Realistic Facial Expressions from Photographs”中公开的技术，在3D模型的生成中使用了从多个面部图像中获得的特征点。在该技术中，通过对多幅面部图像中的每一幅指定大量高度准确的特征点，来减小3D模型与原始面部图像中所显示的实际面部之间的微小差异。然而，对于在不同角度拍摄的多幅面部图像中的每一幅，难以指定大量高度准确的特征点。即使指定了这种特征点，所产生的CG也不会带来3D模型的可见的精确性。3D模型不一定与面部图像中正面观察的人的图像相匹配。因此产生了已知的看起来不本文档来自技高网...

【技术保护点】
一种图像处理装置，用于从显示面部的二维图像生成作为三维模型的面部模型，所述图像处理装置包括：三维模型生成装置，用于从所述图像生成作为显示在所述图像中的面部的三维模型的面部模型；适配装置，用于使预先准备的头发模型适配于所述图像；非头发部分检测装置，用于从所述图像中检测不具有头发的非头发部分；Ｚ值修改装置，用于修改在作为深度方向的Ｚ方向上表示被适配于所述图像的头发模型中被适配于所述非头发部分的区域的位置的Ｚ值；以及合成装置，用于将被所述Ｚ值修改装置修改了Ｚ值的头发模型与面部模型合成。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：佐佐木大地，渡边修，中桥英通，川村亮，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[]