形态变形编码装置具备：计算部，其计算表示形态变化前的物体之形态的变化前形态数据，与表示上述形态变化后的上述物体之形态的变化后形态数据之间的差值数据；以及决定部，其根据上述变化前形态数据与上述差值数据，决定上述物体的产生上述形态变化的动作区域，以及为了进行上述形态变化而施加给上述动作区域的外力。上述动作区域包括多个小区域，上述多个小区域分别包括多个控制点；上述外力，作为根据上述多个小区域各自的物理模型构造，而在上述形态变化的前后让上述多个小区域独立变化所需要的外力被计算。上述物理模型构造，采用控制点之间通过弹簧与减震器相结合的物理模型构造。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种对物体的形态进行变形的形态变形装置、物体动作(形态变形)编码装置以及物体动作(形态变形)解码装置，特别是一种让面部的一部分区域的形状变形从而给出表情的形态变形装置、物体动作(形态变形)编码装置以及物体动作(形态变形)解码装置。
技术介绍
近年来，在虚拟现实(VR)以及计算机图形(GC)的领域中，为了给予表情，而采用变形面部图像的技术。例如，检测出某个人物的面部的表情变化，给同一个人物或其他人物的面部图像实施相同的变化，通过这样与特定的人物同步，实现该人的表情发生了变化的拟人化代理。这样的面部表情合成的技术中，大体上可以分为两个流派。一个是将与面部皮肤下的表情肌腱连动的皮肤表面作为物理模型进行处理，根据肌肉·骨的运动求解运动方程式，通过这样，让相当于皮肤表面的线框模型运动的方法。该以往技术例如在D.Terzopoulos与K.Waters的“analysis andSynthesis of Facial Image Sequences Using Physical and AnatomicalModels”，(IEEE Trans，PAMI，vol.15，No.6，pp.569-579，June 1993)中进行了说明。另一个是给线框模型直接施加规则的几何学的变形从而制作表情的方法。该以往技术例如在特开平8-96162号公报中进行了说明。另外，心理学家Ekman等所提出的表情描述法FACS(Facial ActionCoding System)，也在信息学的领域中广泛应用了表情研究(例如，“FacialAction coding system”，(Consulting Psychologist Press，1977))。FACS是一种根据面部肌肉的解剖学知识，将“提升眉毛内侧”、“横拉嘴唇两端”、“张大嘴巴”、“眯眼”等合计44个动作单位(AUAction Unit)用作要素，对面部动作进行了总结且客观地描述的方法。可以说，通过AU的组合能够描述人类的任一个表情。该FCAS，一般具有与给线框模型直接施加规则的几何学的变形从而制作表情的方法组合使用的例子。如上所述，作为面部表情合成的技术，以前，使用几何学的变形的方法与使用物理模型的方法是公知的。使用几何学的变形的方法中，由于用来显示出表情的规则只通过点的移动来定义，因此具有能够通过较少的计算量进行高速处理的优点。但是，面部模型中很难反映出个人的特征，另外还无法实现自然的表情。与此相对，使用物理模型的方法中，由于能够直接表现出表情肌腱的运动，因此能够平滑地表现出表情的生成过程，且通过变更表情肌腱的配置，还能够对应各种各样的面部的容貌。但是，存在计算量变得庞大的问题。与上述相关，特开平3-74777号公报中公开了一种面部图像合成装置。根据该现有例，将基于人类的本能动作或无意识动作的运动参数以及表情参数，添加到包括表情以及运动参数的面部图像信息中，根据它来合成面部图像。另外，特开平6-76044中公布了表情码的再生显示装置。该现有例的装置，具有设定表情产生条件的表情产生条件输入装置。运算处理装置，具有按照来自表情产生条件输入装置的指示信号，计算面部中的前额、眉毛、嘴巴等可动部分的移动量、移动方向、形态变化，根据表情的医学解析来再生表情要素编码的表情编码再生部。表情显示装置按照运算处理装置所再生的表情要素编码，再生显示面部的形态，同时对前额、眉毛、眼睛、嘴巴等进行移动、变形。另外，特开平6-76058号公报中公布了一种表情的编码装置。该现有例的表情编码装置中，图像输入装置将面部图像取为电气信号并进行编码，生成给定的面部图像数据。特征部位提取处理部，接收来自图像输入装置的给定面部图像数据，根据特征部位提取条件，提取特征部位图像。表情要素提取处理部，根据给定的表情要素与特征部位的关联规则，从该特征部位图像提取表情要素，生成表情要素信息。表情要素定量化处理部，根据给定的表情要素定量化规则，对该表情要素信息进行表情要素定量化处理，计算出表情要素编码。另外，存储部保存该表情要素编码。表情要素编码输出装置，输出保存在运算处理装置中的表情要素编码。另外，特开平8-305878中公布了面部图像生成装置。该现有例的面部图像生成装置中，面部图像生成部选择形成面部的各个部位的部件图像，生成面部图像。表情给出部，对根据所指定的表情形成面部图像的部件图像，实施图像变形、显示位置移动以及显示·不显示处理，对该面部图像给予表情变化。另外，特开2002-304638(P2002-304638A)中公布了表情动画生成装置。该现有例的表情动画生成装置中，表情差值数据提取部，从对象人物的表情面部样品中提取特征点，根据特征点将表情面部样品分割成多个部件，求出伴随着对各个部件所指定的两个不同表情间的表情过渡变化的形状以及纹理的差值，得到差值形状数据与差值纹理。动作模式设定部，指定用来规定各个部件的时间变化的动作模式函数。时序表情图像合成部，以给定的时间间隔，生成根据动作模式函数与差值形状数据所计算出的任意时刻的中间差值形状数据，与根据动作模式函数与差值纹理所计算出任意时刻中的中间差值纹理，生成各个给定时间间隔的时序表情形状数据以及时序表情纹理。表情动画再生部，通过将时序表情纹理映射到基于时序表情形状数据的形状中，在每个所生成的给定时间间隔，连续显示出时序表情图像，通过这样来生成表情动画。另外，特开2002-329214(P2002-329214A)中公布了一种表情合成装置。该现有例的表情合成方法使用计算机图形。该合成方法包括将面部的表情模型，作为面部的特征点的数据输入的工序；提取表情模型的被括约肌所包围的大致椭圆形的括约肌区域，将位于括约肌区域的长轴上方的区域，规定为被长轴与半椭圆形状所包围的半椭圆区域的提取工序；检索半椭圆区域中所含有的特征点的工序；计算面部表情变化了的情况下的半椭圆区域所包括的特征点的移动矢量的计算工序；以及按照移动矢量移动特征点，合成表情变化后的表情模型的工序。
技术实现思路
本专利技术的目的在于，削减在实现面部表情合成等形态变化时的计算量。本专利技术的观点中，形态变形编码装置具备计算出表示形态变化前的物体之形态的变化前形态数据，与表示上述形态变化后的上述物体之形态的变化后形态数据之间的差值数据的计算部，以及其根据上述变化前形态数据与上述差值数据，决定上述物体的产生上述形态变化的动作区域，以及为了进行上述形态变化而施加给上述动作区域的外力的决定部。这里，上述计算部具备根据三维模型，将上述变化前形态数据与上述变化后形态数据，变换成变化前形态模型数据与变化后形态模型数据的变换部，以及根据上述变化前形态模型数据与上述变化后形态模型数据之间的差，计算出上述差值数据的差值计算部。上述模型可以是三维多边形网格模型，上述变化前形态数据与上述变化后形态数据可以是三维数据。上述动作区域包括多个小区域，上述多个小区域分别包括多个控制点；上述外力，作为根据上述多个小区域各自的物理模型构造，而在上述形态变化的前后让上述多个小区域独立变化所需要的外力进行计算。这种情况下，上述物理模型构造，可以采用控制点之间通过弹簧与减震器相结合的物理模型构造。最好让所有上述多个小区域中，上述控制点的个数本文档来自技高网...
【技术保护点】
一种形态变形编码装置，具备：计算部，其计算表示形态变化前的物体之形态的变化前形态数据，与表示所述形态变化后的所述物体之形态的变化后形态数据之间的差值数据；以及决定部，其根据所述变化前形态数据与所述差值数据，决定所述物体的产生所述形态变化的动作区域，以及为了进行所述形态变化而施加给所述动作区域的外力。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：丸龟敦，
申请(专利权)人：日本电气株式会社，
类型：发明
国别省市：JP[日本]
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。