图像处理装置、图像处理系统、图像处理方法和程序制造方法及图纸

提供了可以实时生成基于输入图像的三维图像的装置和方法。执行对输入图像的每个图像帧的处理，并生成三维图像。参考作为输入图像的主体的属性信息与作为三维图像的渲染元素的材质之间的对应数据的模板数据库，选择与主体属性相对应的材质，并且生成三维图像。人的面部的组成单元中的材质被记录在模板数据库中。在面部的组成单元中应用掩模图像，图像处理单元从模板数据库获取与每个组成相对应的材质，并执行在面部的组成单元中的材质设置。

Image processing device, image processing system, image processing method and program

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置、图像处理系统、图像处理方法和程序
本公开内容涉及图像处理装置、图像处理系统、图像处理方法以及程序。更具体地，本公开内容涉及执行三维(3D)图像的渲染的图像处理装置、图像处理系统和图像处理方法以及程序。
技术介绍
近年来，使用计算机图形(CG)技术的三维(3D)图像生成技术被用于各种领域，例如电影和游戏领域。例如，PTL1(日本公开特许公报第2012-185624号)公开了一种用于以低计算成本来高质量地绘制人的面部的三维面部模型数据生成装置。该PTL1公开了一种装置，该装置执行如下处理：在获取面部的面部表情数据之后，仅切出人的面部的一部分，然后粘贴与响应于面部表情而变形的面部的形状相对应的纹理，以生成并显示质量高且不会不舒适的三维面部图像。此外，PTL2(日本公开特许公报第2010-113548号)描述了采用纹理映射技术的多边形三维图形绘制装置。PTL2公开了一种装置，该装置通过将与身体反射相关的系数提供至纹理数据可以在一个多边形中表现出多个不同的反射，从而使得能够以更少量的模型数据来实现身体的更高级质感表达。[引用清单][专利文献][PTL1]日本公开特许公报第2012-185624号[PTL2]日本公开特许公报第2010-113548号
技术实现思路
[技术问题]然而，尽管PTL1中公开的技术公开了一种将从人的视频中剪切出的面部纹理粘贴到面部模型以执行渲染的处理，但是因为没有考虑到反射特性针对具有彼此不同特性等的每个部分而改变，因此在与成像时的照明环境不同的条件下显示3D图像的情况下，3D图像有时变得不自然。另一方面，根据PTL2中公开的技术，通过纹理数据保持表示身体的材质类型的材质参数例如反射系数，并且通过执行充分利用材质参数的渲染来实现精细质感表达。然而，PTL2中公开的这种配置是预先以纹理数据的对应关系记录一个材质参数的配置，因此具有可以针对每个纹理仅表达一种独特质感的问题。具体地，PTL2中公开的配置具有这样的问题：例如，不能实现根据光源方向的最佳质感表达。本公开内容已经考虑到例如上述问题并且提供了实现更自然、更真实的三维(3D)图像的显示处理的图像处理装置、图像处理系统和图像处理方法以及程序。在本公开内容的一个工作示例中，输入将成为显示目标的人的捕获图像，并且根据输入的捕获图像(纹理)分析人的属性，例如性别和年龄，然后执行面部器官、皮肤区域、身体部位、头发、衣服等的特征量检测。此外，从预先准备的模板数据库自动生成适合于成像对象的材质设置的纹理图和指定材质的应用范围的掩模图像，以在实时的基础上自动地将合适的材质设置为任意的人3D图像模型数据，从而实现具有真实感的渲染。此外，根据本公开内容的工作示例，在人的三维(3D)图像的显示处理中，预先从用户获取关于要应用什么CG效果的定制信息，并且根据输入纹理(捕获图像)，执行面部器官、皮肤区域、身体部位、头发、衣服等的特征量检测。此后，从与用户选择相关联的模板数据库自动生成用于材质设置的纹理图和指定材质的应用范围的掩模图像，以自动地在实时基础上将合适的材质设置为任意的人3D图像模型数据，从而实现对用户有利的渲染。[问题的解决方案]本公开内容的第一方面在于：一种图像处理装置，包括：图像处理部，其被配置成基于输入图像执行三维图像生成处理，其中，图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据(correspondancedata)。此外，本公开内容的第二方面在于：一种图像处理系统，包括：发送装置，其被配置成发送图像；以及接收装置，其被配置成对来自发送装置的输入图像执行处理，以生成三维图像并在显示部上显示该三维图像，其中，接收装置的图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。此外，本公开内容的第三方面在于：一种由图像处理装置执行的图像处理方法，其中，图像处理装置包括图像处理部，图像处理部被配置成基于输入图像执行三维图像生成处理，并且图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。此外，本公开内容的第四方面在于：一种用于使图像处理装置执行图像处理的程序，其中，图像处理装置包括图像处理部，图像处理部被配置成基于输入图像执行三维图像生成处理，并且该程序使图像处理部参考模板数据库来根据成像对象属性选择材质并执行三维图像的生成处理，该模板数据库包括输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。要注意的是，本公开内容的程序是例如可以由存储介质或通信介质向可以执行各种程序代码的图像处理装置或计算机系统提供的程序，存储介质或通信介质以计算机可读形式提供程序。通过提供以计算机可读形式描述的程序，根据程序的处理在图像处理装置或计算机系统上实现。基于在下文中描述的本公开内容的工作示例和附图，根据具体实施方式，本公开内容的其他目的、特征和优点将变得清楚。应注意，本说明书中的系统是多个装置的逻辑组合，并且不限于组成装置在同一外壳中的配置。[专利技术的有益效果]根据本公开内容的工作示例的配置，提供了一种装置和方法，使得能够基于输入图像在实时的基础上生成3D图像。具体地，例如，执行对输入图像的图像帧的处理以生成三维图像。参考模板数据库来根据成像对象属性选择材质以生成三维图像，所述模板数据库是输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。模板数据库中记录了人的面部的组成单元的材质，并且图像处理部应用面部的组成单元的掩模图像，并从模板数据库获取每个组成的材质，以执行面部的组成单元中的材质设置。通过本配置，提供了一种装置和方法，使得能够基于输入图像在实时的基础上生成3D图像。应注意，本说明书中描述的效果仅是示例性的，并且本公开内容的效果不限于此。此外，本公开内容可以证明另外的效果。附图说明图1是示出3D图像和材质的渲染处理的视图。图2是示出纹理图的视图。图3是示出本公开内容的图像处理系统的配置的示例和处理的示例的视图。图4是示出本公开内容的另一图像处理系统的配置的示例和处理的示例的视图。图5是示出本公开内容的另一图像处理系统的配置的示例和处理的示例的视图。图6是示出图像处理装置的配置的示例的视图。图7是示出存储在存储部中的数据和模板数据库的示例的视图。图8是示出存储在存储部中的数据和模板数据库的另一示例的视本文档来自技高网...

【技术保护点】
1.一种图像处理装置，包括：/n图像处理部，其被配置成基于输入图像执行三维图像生成处理，其中，/n所述图像处理部参考模板数据库来根据成像对象属性选择材质并且执行三维图像的生成处理，所述模板数据库包括所述输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。/n

【技术特征摘要】
【国外来华专利技术】20170531 JP 2017-1074711.一种图像处理装置，包括：
图像处理部，其被配置成基于输入图像执行三维图像生成处理，其中，
所述图像处理部参考模板数据库来根据成像对象属性选择材质并且执行三维图像的生成处理，所述模板数据库包括所述输入图像的成像对象的属性信息与作为三维图像的渲染元素的材质之间的对应数据。


2.根据权利要求1所述的图像处理装置，其中，
所述输入图像包括运动图像数据，并且
所述图像处理部对构成所述运动图像数据的每个图像帧执行新的三维图像的生成处理。


3.根据权利要求1所述的图像处理装置，其中，
所述输入图像包括运动图像数据，并且
所述图像处理部对构成所述运动图像数据的每个图像帧更新作为三维图像的配置单元的网格和材质的设置，并且执行新的三维图像的生成处理。


4.根据权利要求1所述的图像处理装置，其中，
所述模板数据库包括其中记录了所述成像对象的组成单元的材质的数据库，并且
所述图像处理部应用所述组成单元的掩模图像，以从所述模板数据库获取每个组成的材质，并且执行所述组成单元的材质设置。


5.根据权利要求1所述的图像处理装置，其中，
所述输入图像包括人的面部图像，
所述模板数据库包括其中记录了所述输入图像中包括的人的面部的组成单元的材质的数据库，并且
所述图像处理部应用所述输入图像中包括的人的面部的组成单元的掩模图像，以从所述模板数据库获取每个组成的材质，并执行所述面部的组成单元的材质设置。


6.根据权利要求1所述的图像处理装置，其中，
所述模板数据库包括纹理作为所述材质，并且
所述图像处理部从所述模板数据库根据成像对象属性选择纹理，并执行三维图像的生成处理。


7.根据权利要求1所述的图像处理装置，其中，
所述模板数据库包括纹理和着色器作为所述材质，并且
所述图像处理部从所述模板数据库根据成像对象属性选择纹理和着色器，并执行三维图像的生成处理。


8.根据权利要求1所述的图像处理装置，其中，
所述图像处理部
包括特征量提取部，其被配置成从所述输入图像提取特征量，
基于由所述特征量提取部提取的所述特征量来识别所述成像对象的组成，并且
以所识别的组成为单位来执行材质设置。


9.根据权利要求1所述的图像处理装置，其中，
所述图像处理部
包括特征量提取部，其被配置成从所述输入图像提取特征量，
基于由所述特征量提取部提取的所述特征量来识别所述成像对象的组成，并且
以所述所识别的组成为单位来执行掩模图像生成处理。


10.根据权利要求1所述的图像处理装置，其中，
所述图像处理部包括网格划分部，所述网格划分部被配置成根据所述成像对象的组成来执行作为材质设置单元的网格的划分处理。


11.根据权利要求1所述的图像处...

【专利技术属性】
技术研发人员：冈田良平，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP