信息处理设备、生成方法和渲染方法技术

本发明专利技术涉及信息处理设备、生成方法和渲染方法，其使得能够在抑制渲染负荷的同时生成高质量图像。该信息处理设备设置有生成单元，该生成单元根据与表示对象的形状的3D形状数据相关联的纹理信息，生成与从不同的多个视点捕获的对象的图像分别对应的多条纹理信息。本发明专利技术可以应用于生成和发送用于渲染的3D数据的信息处理系统。信息处理系统。信息处理系统。

【技术实现步骤摘要】
【国外来华专利技术】信息处理设备、生成方法和渲染方法


[0001]本技术涉及信息处理设备、生成方法和渲染方法，并且更特别地涉及能够在抑制渲染负荷的同时生成高质量图像的信息处理设备、生成方法和渲染方法。

技术介绍

[0002]已经提出了各种技术作为用于生成或传输3D数据的方法。例如，提出了将对象的3D模型和UV纹理图像传输至再现侧的设备并在再现侧执行显示的方法。
[0003]当以3D模型和UV纹理图像的格式表示3D数据时，3D数据的量变小并且渲染负荷变低。
[0004]引文列表
[0005]专利文献
[0006]专利文献1：PCT申请第2019
‑
534511号的日文译文

技术实现思路

[0007]技术问题
[0008]通过使用3D模型和UV纹理图像进行渲染而生成的观看视点图像的图像质量与3D模型的精度成比例。例如，当3D模型大于实际对象时，纹理可能会移位，或者纹理可能会被拉伸且不自然。
[0009]作为用于减少由于拉伸纹理引起的不自然的技术，例如，专利文献1提出了一种用于使用流动UV贴图进行渲染的技术。流动UV贴图是指示用于拉伸纹理以使来自虚拟相机的失真的可见性最小化的方法的信息。
[0010]然而，当使用流动UV贴图时，用于渲染的数据量变得巨大，并且计算成本很高。
[0011]因此，需要一种3D数据格式，其允许通过以小数据和受抑制的渲染负荷进行渲染来生成高质量图像。
[0012]鉴于这种情况做出了本技术，并且本技术使得可以在抑制渲染负荷的同时生成高质量图像。
[0013]问题的解决方案
[0014]本技术的第一方面的一种信息处理设备包括：生成单元，其被配置成根据与指示对象的形状的3D形状数据对应的纹理信息，生成与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息。
[0015]本技术的第二方面的一种信息处理设备包括：渲染单元，其被配置成使用与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息来执行渲染。
[0016]在本技术的第一方面中，根据与指示对象的形状的3D形状数据对应的纹理信息，生成与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息。
[0017]在本技术的第二方面中，通过使用与在不同的多个视点处对对象进行成像时的图像对应的多条纹理信息来执行渲染。
附图说明
[0018]图1示出了从生成捕获的图像到观看图像的一系列流程。
[0019]图2是示出一般3D数据的数据格式的示例的图。
[0020]图3是示出UV纹理信息的投影的示例的图。
[0021]图4是示出UV纹理信息的投影的另一示例的图。
[0022]图5是示出UV纹理信息的投影的又一示例的图。
[0023]图6是示出优化的相机的示例的图。
[0024]图7是示出在选择成像设备cam作为优化的相机时优化UV纹理信息的示例的图。
[0025]图8是示出本技术的3D数据的数据格式的示例的图。
[0026]图9是示出本技术的渲染方法的示例的图。
[0027]图10是示出本技术的渲染方法的示例的图。
[0028]图11是示出应用本技术的信息处理系统的配置示例的框图。
[0029]图12是示出成像设备的布置示例的图。
[0030]图13是示出3D模型生成单元的配置示例的框图。
[0031]图14是示出渲染单元的配置示例的框图。
[0032]图15是示出确定重要度P(i)的方法的示例的图。
[0033]图16是示出确定重要度P(i)的方法的另一示例的图。
[0034]图17是示出确定重要度P(i)的方法的又一示例的图。
[0035]图18是示出根据观看时间的经过的混合偏移系数的示例的图。
[0036]图19是示出由信息处理系统执行的处理的流程的流程图。
[0037]图20是示出在选择虚拟相机作为优化的相机时的UV纹理信息生成处理的流程的流程图。
[0038]图21是示出选择相机cam作为优化的相机时的UV纹理信息生成处理的流程的流程图。
[0039]图22是示出UV纹理信息选择处理的流程图。
[0040]图23是示出在混合系数blend_1st被设置成随着观看时间的经过而逐渐增大时的混合系数计算处理的流程的流程图。
[0041]图24是示出观看视点图像生成处理的流程图。
[0042]图25是示出计算机硬件的配置示例的框图。
具体实施方式
[0043]在下文中，将描述用于实现本技术的模式。将按以下顺序给出描述。
[0044]1.信息处理系统的概述
[0045]2.信息处理系统的配置
[0046]3.信息处理系统的操作
[0047]4.应用示例
[0048]5.计算机
[0049]<1.信息处理系统的概述>
[0050]图1示出了从生成捕获的图像到观看图像的一系列流程。
[0051]在图1中，示出了使用三个成像设备cam1至cam3以执行预定操作的人作为对象#Ob1来执行成像的示例。如图1的左侧所示，被布置成围绕对象#Ob1的三个成像设备cam1至cam3对对象#Ob1进行成像。
[0052]在以下描述中，当不需要区分成像设备cam1至cam3时，成像设备cam1至cam3在描述中被简称为成像设备cam。这同样适用于提供多个成像设备的其他配置。
[0053]如图1的中心处所示，使用从布置在不同位置处的多个成像设备cam获得的捕获图像执行3D建模，并且生成对象#Ob1的3D模型MO1。例如通过使用诸如Visual Hull的方案来生成3D模型MO1，该方案使用通过从不同方向对对象#Ob1进行成像获得的捕获图像来切出三维形状。
[0054]如上所述生成的对象的3D模型的数据(3D数据)被传输至再现侧的设备并被再现。即，在再现侧的设备中，基于3D数据执行3D模型的渲染，使得在观看设备上显示观看视点图像。在图1中，显示器D1和头戴式显示器(HMD)D2被示出为由观看者使用的观看设备。
[0055]·
一般3D数据
[0056]图2是示出一般3D数据的数据格式的示例的图。
[0057]如图2所示，3D数据一般由指示对象的3D形状(几何信息)的3D形状数据ME1和指示对象的颜色信息的UV纹理信息UVT1来表示。
[0058]以网格数据的格式表示3D形状数据ME1，其中指示对象的表面形状的形状信息由被称为多边形网格的顶点与顶点之间的连接来表示。表示3D形状数据ME1的方法不限于此，并且可以通过利用点的位置信息执行表示的所谓的点云表示方法来描述3D形状数据ME1。
[0059]UV纹理信息UVT1是例如贴图格式的信息，其中粘贴至作为3D形状数据的每个多边形网格或每个点的纹理在UV坐标系中被表本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理设备，包括：生成单元，其被配置成根据与指示对象的形状的3D形状数据对应的纹理信息，生成与在不同的多个视点处对所述对象进行成像时的图像对应的多条纹理信息。2.根据权利要求1所述的信息处理设备，其中，所述生成单元使用布置在所述多个视点中的每个视点处的多个成像设备的相机参数来生成所述多条纹理信息。3.根据权利要求1所述的信息处理设备，其中，所述生成单元生成与所述多个视点对应的经优化的所述多条纹理信息，所述多个视点与被配置成对所述对象进行成像的多个成像设备的视角对应。4.根据权利要求3所述的信息处理设备，其中，所述生成单元通过处理纹理来生成与视点对应的纹理信息，所述纹理是通过使用通过在除了安装在与所述视点对应的位置处的成像设备之外的成像设备中进行成像获得的图像而生成的。5.根据权利要求1所述的信息处理设备，其中，所述生成单元还生成所述3D形状数据。6.根据权利要求1所述的信息处理设备，其中，所述生成单元还生成指示所述3D形状数据与所述多条纹理信息之间的对应关系的映射信息。7.根据权利要求6所述的信息处理设备，其中，所述生成单元生成与共同的单个映射信息对应的所述多条纹理信息。8.根据权利要求1所述的信息处理设备，其中，所述生成单元生成所述多条纹理信息作为独立数据。9.根据权利要求1所述的信息处理设备，其中，所述多条纹理信息用于生成观看视点图像，所述观看视点图像是来自观看视点的所述对象的图像。10.一种生成方法，包括：根据与指示对象的形状的3D形状数据对应的纹理信息，生成与在不同的多个视点处对所述对象进行成像时的图像对应的多条纹理信息。11.一种信息处理设备，包括：渲染单元，其被配置成使用与在不同的多个...

【专利技术属性】
技术研发人员：小林刚也，广田洋一，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：