信息处理装置、信息处理方法、视频分发方法和信息处理系统制造方法及图纸

本发明专利技术从通过体积技术生成的三维对象生成添加了各种渲染的视频。该信息处理装置设置有第一生成单元(134)，该第一生成单元基于二维图像和通过使用通过对被摄体成像捕获的多个图像生成的被摄体的三维模型，生成其中同时存在二维图像和从三维模型生成的被摄体的视频。频。频。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法、视频分发方法和信息处理系统


[0001]本公开内容涉及信息处理装置、信息处理方法、视频分发方法和信息处理系统。

技术介绍

[0002]已经提出了体积技术的技术(也被称为体积捕获技术)，其使用被布置成围绕被摄体(对象)的多个相机来重建内部的被摄体(对象)的三维形状并从自由视点重新绘制形状。通过布置相机以通过该体积技术捕获背面和头顶，可以生成使得观看者能够在所有方向上观看被摄体的视频(体积视频)。
[0003]引文列表
[0004]专利文献
[0005]专利文献1：WO 2019/021375A
[0006]概要
[0007]技术问题
[0008]在观看视频的典型情况下，用户将观看通过将由体积技术生成的三维对象叠加在预先创建的背景对象上并渲染组合对象而生成的视频。然而，存在的问题是，简单地通过将背景对象叠加在三维对象上，不可能实现适合于诸如音乐现场表演、体育赛事、演讲和学术课程的各种视频内容中的每一种的演示。
[0009]因此，本公开内容提出了信息处理装置、信息处理方法、视频分发方法和信息处理系统，使得能够从由体积技术等生成的三维对象生成具有宽范围演示的视频。
[0010]问题的解决方案
[0011]为了解决上述问题，根据本公开内容的实施方式的信息处理装置包括第一生成单元，该第一生成单元基于通过使用通过对被摄体成像获得的多个捕获图像生成的被摄体的三维模型以及基于二维图像，来执行视频的生成，在该视频中同时存在从三维模型生成的被摄体和二维图像。
附图说明
[0012]图1是示出根据本公开内容的一个实施方式的信息处理系统的示意性配置的框图。
[0013]图2是示出根据本实施方式的成像装置的示例的图。
[0014]图3是示出由根据本实施方式的信息处理系统执行的处理的流程的示例的流程图。
[0015]图4是示出根据本实施方式的信息处理系统的硬件配置的示例的框图。
[0016]图5是示出根据本实施方式的渲染单元的进一步详细配置示例的框图。
[0017]图6是示出根据本实施方式的中间渲染视频的示例的图。
[0018]图7是示出根据本实施方式的虚拟视点视频(RGB)的示例的图。
[0019]图8是示出根据本实施方式的虚拟视点视频(深度)的示例的图。
[0020]图9是示出根据本实施方式的真实相机图像的示例的图。
[0021]图10是示出根据本实施方式的辅助视频的示例的视图。
[0022]图11是示出根据本实施方式的初始虚拟视点视频生成单元的进一步详细配置示例的框图。
[0023]图12是示出根据本实施方式的最终虚拟视点视频生成单元的进一步详细配置示例的框图。
[0024]图13是示出由根据本实施方式的图像质量增强单元执行的处理的示例的图。
[0025]图14是示出在本实施方式中分发到用户的视频内容的示例的图。
[0026]图15是示出在本实施方式中分发到用户的体积视频的另一示例的视图。
[0027]图16是示出根据本实施方式的信息处理系统的具体示例的系统配置图。
具体实施方式
[0028]下面将参照附图详细描述本公开内容的实施方式。在下面的实施方式中的每一个中，相同部分用相同的附图标记表示，并且将省略其重复描述。
[0029]将按以下顺序描述本公开内容。
[0030]0.引言
[0031]1.一个实施方式
[0032]1‑
1.信息处理系统的功能配置
[0033]1‑
2.由信息处理系统执行的处理的流程
[0034]1‑
3.信息处理系统的硬件配置
[0035]1‑
4.本实施方式的进一步细节
[0036]1‑4‑
1.渲染单元的进一步详细配置示例
[0037]1‑4‑
2.中间渲染视频的具体示例
[0038]1‑4‑
3.初始虚拟视点视频生成单元131的进一步详细配置示例
[0039]1‑4‑
4.最终虚拟视点视频生成单元134的进一步详细配置示例
[0040]1‑
5.根据本实施方式的演示的示例
[0041]1‑
6.信息处理系统的具体示例
[0042]1‑
7.总结
[0043]0.引言
[0044]体积技术是这样的技术，其使用被排列成围绕被摄体(对象)的多个相机以重建内部的被摄体(对象)的三维形状并从自由视点重新绘制形状。通过布置相机以捕获背面和头顶，观看者可以在所有方向上观看被摄体。由于在这样的体积技术中诸如捕获、建模和渲染的各种类型的处理需要巨大的计算成本和长的处理时间，因此通常应当离线执行处理。然而，利用在线实时地执行体积技术中的各种类型的处理的能力，可以从捕获的三维对象立即生成体积视频并将生成的视频分发到用户。这导致在实时表演非常重要的使用情况下，例如音乐现场表演、体育赛事、演讲和学术课程，需要实时地执行体积技术中的各种类型的处理。顺便提及，体积视频可以是例如通过使用由体积技术生成的3D对象生成的视频。
[0045]例如，可以通过利用用于超级计算机或数据中心中的大规模处理的高性能计算(HPC)技术来实现体积技术中的各种类型的处理的实时执行。
[0046]此外，如上所述，在观看体积视频的典型情况下，人们观看通过将由体积技术生成的3D对象叠加在预先创建的背景对象上而生成的体积视频。然而，并不总是能够简单地通过将背景对象叠加在3D对象上，来实现适合于诸如音乐现场表演、体育赛事、演讲和学术课程的各种视频中的每一种的演示。
[0047]为了处理该问题，以下实施方式使得可以从由体积技术生成的三维对象生成应用了宽范围演示的视频。
[0048]另外，当体积视频的生成将由诸如一个个人计算机(在下文中，被称为PC)的有限资源执行时，例如，处理不能跟上捕获的视频数据，导致实时性能受损的可能性。特别地，在体积技术中结合诸如另一3D对象的叠加、图像质量增强、各种效果等的各种类型的附加处理将增加整体处理负荷，使得难以确保实时性。
[0049]此外，由于每个PC取决于规范具有其适合的处理任务，因此在一个PC中聚合体积技术的各种类型的处理可能降低开发效率。例如，可能存在这样的情况，一方面，安装有Linux(注册商标)的PC可以执行低延迟分发处理，通过该低延迟分发处理，处理中的每一个被分发到多个图形处理单元(GPU)(在下文中，被称为GPU分发处理)，另一方面，PC具有很少必要的处理库，导致差的开发效率。
[0050]因此，在以下实施方式中，体积技术中的各种类型的处理被分发到多个计算机，从而使得能够快速生成体积视频。例如，可以生成确保实时性的体积视频。另外，将处理分发到多个计算机将提高系统的开发环境的自由度，使得可以构建抑制了开发效率的恶化的系统。
[0051]然而，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括第一生成单元，所述第一生成单元基于通过使用经由对被摄体成像获得的多个捕获图像生成的所述被摄体的三维模型以及基于二维图像，来执行视频的生成，在所述视频中同时存在从所述三维模型生成的被摄体和所述二维图像。2.根据权利要求1所述的信息处理装置，其中，所述二维图像是使用了用于生成所述被摄体的三维模型的所述多个捕获图像中的至少一个捕获视频的二维图像，并且所述第一生成单元生成所述视频，在所述视频中同时存在从所述三维模型生成的被摄体和基于与所述被摄体对应的所述二维图像的被摄体。3.根据权利要求2所述的信息处理装置，其中，所述第一生成单元基于所述被摄体的三维模型以及基于包括在时间上与用于生成所述三维模型的被摄体对应的被摄体的二维图像，来生成所述视频。4.根据权利要求1所述的信息处理装置，还包括第二生成单元，所述第二生成单元生成打包图像，在所述打包图像中，通过基于虚拟视点将所述被摄体的三维模型转换成二维纹理信息而获得的纹理图像和通过将从所述虚拟视点到所述被摄体的三维模型的深度信息转换成二维图像而获得的深度图像被打包在一帧中，所述虚拟视点被设置在布置有所述三维模型的虚拟空间中。5.根据权利要求4所述的信息处理装置，其中，所述打包图像还包括所述多个捕获图像中的至少一个捕获图像。6.根据权利要求5所述的信息处理装置，其中，所述打包图像中包括的所述纹理图像和所述捕获图像是在时间上彼此对应的图像。7.根据权利要求4所述的信息处理装置，其中，所述打包图像中包括的纹理图像包括：第一纹理图像，其通过基于所述虚拟视点将所述被摄体的三维模型转换成所述二维纹理信息而获得，所述虚拟视点被设置在布置有所述三维模型的所述虚拟空间中；以及第二纹理图像，其包括来自与所述虚拟视点相同的视点的被摄体，并且是与所述第一纹理图像不同的图像。8.根据权利要求4所述的信息处理装置，还包括发送单元，所述发送单元发送所述打包图像；以及接收单元，所述接收单元从所述发送单元接收所述打包图像，其中，所述第一生成单元基于由所述接收单元接收到的所述打包图像重建所述三维模型，并以设置在布置有所述三维模型的虚拟空间中的虚拟视点渲染所述三维模型，并且通过所述重建和渲染操作，所述第一生成单元生成包括从所述三维模型生成的被摄体的二维图像，并且使用所述二维图像生成所述视频。...

【专利技术属性】
技术研发人员：福安彻也，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：