信息处理装置、信息处理方法、视频分发方法和信息处理系统制造方法及图纸

本发明专利技术从通过体积技术生成的三维对象生成添加了各种渲染的视频。该信息处理装置设置有第一生成单元(134)，该第一生成单元基于二维图像和通过使用通过对被摄体成像捕获的多个图像生成的被摄体的三维模型，生成其中同时存在二维图像和从三维模型生成的被摄体的视频。频。频。

【技术实现步骤摘要】
【国外来华专利技术】信息处理装置、信息处理方法、视频分发方法和信息处理系统


[0001]本公开内容涉及信息处理装置、信息处理方法、视频分发方法和信息处理系统。

技术介绍

[0002]已经提出了体积技术的技术(也被称为体积捕获技术)，其使用被布置成围绕被摄体(对象)的多个相机来重建内部的被摄体(对象)的三维形状并从自由视点重新绘制形状。通过布置相机以通过该体积技术捕获背面和头顶，可以生成使得观看者能够在所有方向上观看被摄体的视频(体积视频)。
[0003]引文列表
[0004]专利文献
[0005]专利文献1：WO 2019/021375A
[0006]概要
[0007]技术问题
[0008]在观看视频的典型情况下，用户将观看通过将由体积技术生成的三维对象叠加在预先创建的背景对象上并渲染组合对象而生成的视频。然而，存在的问题是，简单地通过将背景对象叠加在三维对象上，不可能实现适合于诸如音乐现场表演、体育赛事、演讲和学术课程的各种视频内容中的每一种的演示。
[0009]因此，本公开内容提出了信息处理装置、信息处理本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种信息处理装置，包括第一生成单元，所述第一生成单元基于通过使用经由对被摄体成像获得的多个捕获图像生成的所述被摄体的三维模型以及基于二维图像，来执行视频的生成，在所述视频中同时存在从所述三维模型生成的被摄体和所述二维图像。2.根据权利要求1所述的信息处理装置，其中，所述二维图像是使用了用于生成所述被摄体的三维模型的所述多个捕获图像中的至少一个捕获视频的二维图像，并且所述第一生成单元生成所述视频，在所述视频中同时存在从所述三维模型生成的被摄体和基于与所述被摄体对应的所述二维图像的被摄体。3.根据权利要求2所述的信息处理装置，其中，所述第一生成单元基于所述被摄体的三维模型以及基于包括在时间上与用于生成所述三维模型的被摄体对应的被摄体的二维图像，来生成所述视频。4.根据权利要求1所述的信息处理装置，还包括第二生成单元，所述第二生成单元生成打包图像，在所述打包图像中，通过基于虚拟视点将所述被摄体的三维模型转换成二维纹理信息而获得的纹理图像和通过将从所述虚拟视点到所述被摄体的三维模型的深度信息转换成二维图像而获得的深度图像被打包在一帧中，所述虚拟视点被设置在布置有所述三维模型的虚拟空间中。5.根据权利要求4所述的信息处理装置，其中，所述打包图像还包括所述多个捕获图像中的至少一个捕获图像。6.根据权利要求5所述的信息处理装置，其中，所述打包图像中包括的所述纹理图像和所述捕获图像是在时间上彼此对应的图像。7.根据权利要求4所述的信息处理装置，其中，所述打包图像中包括的纹理图像包括：第一纹理图像，其通过基于所述虚拟视点将所述被摄体的三维模型转换成所述二维纹理信息而获得，所述虚拟视点被设置在布置有所述三维模型的所述虚拟空间中；以及第二纹理图像，其包括来自与所述虚拟视点相同的视点的被摄体，并且是与所述第一纹理图像不同的图像。8.根据权利要求4所述的信息处理装置，还包括发送单元，所述发送单元发送所述打包图像；以及接收单元，所述接收单元从所述发送单元接收所述打包图像，其中，所述第一生成单元基于由所述接收单元接收到的所述打包图像重建所述三维模型，并以设置在布置有所述三维模型的虚拟空间中的虚拟视点渲染所述三维模型，并且通过所述重建和渲染操作，所述第一生成单元生成包括从所述三维模型生成的被摄体的二维图像，并且使用所述二维图像生成所述视频。...

【专利技术属性】
技术研发人员：福安彻也，
申请(专利权)人：索尼集团公司，
类型：发明
国别省市：