再现装置、再现方法、记录装置、记录方法、再现/记录装置、再现/记录方法以及程序制造方法及图纸

本公开涉及一种能够支持更适当的3D模型显示的再现装置、再现方法、记录装置、记录方法、再现/记录装置、再现/记录方法和程序。再现处理单元再现包括自由视点移动图像流和编辑数据流的自由视点移动图像内容，并且参照在编辑数据中设置的附加信息根据在构成所述编辑数据流的所述编辑数据中设置的基本信息来控制在由所述自由视点移动图像流重建的空间中排列的3D模型的显示。本技术可以应用于，例如，能够再现自由视点移动图像内容的再现装置。

Playback device, playback method, recording device, recording method, playback/recording device, playback/recording method and program

The present disclosure relates to a playback device, a playback method, a recording device, a recording method, a playback/recording device, a playback/recording method and a program capable of supporting a more appropriate 3D model display. The reproduction processing unit reproduces the free-view moving image content including the free-view moving image stream and the editing data stream, and controls the display of the 3D model arranged in the space reconstructed by the free-view moving image stream according to the basic information set in the editing data constituting the editing data stream with reference to the additional information set in the editing data. The technique can be applied to, for example, a playback device capable of reproducing the content of a free-view moving image.

【技术实现步骤摘要】
【国外来华专利技术】再现装置、再现方法、记录装置、记录方法、再现/记录装置、再现/记录方法以及程序
本公开涉及一种再现装置、再现方法、记录装置、记录方法、再现/记录装置、再现/记录方法和程序，更具体地，涉及一种能够支持更适当的3D模型显示的再现装置、再现方法、记录装置、记录方法、再现/记录装置、再现/记录方法和程序。
技术介绍
通常，在用户可以上传移动图像的分发站点上分发诸如用户生成内容(UGC)等移动图像内容，并且在商业分发站点上免费或收费分发诸如电影和戏剧等移动图像内容。在相关领域中，上述移动图像内容中的大多数是2D移动图像内容，其中，在内容生成时通过相机工作固定眼睛方向和视点位置。相反，近年来，可以创建可以自由改变眼睛方向的移动图像内容(在下文中称为全向移动图像内容)。在全向移动图像内容中，例如，可以通过根据面部方向使用头戴式显示器来改变眼睛方向，因此，可以实现更高的现实感，并且预计在未来会进行广泛使用。此外，在未来，假设广泛使用移动图像内容(在下文中称为“自由视点移动图像内容”)，其中，可以以类似于全向移动图像内容的方式改变眼睛方向，并且眼睛方向可以在由移动图像重建的空间中自由移动。例如，专利文献1公开了一种元数据结构，其中，与要输出的移动图像的大小和位置相关联的信息等可以编辑为与移动图像数据相关联的元数据。另外，专利文献2公开了一种再现装置，该再现装置能够基于包括再现属性信息等的播放列表、根据年龄启用显示系统的流信息表等选择显示格式。引用列表专利文献专利文献1：日本专利申请特开第2006-14090号专利文献2：日本专利申请特开第2012-213220号
技术实现思路
待由本专利技术解决的问题顺便提及，在游戏等中，通过渲染物体和纹理数据来创建排列3D模型的自由视点可见。在上述的自由视点移动图像内容中，可以将数据作为与2D移动图像内容和全向移动图像内容不同的3D模型，然而，根据各种情况无法适当地显示3D模型。本公开是针对上述情况提出的，并且涉及支持更适当的3D模型显示。问题的解决方案根据本公开的第一方面的再现装置包括：再现处理单元，该再现处理单元适用于再现自由视点移动图像内容，自由视点移动图像内容包括自由视点移动图像流和编辑数据流；以及显示控制单元，该显示控制单元适用于参照在编辑数据中设置的附加信息根据在构成编辑数据流的编辑数据中设置的基本信息来控制在由自由视点移动图像流重建的空间中排列的3D模型的显示。根据本公开的第一方面的再现方法或程序包括以下步骤：再现自由视点移动图像内容，自由视点移动图像内容包括自由视点移动图像流和编辑数据流；以及参照在编辑数据中设置的附加信息，根据在构成编辑数据流的编辑数据中设置的基本信息来控制在由自由视点移动图像流重建的空间中排列的3D模型的显示。根据本公开的第一方面，再现自由视点移动图像内容，自由视点移动图像内容包括自由视点移动图像流和编辑数据流，并且参照在编辑数据中设置的附加信息根据在构成编辑数据流的编辑数据中设置的基本信息来控制在由自由视点移动图像流重建的空间中排列的3D模型的显示。根据本公开的第二方面的记录装置包括：编辑内容获取单元，该编辑内容获取单元适用于获取针对附加信息的编辑内容，该附件信息是在根据在编辑数据中设置的基本信息控制3D模型的显示时要参照的，3D模型排列在由自由视点移动图像流重建的空间中，编辑数据构成包括自由视点移动图像流和编辑数据流的自由视点移动图像内容的编辑数据流；编辑数据设置单元，该编辑数据设置单元适用于根据由编辑内容获取单元获取的编辑内容编辑构成编辑数据流的编辑数据的附加信息；以及记录处理单元，该记录处理单元适用于在记录单元中将由编辑数据设置单元编辑的编辑数据流和对应于编辑数据流的自由视点移动图像流记录为自由视点移动图像内容。根据本公开的第二方面的记录方法或程序包括以下步骤：获取针对附加信息的编辑内容，该附件信息是在根据在编辑数据中设置的基本信息控制3D模型的显示时要参照的，3D模型排列在由自由视点移动图像流重建的空间中，编辑数据构成包括自由视点移动图像流和编辑数据流的自由视点移动图像内容的编辑数据流；根据所获取的编辑内容，编辑构成编辑数据流的编辑数据的附加信息；以及在记录单元中将所编辑的编辑数据流和对应于编辑数据流的自由视点移动图像流记录为自由视点移动图像内容。根据本公开的第二方面，获取针对附加信息的编辑内容，该附件信息是在根据在编辑数据中设置的基本信息控制3D模型的显示时要参照的，3D模型排列在由自由视点移动图像流重建的空间中，编辑数据构成包括自由视点移动图像流和编辑数据流的自由视点移动图像内容的编辑数据流；根据所获取的编辑内容，编辑构成编辑数据流的编辑数据的附加信息；以及在记录单元中将所编辑的编辑数据流和对应于编辑数据流的自由视点移动图像流记录为自由视点移动图像内容。根据本公开的第三方面的再现/记录装置包括：再现处理单元，该再现处理单元适用于再现自由视点移动图像内容，自由视点移动图像内容包括自由视点移动图像流和编辑数据流；显示控制单元，该显示控制单元适用于参照在编辑数据中设置的附加信息根据在构成编辑数据流的编辑数据中设置的基本信息来控制在由自由视点移动图像流重建的空间中排列的3D模型的显示；编辑内容获取单元，该编辑内容获取单元适用于获取在根据在编辑数据中设置的基本信息控制3D模型的显示时要参照的附加信息的编辑内容，3D模型排列在由自由视点移动图像流重建的空间中，编辑数据构成包括自由视点移动图像流和编辑数据流的自由视点移动图像内容的编辑数据流；编辑数据设置单元，该编辑数据设置单元适用于根据由编辑内容获取单元获取的编辑内容编辑构成编辑数据流的编辑数据的附加信息；以及记录处理单元，该记录处理单元适用于在记录单元中将由编辑数据设置单元编辑的编辑数据流和对应于编辑数据流的自由视点移动图像流记录为自由视点移动图像内容。根据本公开的第三方面的再现/记录方法或程序在再现自由视点移动图像内容时包括以下步骤：再现自由视点移动图像内容，自由视点移动图像内容包括自由视点移动图像流和编辑数据流；以及参照在编辑数据中设置的附加信息，根据在构成编辑数据流的编辑数据中设置的基本信息来控制在由自由视点移动图像流重建的空间中排列的3D模型的显示，并且该方法或程序在记录自由视点移动图像内容时进一步包括：获取针对附加信息的编辑内容，该附件信息是在根据在编辑数据中设置的基本信息控制3D模型的显示时要参照的，3D模型排列在由自由视点移动图像流重建的空间中，编辑数据构成包括自由视点移动图像流和编辑数据流的自由视点移动图像内容的编辑数据流；根据所获取的编辑内容，编辑构成编辑数据流的编辑数据的附加信息；以及在记录单元中将所编辑的编辑数据流和对应于编辑数据流的自由视点移动图像流记录为自由视点移动图像内容。根据本公开的第三方面，当再现自由视点移动图像内容时，再现包括自由视点移动图像流和编辑数据流的自由视点移动图像内容，并且参照在编辑数据中设置的附加信息根据在构成编辑数据流的编辑数据中设置的基本信息来控制在由自由视点移动图像流重建的空间中排列的3D模型的显示。另一方面，当记录自由视点移动图像内容时，获取针对附加信息的编辑内容，该附件信息是在根据在编辑数据中设置的基本信息控制3D模型的显示时要参照的本文档来自技高网...

【技术保护点】
1.一种再现装置，所述再现装置包括：再现处理单元，所述再现处理单元配置为再现自由视点移动图像内容，所述自由视点移动图像内容包括自由视点移动图像流和编辑数据流；以及显示控制单元，所述显示控制单元配置为参照在编辑数据中设置的附加信息根据在构成所述编辑数据流的所述编辑数据中设置的基本信息来控制在由所述自由视点移动图像流重建的空间中排列的3D模型的显示。

【技术特征摘要】
【国外来华专利技术】2016.10.06 JP 2016-1982501.一种再现装置，所述再现装置包括：再现处理单元，所述再现处理单元配置为再现自由视点移动图像内容，所述自由视点移动图像内容包括自由视点移动图像流和编辑数据流；以及显示控制单元，所述显示控制单元配置为参照在编辑数据中设置的附加信息根据在构成所述编辑数据流的所述编辑数据中设置的基本信息来控制在由所述自由视点移动图像流重建的空间中排列的3D模型的显示。2.根据权利要求1所述的再现装置，其中所述附加信息是指示所述3D模型的显示的优先级的优先级信息，以及所述显示控制单元参照所述优先级信息并且执行显示控制，使得优先显示以较高优先级设置的所述3D模型。3.根据权利要求2所述的再现装置，其中，在多个3D模型的表面彼此重合的情况下，所述显示控制单元参照所述优先级信息并且执行显示控制，使得在前侧显示以较高优先级设置的所述3D模型的表面。4.根据权利要求2所述的再现装置，其中，所述优先级信息将要重新排列的所述3D模型的优先级设置为表示相对于已经排列的另一3D模型的优先级的1比特值。5.根据权利要求1所述的再现装置，其中所述附加信息是指示限制所述3D模型的显示的年龄的观看年龄限制信息，以及在所述编辑数据中设置的所述观看年龄限制信息等于或小于在所述再现装置中预设的所述观看年龄限制信息的情况下，所述显示控制单元执行显示控制以便显示对应于所述编辑数据的所述3D模型。6.根据权利要求5所述的再现装置，其中所述自由视点移动图像内容包括音频数据流和音频编辑数据流，以及根据在构成所述音频编辑数据的编辑数据中设置的所述观看年龄限制信息控制对应于所述编辑数据的音频数据的输出。7.一种再现方法，所述再现方法包括以下步骤：再现自由视点移动图像内容，所述自由视点移动图像内容包括自由视点移动图像流和编辑数据流；以及参照在编辑数据中设置的附加信息，根据在构成所述编辑数据流的所述编辑数据中设置的基本信息来控制在由所述自由视点移动图像流重建的空间中排列的3D模型的显示。8.一种程序，所述程序使计算机执行再现处理，所述再现处理包括以下步骤：再现自由视点移动图像内容，所述自由视点移动图像内容包括自由视点移动图像流和编辑数据流；以及参照在编辑数据中设置的附加信息，根据在构成所述编辑数据流的所述编辑数据中设置的基本信息来控制在由所述自由视点移动图像流重建的空间中排列的3D模型的显示。9.一种记录装置，所述记录装置包括：编辑内容获取单元，所述编辑内容获取单元配置为获取针对附加信息的编辑内容，该附加信息是在根据在编辑数据中设置的基本信息控制3D模型的显示时要参照的，所述3D模型排列在由自由视点移动图像流重建的空间中，所述编辑数据构成包括所述自由视点移动图像流和所述编辑数据流的自由视点移动图像内容的编辑数据流；编辑数据设置单元，所述编辑数据设置单元配置为根据由所述编辑内容获取单元获取的所述编辑内容编辑构成所述编辑数据流的所述编辑数据的所述附加信息；以及记录处理单元，所述记录处理单元配置为将由所述编辑数据设置单元编辑的所述编辑数据流和对应于所述编辑数据流的所述自由视点移动图像流作为所述自由视点移动图像内容记录在记录单元中。10.根据权利要求9所述的记录装置，其中在将所述自由视点移动图像内容记录在所述记录装置中时，在所述编辑数据设置单元中接收所述编辑数据流，并且进一步在所述记录处理单元中接收自由视点移动图像流，以及所述编辑数据设置单元基于由所述编辑内容获取单元根据用户的操作获取的所述编辑内容来编辑所述编辑数据。11.根据权利要求9所述的记录装置，其中，所述编辑数据设置单元将指示所述3D模型的显示的优先级的优先级信息设置为所述编辑数据的附加信息。12.根据权利要求9所述的记录装置，其中，所述编辑数据设置单元将指示限制所述3D模型的显示的年龄的观看年龄限制信息设置为所述编辑数据的所述附加信息。13.一种记录方法，所述记录方法包括以下步骤：获取针对附加信息的编辑内容，该附加信息是在根据在编辑数据中设置的基本信息控制3D模型的显示时要参照的，所述3D模型排列在由自由视点移动图像流重建的空间中，所述编辑数据构成包括所述自由视点移动图像流和所述编辑数据流的自由视点移...

【专利技术属性】
技术研发人员：勝股充，温仕豪，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP