生成装置、再现装置、生成方法、再现方法、控制程序、记录介质制造方法及图纸

本发明专利技术实现了使减轻对于网络和客户端的负荷的影像的高速再现成为可能的生成装置以及再现装置。为了解决上述的问题，本发明专利技术的一方案的生成装置(10)具备：信息生成部(111)，生成与包括多个视点或视线方向的各个部分影像的整体影像中的某部分影像的再现相关的元信息；以及数据生成部(112)，生成表示将一部分帧从所述某部分影像间隔剔除后的间隔剔除影像的数据。此外，本发明专利技术的一方案的再现装置(20)具备：再现处理部(211)，参考与包括多个视点或视线方向的各个部分影像的整体影像中的某部分影像的再现相关的元信息，对该某部分影像或者将一部分帧从该某部分影像间隔剔除后的间隔剔除影像进行再现。

Generation device, reproduction device, generation method, reproduction method, control program, recording medium

【技术实现步骤摘要】
【国外来华专利技术】生成装置、再现装置、生成方法、再现方法、控制程序、记录介质
本专利技术的一方案涉及生成与多个视点或视线方向的影像相关的数据的生成装置以及生成方法，再现该数据的再现装置以及再现方法，以及与该数据的生成或再现相关的控制程序以及记录介质。
技术介绍
以往，存在通过合成由在相同的位置设置的多个摄像机所拍摄的拍摄影像，来生成上下左右360度的全方位或者相当于全方位的范围的影像(全向影像)的技术。作为类似的技术，还存在通过合成由在不同的位置设置的多个摄像机(视点)拍摄相同的被拍摄体而得到的拍摄影像，来生成多视点影像的技术。此外，近年，已开发有用于传送影像的各种各样的技术。作为用于传送影像的技术，可以列举出在MPEG(MovingPictureExpertsGroup：运动图像专家组)进行现在标准化作业的DASH(DynamicAdaptiveStreamingoverHTTP：基于HTTP的动态自适应流)(非专利文献1)。在DASH中规定有MPD(MediaPresentationDescription：媒体呈现描述)数据等元数据的格式。现有技术文献非专利文献非专利文献1：ISO/IEC23009-1Secondedition2014-05-15
技术实现思路
专利技术要解决的问题以往，作为将存在于服务器上的影像且多视点影像中的从特定的视点得到的影像由客户端侧的终端进行高速再现的案例，存在通过将一部分帧间隔剔除来进行高速再现的案例。在像这样的高速再现中存在以下的问题。即，从服务器侧向客户端侧发送了该影像的高速再现所不需要的帧部分的数据。因此，对服务器和客户端间的网络施加了额外的负荷。并且，即使在客户端侧，也需要指定应该进行间隔剔除的帧(再现所不需要的帧)的处理，因此对客户端的CPU也施加了额外的负荷。本专利技术的一方式是鉴于以上的课题而完成的，其主要的目的在于，实现一种使减轻对于网络和客户端的负荷的影像的高速再现成为可能的生成装置以及再现装置。技术方案为了解决上述的问题，本专利技术的一方案的生成装置具备：信息生成部，生成与包括多个视点或视线方向的各个部分影像的整体影像中的某部分影像的再现相关的元信息；以及数据生成部，生成表示将一部分帧从所述某部分影像间隔剔除后的间隔剔除影像的数据。此外，本专利技术的一方案的再现装置具备：再现处理部，参考与包括多个视点或视线方向的各个部分影像的整体影像中的某部分影像的再现相关的元信息，对该某部分影像或者将一部分帧从该某部分影像间隔剔除后的间隔剔除影像进行再现。专利技术效果根据本专利技术的一方案，能实现一种使减轻对于网络和客户端的负荷的影像的高速再现成为可能的生成装置以及再现装置。附图说明图1是本专利技术的实施方式1的生成装置和再现装置的功能框图。图2是表示实施方式1的生成MPD数据的处理等的图。图3是用于对实施方式1的对视点P的拍摄影像进行加工并生成间隔剔除影像的处理的一部分进行说明的图。图4是用于对实施方式1的对视点P的拍摄影像进行加工并生成间隔剔除影像的处理的一部分进行说明的图。图5是表示实施方式1的生成装置的一个动作的流程图。图6是表示实施方式1的再现装置的一个动作的流程图。图7是用于对实施方式1的变形例的对视点P的拍摄影像进行加工并生成间隔剔除影像的处理的一部分进行说明的图。图8是用于对实施方式1的变形例的对视点P的拍摄影像进行加工并生成间隔剔除影像的处理的一部分进行说明的图。图9是表示实施方式2的生成MPD数据的处理等的图。图10是用于对实施方式2的对视点P以及视点Q的拍摄影像进行加工并生成间隔剔除影像的处理的一部分进行说明的图。图11是表示实施方式2的生成装置的一个动作的流程图。图12是表示实施方式2的再现装置的一个动作的流程图。图13是用于对实施方式2的变形例的生成附加了三维模型数据的间隔剔除影像的处理的一部分进行说明的图。图14是与其他实施方式中的生成间隔剔除影像的处理相关的图。具体实施方式以下，若基于图1～图14对本专利技术的实施方式进行说明，则如下所述。〔实施方式1〕对本专利技术的一实施方式的多视点影像系统(以下，简称为“多视点影像系统”)在以下进行说明。多视点影像系统对合成有以圆形环绕被拍摄体的多个视点的各个拍摄影像的整体影像(多视点影像)中的某拍摄影像(某视点影像)进行高速再现。需要说明的是，在本说明书中，视点包括与用户的虚拟站立位置相当的场所的意思，和该用户朝向的视线方向的意思这两个意思。在本实施方式中，生成装置加工拍摄影像，生成将一部分帧预先间隔剔除后的间隔剔除影像，以使接收了对于拍摄影像的高速再现操作的再现装置对间隔剔除影像进行再现。以下，将加工前的拍摄影像称为原始影像。需要说明的是，生成装置可以是除了从构成多视点影像的各视点影像(原始影像)生成间隔剔除影像的功能以外，还具备生成多视点影像自身的功能(多台摄像机)的服务器。不过，该功能(多台摄像机)在本专利技术中不是必须的。不具备该功能的生成装置(服务器)预先保存拍摄完成的多视点影像。[1.生成装置10和再现装置20的构成]图1是实施方式1的生成装置和再现装置的功能框图。生成装置10具备控制部11、存储部12，以及发送部19，再现装置20具备控制部21、存储部22、显示部23以及接收部29。控制部11是总括生成装置10整体的控制电路，作为信息生成部111和数据生成部112而发挥功能。此外，控制部21是总括再现装置20整体的控制电路，作为再现处理部211而发挥功能。存储部12是保持在生成装置10中加工拍摄影像的情况下等参考或生成的数据的存储装置。发送部19例如是向再现装置20发送数据的发送电路。信息生成部111生成与多视点影像中的某拍摄影像的再现相关的元信息。数据生成部112从原始影像生成表示间隔剔除影像的数据。存储部22是保持在再现装置20中再现影像时，应该参考的数据的存储装置。显示部23是对基于用户的操作而再现的影像进行显示的显示面板。接收部29是接收例如从生成装置10发来的数据的接收电路。再现处理部211根据用户的再现操作的种类(标准速再现，或高速再现)，对原始影像，或者对原始影像进行加工后得到的间隔剔除影像进行再现。需要说明的是，并不一定限定于如图1所示那样，在生成装置与再现装置之间经由网络而连接的情况，也可以是生成装置10和再现装置20直接连接。此外，也可以是存储部12存在于生成装置10的外部，存储部22以及显示部23存在于再现装置20的外部。[2.关于MPD数据以及媒体段]图2是用于对生成用于对某视点P的拍摄影像进行高速再现的MPD数据的处理，以及参考MPD数据对拍摄影像进行高速再现的处理进行说明的图。需要说明的是，视点P的拍摄影像是用于合成多视点影像的、从不同的多个视点得到的多个拍摄影本文档来自技高网...

【技术保护点】
1.一种生成装置，其特征在于，具备：/n信息生成部，生成与包括多个视点或视线方向的各个部分影像的整体影像中的某部分影像的再现相关的元信息；以及/n数据生成部，生成表示将一部分帧从所述某部分影像间隔剔除后的间隔剔除影像的数据，/n所述元信息包括：第一信息，其根据使所述某部分影像高速再现的第一操作而被参考，表示所述间隔剔除影像的获取目标；以及第二信息，其根据使所述某部分影像比第一操作低速地再现的第二操作而被参考，表示所述某部分影像的获取目标。/n

【技术特征摘要】
【国外来华专利技术】20170807 JP 2017-1523211.一种生成装置，其特征在于，具备：
信息生成部，生成与包括多个视点或视线方向的各个部分影像的整体影像中的某部分影像的再现相关的元信息；以及
数据生成部，生成表示将一部分帧从所述某部分影像间隔剔除后的间隔剔除影像的数据，
所述元信息包括：第一信息，其根据使所述某部分影像高速再现的第一操作而被参考，表示所述间隔剔除影像的获取目标；以及第二信息，其根据使所述某部分影像比第一操作低速地再现的第二操作而被参考，表示所述某部分影像的获取目标。


2.根据权利要求1所述的生成装置，其特征在于，
所述整体影像是合成有所述多个视点的各个拍摄影像的多视点影像，
所述某部分影像是从所述多个视点中的某视点拍摄的拍摄影像。


3.根据权利要求1所述的生成装置，其特征在于，
所述整体影像是合成有所述多个视点的各个拍摄影像的多视点影像，
所述某部分影像是通过合成从邻接于特定的视点的两个视点拍摄的第一拍摄影像以及第二拍摄影像而得到的所述特定的视点的部分影像，
所述数据生成部以包括通过将一部分帧从第一拍摄影像间隔剔除，并且将与所述一部分帧在相同时刻生成的一部分帧从第二拍摄影像间隔剔除而得到的各影像数据的方式，生成表示所述间隔剔除影像的数据。


4.根据权利要求3所述的生成装置，其特征在于，
所述数据生成部以关于所述特定的视点的部分影像所包括的被拍摄体的影像还包括所述被拍摄体的三维模型数据的方式，生成表示所述间隔剔除影像的数据。


5.根据权利要求1至4中任一项所述的生成装置，其特征在于，
在所述一部分帧中，至少包括双向预测帧B帧。


6.根据权利要求1至5中任一项所述的生成装置，其特征在于，
所述元信息是基于HTTP的动态自适应流DASH规定的MPD数据，
表示所述间隔剔除影像的数据是一个以上的DASH规定的媒体段，
第一信息是DASH规定的AdaptationSet元素中所包括的、DASH规定的一个以上的SegmentURL元素，
在所述AdaptationSet元素中，包括表示所述AdaptationSet元素是表示所述间隔剔除影像的获取目标的信息的描述符。


7.一种再现装置，其特征在于，
具备：再现处理部，参考与包括多个视点或视线方向的各个部分影像的整体影像中的某部分影像的再现相关的元信息，对所述某部分影像或者将一部分帧从所述某部分影像间隔剔除后的间隔剔除影像进行再现，
所述元信息包括表示所述间隔剔除影像的获取目标的第一信息，以及表示所述某部分影像的获取目标的第二信息，
所述再现处理部根据使所述某部分影像高速再现的第一操作，对基于第一信息而获取的所述间隔剔除影像进行再现，根据使所述某部分影像比第一操作低速地再现的第二操作，对基于第二信息而获取的所述某部分影像进行再现。


8.根据权利要求7所述的再现装置，其特征在于，
所述整体影像是合成有所述多个视点的各个拍摄影像的多视点影像，
所述某部分影像是从所述多个视点中的某视点拍摄的拍摄影像。


9.根据权利要求7所述的再现装置，...

【专利技术属性】
技术研发人员：德毛靖昭，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本;JP