影像数据生成装置、影像再现装置、影像数据生成方法、控制程序及记录介质制造方法及图纸

一种影像数据装置(3)，具备：中间视点影像数据生成部(10)，参照表示从各个相互不同的多个视点观察的影像的多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。

Image data generation device, image reproduction device, image data generation method, control program and recording medium

An image data device (3) is provided with an intermediate view point image data generation unit (10), which refers to at least one of a plurality of input image data that represents an image viewed from various different multiple views, and generates an image that represents each of a plurality of intermediate views in at least one-dimensional direction that is regularly configured in a line or curve coordinate system of more than one-dimensional Interview image data.

【技术实现步骤摘要】
【国外来华专利技术】影像数据生成装置、影像再现装置、影像数据生成方法、控制程序及记录介质
本专利技术主要涉及一种生成能够再现从目标视点观察的影像的影像数据的影像数据生成装置。
技术介绍
作为能够通过影像表现360度的视场的技术的例子，可以例举出360视频(全天球影像)和扩展360视频。图19的(a)是示意性地表示360视频的图，图19的(b)是示意性地表示扩展360视频的图。360视频(3DoF：DegreeofFreedom(三个自由度))是能够从一个视点环视周围进行视听的影像，更详细而言，是能够从虚拟空间中的一个点观察整周(4π球面度)的影像。基于实拍的360视频是通过可整周拍摄的相机拍摄的影像，或者是将通过多个相机拍摄的各影像拼接而生成的影像。扩展360视频是能够移动视点位置进行视听的360视频，更详细而言，是能够从以虚拟空间中的1点为基准的规定的范围内观察整周的视频。在该技术中，通过支持视听者的微小的视点移动，能够提高头戴式显示器(HMD)视听时的真实感。此外，通过支持视听者的广范围的视点移动，能够从各个方向观察记录的场景。扩展360视频按照视点的可移动的范围的宽度，也被称为3DoF+、6DoF。在3DoF+中能够在窄的范围内视点移动，在6DoF中能够在更宽的范围内视点移动。像扩展360视频那样，作为能够视听视点位置移动的影像的技术，在专利文献1中，公开了由多个相机影像合成虚拟视点影像的技术。在该文献中，公开了基于多个相机影像和相机位置的信息，生成规定的虚拟视点位置的影像的方法。在该技术中，通过基于虚拟视点位置和相机位置来透视变换相机影像，来生成影像。现有技术文献专利文献专利文献1：日本公开专利公报“日本特开2013-106324号公报(2013年5月30日公开)”
技术实现思路
专利技术要解决的问题在上述的扩展360视频的生成中，需要使用多个相机影像，合成以目标视点为视点的影像(目标视点影像)。然后，在再现目标视点影像时，在从相机影像直接制作目标视点影像的情况下，存在再现处理复杂化的问题。例如，根据状况，针对一个目标视点影像的合成，需要对来自设置的所有的相机的影像进行搜索(位置确认)或者解码处理。在这样的问题中，为了满足目标视点影像的生成处理的实际时间/低延迟的必要条件，再现处理的简化是重要的。本专利技术是鉴于上述问题点而完成的，其目的在于，提供一种能够简化从目标视点观察的影像的再现处理的技术。技术方案为了解决上述问题，本专利技术的一方案的影像数据生成装置是生成影像数据的影像数据生成装置，具备：输入影像数据获取部，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及中间视点影像数据生成部，参照上述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。为了解决上述问题，本专利技术的一方案的影像数据生成装置是生成表示从目标视点观察的影像的影像数据的影像数据生成装置，具备：中间视点影像数据获取部，获取表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据；以及目标视点影像数据生成部，参照上述中间视点影像数据获取部所获取的中间视点影像数据来生成表示从上述目标视点观察的影像的目标视点影像数据。为了解决上述问题，本专利技术的一方案的影像数据生成方法是由生成影像数据生成方法影像数据的影像数据生成装置实现的影像数据生成方法，包括：输入影像数据获取工序，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及中间视点影像数据生成工序，参照上述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。为了解决上述问题，本专利技术的一方案的影像数据生成方法是由生成表示从目标视点观察的影像的影像数据的影像数据生成装置实现的影像数据生成方法，包括：中间视点影像数据获取工序，获取表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据；以及目标视点影像数据生成工序，参照在上述中间视点影像数据获取工序中获取的中间视点影像数据来生成表示从上述目标视点观察的影像的目标视点影像数据。有益效果根据本专利技术的一方案，能够简化从目标视点观察的影像的再现处理。附图说明图1是表示本专利技术的实施方式1的扩展360视频数据记录再现系统的构成的框图。图2是对由本专利技术的实施方式1的扩展360视频数据记录装置实现的中间视频组生成方法的一个示例进行说明的流程图。图3是对由本专利技术的实施方式1的扩展360视频数据再现装置实现的目标视点影像生成方法的一个示例进行说明的流程图。图4是用于对本专利技术的一实施方式的中间360视频组生成方法和目标视点影像生成方法的概略进行说明的图。图5是用于对本专利技术的一实施方式的中间视点定义进行说明的图。图6的(a)～图6的(c)分别是表示配置有本专利技术的一实施方式的中间视点的栅格点的例子的图。图7是表示配置有本专利技术的一实施方式的中间视点的三维坐标中的栅格点的例子的图。图8的(a)～图8的(c)分别是表示配置有本专利技术的一实施方式的中间视点的栅格点以外的例子的图。图9是用于对本专利技术的一实施方式的与拍摄对象的深度对应的中间视点的配置进行说明的图。图10是表示本专利技术的一实施方式的中间视点设定部所设定的中间视点的配置例的图。图11是用于对本专利技术的一实施方式的中间360视频组生成处理进行说明的图。图12是用于对本专利技术的一实施方式的扩展360视频数据的形式进行说明的图。图13是用于对本专利技术的一实施方式的视点影像生成处理进行说明的图。图14是表示本专利技术的实施方式2的扩展360视频数据记录再现系统的构成的框图。图15是对由本专利技术的实施方式2的扩展360视频数据记录装置实现的中间视频组生成方法的一个示例进行说明的流程图。图16是对由本专利技术的实施方式2的扩展360视频数据再现装置实现的目标视点影像生成方法的一个示例进行说明的流程图。图17的(a)是表示本专利技术的实施方式3的扩展360视频数据记录再现系统的构成的框图。图17的(b)是表示本专利技术的实施方式3的扩展360视频数据再现部的构成的框图。图18是对由本专利技术的实施方式3的扩展360视频数据再现装置实现的目标视点影像生成方法的一个示例进行说明的流程图。图19的(a)是示意性地表示现有技术中的360视频的图，图19的(b)是示意性地表示现有技术中的扩展360视频的图。具体实施方式以下，对本专利技术的实施方式进行详细说明。但是，本实施方式所记载的构成只要没有特别特定的记载，就不意味着将本专利技术的范围仅限定于此，只不过是说明例。在本专利技术本文档来自技高网...

【技术保护点】
1.一种影像数据生成装置，生成影像数据，其特征在于，具备：/n输入影像数据获取部，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及/n中间视点影像数据生成部，参照所述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。/n

【技术特征摘要】
【国外来华专利技术】20170405 JP 2017-0753611.一种影像数据生成装置，生成影像数据，其特征在于，具备：
输入影像数据获取部，获取表示从各个相互不同的多个视点观察的影像的多个输入影像数据；以及
中间视点影像数据生成部，参照所述多个输入影像数据中的至少任一个，生成表示以在一维以上的直线或者曲线坐标系中规则地配置于至少一维方向的多个中间视点的每一个为视点的影像的中间视点影像数据。


2.根据权利要求1所述的影像数据生成装置，其特征在于，
所述多个中间视点中的在所述至少一维方向上相邻的中间视点间的距离相等。


3.根据权利要求1或2所述的影像数据生成装置，其特征在于，
所述多个中间视点在二维以上的直线或者曲线坐标系中规则地配置于二维方向。


4.根据权利要求1或2所述的影像数据生成装置，其特征在于，
所述多个中间视点在三维以上的直线或者曲线坐标系中规则地配置于三维方向。


5.根据权利要求1～4中任一项所述的影像数据生成装置，其特征在于，
所述多个中间视点的配置限定于所述一维以上的直线或者曲线坐标系中的规定的范围内。


6.根据权利要求5所述的影像数据生成装置，其特征在于，
在所述规定的范围与其他方向相比在特定的方向上较宽的情况下，所述多个中间视点被配置于沿着所述特定的方向的直线上或者平面上。


7.根据权利要求1～5中任一项所述的影像数据生成装置，其特征在于，
所述中间视点影像数据生成部参照表示所述多个输入影像数据所示的各拍摄对象的深度的空间上的变化的大小的指标，所述变化的大小越大，将所述多个中间视点中的在所述至少一维方向上相邻的中间视点间的距离设定得越窄。


8.根据权利要求1～7中任一项所述的影像数据生成装置，其特征在于，
所述中间视点影像数据生成部参照所述多个输入影像数据中的至少任一个，基于拍摄到所述影像的相机的各位置、所述相机的参数、所述多个中间视点的各位置、与所述影像的各拍摄对象相关的场景模型信息，生成所述中间视点影像数据。


9.根据权利要求1～8中任一项所述的影像数据生成装置，其特征在于，
所述中间视点影像数据生成部优先地参照表示具有最接近于从目标中间视点向拍摄对象的方向的光轴的相机所拍摄的影像的输入影像数据，生成表示以所述目标中间视点为视点的所述拍摄对象的影像的所述中间视点影像数据。


10.根据权利要求1～9中任一项所述的影像数据生成装置，其特征在于，
具备：复用部，对所述中间视点影像数据生成部所生成的各个中间视点影像数据进行复用。


11.根据权利要求10所述的影像数据生成装置，其特征在于，
所述复用部对所述中间视点影像数据生成部应用共同的映射而生成的所述各个中间视点影像数据进行复用。


12.根据权利要求10或11所述的影像数据生成装置，其特征在于，
所述复用部对表示以基准方向相同的中间视点为视点的影像的所述各个中间视点影像数据进行复用。


13.根据权利要求10～12中任一项所述的影像数据生成装置，其特征在于，
所述复用部对所述各个中间视点影像数据和分别将所述各个中间视点影像数据与所述多个中间视点建立对应的映射图数据进行复用。


14.根据权利要求10～13...

【专利技术属性】
技术研发人员：山本智幸，池田恭平，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本;JP