影像生成装置、影像拍摄装置、影像拍摄系统、影像生成方法、控制程序以及记录介质制造方法及图纸

本发明专利技术提供一种在拍摄被拍摄体并生成该被拍摄体的三维影像的装置中，即使在拍摄刚开始后，也能生成没有缺损区域的三维影像的技术。影像生成装置(1)具备：深度信息获取部(5)，获取表示显示对象的三维形状的深度信息；以及三维影像生成部(7)，参考所述深度信息，以及在生成所述三维影像的处理开始前预先准备的、整体性地表示所述显示对象的三维形状的初始参考模型，来生成所述三维影像。

Image generating device, image capturing device, image capturing system, image generating method, control program and recording medium

【技术实现步骤摘要】
【国外来华专利技术】影像生成装置、影像拍摄装置、影像拍摄系统、影像生成方法、控制程序以及记录介质
本专利技术涉及一种生成表示显示对象的三维形状的三维影像的影像生成装置。
技术介绍
作为现有技术，已知一种被称作DynamicFusion(动态融合)的技术。DynamicFusion的目的主要在于构筑根据拍摄深度实时地去除噪声的3D模型。在DynamicFusion中，将从传感器所获取的深度在补偿了3D形状的变形的基础上整合为共同的参考模型。由此，能根据低分辨率以及高噪声的深度生成精密的3D模型。更详细而言，在DynamicFusion中，进行以下的(1)～(3)的工序。(1)基于输入深度(currentdepth)和基准3D模型(canonicalmodel)来估计摄像机位置以及运动流，构筑3D模型(currentmodel)。(2)将3D模型与视点相匹配地进行渲染(rendering)，将更新后的深度作为再现深度输出。(3)将在(1)中构筑的3D模型在补偿了3D模型的摄像机位置以及3D模型的变形的基础上整合为基准3D模型。作为生成三维影像的技术的其他的示例，在专利文献1中公开了一种虚拟视点影像装置。该虚拟视点影像装置生成从虚拟视点观察到的对象物的深度映射图，基于该深度映射图，按每个构成从虚拟视点拍摄对象物时的影像的像素，生成表示能否从多个视点观测对象物的判定图像，基于该判定图像来修正深度映射图。此外，作为生成三维影像的技术的另一个示例，在专利文献2中公开了一种对象三维模型复原装置。该对象三维模型复原装置基于一台RGB摄像机所拍摄的图像和一台深度摄像机所拍摄的图像来合成自由视点影像。现有技术文献专利文献专利文献1：日本公开专利公报“日本特开2015-45920号公报(2015年3月12日公开)”专利文献2：日本公开专利公报“日本特开2016-71645号公报(2016年5月9日公开)”
技术实现思路
专利技术要解决的问题使用上述的DynamicFusion，基于各时刻的深度信息来合成参考模型和实时模型(livemodel)，由此能生成动态的三维影像。但是，在存在不包括于作为基础的深度信息中的被拍摄体的区域的情况下，则对应的参考模型的区域没有被填充，因此三维影像成为在此区域开有孔的影像(例如，相对于获取深度的拍摄装置成为相反的面，或成为谷部的部位等。需要说明的是，以下，将像这样在三维影像中缺损一部分影像的区域称为“缺损区域”)。此外，在DynamicFusion中，使用各时刻的深度信息逐渐形成参考模型，因此在拍摄刚开始后的三维影像成为缺损区域多的影像。本专利技术是鉴于上述的问题点而完成的专利技术，其目的在于提供一种在拍摄被拍摄体并生成该被拍摄体的三维影像的装置中，即使在拍摄刚开始后，也能生成没有缺损区域的三维影像的技术。技术方案为了解决上述的问题，本专利技术的一个方案的影像生成装置生成显示对象的三维影像，该影像生成装置具备：深度信息获取部，获取表示所述显示对象的三维形状的深度信息；以及三维影像生成部，参考所述深度信息，以及在生成所述三维影像的处理开始前预先准备的、整体性地表示所述显示对象的三维形状的初始参考模型，来生成所述三维影像。为了解决上述的问题，本专利技术的一个方案的影像生成方法生成显示对象的三维影像，该影像生成方法包括：深度信息获取工序，获取表示所述显示对象的三维形状的深度信息；以及三维影像生成工序，参考所述深度信息，以及在生成所述三维影像的处理开始前预先准备的、整体性地表示所述显示对象的三维形状的初始参考模型，来生成所述三维影像。专利技术效果根据本专利技术的一个方案，在拍摄被拍摄体并生成该被拍摄体的三维影像的装置中，即使在拍摄刚开始后，也能生成没有缺损区域的三维影像。附图说明图1是表示本专利技术的实施方式1的影像拍摄装置的构成的框图。图2是对基于本专利技术的实施方式1的影像拍摄装置的影像生成方法的概略进行说明的流程图。图3是更详细地说明图2所示的初始参考模型生成方法的流程图。图4是更详细地说明图2所示的三维影像生成方法的流程图。图5是表示本专利技术的实施方式2的影像拍摄装置的构成的框图。图6是表示本专利技术的实施方式3的影像拍摄系统的概略图。图7是表示本专利技术的实施方式3的影像拍摄系统的构成的框图。图8是对基于本专利技术的实施方式3的影像拍摄系统的影像生成方法的一个示例进行说明的流程图。图9是表示本专利技术的实施方式4的影像拍摄系统的构成的框图。图10是对基于本专利技术的实施方式4的影像拍摄系统的影像生成方法的一个示例进行说明的流程图。图11是表示本专利技术的实施方式5的影像拍摄系统的构成的框图。图12是对基于本专利技术的实施方式5的影像拍摄系统的影像生成方法的一个示例进行说明的流程图。图13是表示本专利技术的实施方式6的影像拍摄系统的构成的框图。具体实施方式以下，对本专利技术的实施方式进行详细说明。但是，本实施方式所记载的构成只要没有特别特定的记载，就不意味着将本专利技术的范围仅限定于此，只不过是说明例。〔实施方式1〕(影像拍摄装置1)参考图1对本实施方式的影像拍摄装置1进行详细说明。图1是表示本实施方式的影像拍摄装置1的构成的框图。如图1所示那样，影像拍摄装置1具备影像生成装置2以及拍摄装置3。此外，影像生成装置2具备拍摄开始判定部4、深度信息获取部5、初始参考模型合成部6(初始参考模型生成部)、三维影像合成部7以及拍摄结束判定部8。拍摄装置3拍摄显示对象，生成该显示对象的深度信息。需要说明的是，本申请说明书中的术语“显示对象”是表示由拍摄装置3拍摄的对象，此外，表示影像生成装置2基于拍摄装置3通过该拍摄生成的深度信息而生成三维影像的对象。此外，本申请说明书中的术语“深度信息”是表示从拍摄装置3通过拍摄显示对象而得到的拍摄数据导出的、与从拍摄装置3到显示对象的深度相关的信息。影像生成装置2的拍摄开始判定部4通过感测拍摄开始的触发，判定为开始显示对象的拍摄，经由深度信息获取部5对拍摄装置3指示开始拍摄。深度信息获取部5基于拍摄开始判定部4的拍摄开始的指示，从拍摄装置3获取深度信息。初始参考模型合成部6参考由深度信息获取部5获取的深度信息，合成(生成)初始参考模型。需要说明的是，本申请说明书中的术语“初始参考模型”是指在生成显示对象的三维影像的处理开始前预先准备的、整体性地表示显示对象的三维形状的三维模型信息。三维影像合成部7参考由初始参考模型合成部6合成的初始参考模型，以及由深度信息获取部5获取的深度信息，合成显示对象的三维影像。需要说明的是，本申请说明书中的术语“三维影像”是表示示出显示对象的三维形状的影像，该影像可以是静止图像或运动图像。作为三维影像的示例，可以列举出参考模型、基于该参考模型和刚获取的深度信息而生成的实时模型，以及以从任意的视点的位置观察的方式渲染本文档来自技高网...

【技术保护点】
1.一种影像生成装置，生成显示对象的三维影像，所述影像生成装置的特征在于，具备：/n深度信息获取部，获取表示所述显示对象的三维形状的深度信息；以及/n三维影像生成部，参考所述深度信息，以及在生成所述三维影像的处理开始前预先准备的、整体性地表示所述显示对象的三维形状的初始参考模型，来生成所述三维影像。/n

【技术特征摘要】
【国外来华专利技术】20170927 JP 2017-1868521.一种影像生成装置，生成显示对象的三维影像，所述影像生成装置的特征在于，具备：
深度信息获取部，获取表示所述显示对象的三维形状的深度信息；以及
三维影像生成部，参考所述深度信息，以及在生成所述三维影像的处理开始前预先准备的、整体性地表示所述显示对象的三维形状的初始参考模型，来生成所述三维影像。


2.根据权利要求1所述的影像生成装置，其特征在于，还具备：
初始参考模型生成部，参考所述深度信息生成所述初始参考模型，其中，
所述三维影像生成部参考所述初始参考模型生成所述三维影像。


3.根据权利要求1或2所述的影像生成装置，其特征在于，还具备：
初始参考模型存储部，存储所述初始参考模型，其中，
所述三维影像生成部参考所述初始参考模型生成所述三维影像。


4.一种影像拍摄装置，其特征在于，具备：
权利要求1至3中任一项所述的影像生成装置；和
拍摄装置，拍摄所述显示对象，生成所述深度信息。


5.根据权利要求4所述的影像拍摄装置，其特征在于，还具备：
初始条件设定部，设定与所述显示对象的拍摄的开始或结束相关的初始条件、与所述深度信息的获取相关的初始条件以及与所述三维影像的生成相关的初始条件中的至少一个以上。


6.根据权利要求4或5所述的影像拍摄装置，其特征在于，还具备：
三维影像确认部，参考所述三维影像，确认所述...

【专利技术属性】
技术研发人员：池田恭平，德毛靖昭，山本智幸，
申请(专利权)人：夏普株式会社，
类型：发明
国别省市：日本;JP