图像处理设备和图像处理方法技术

本技术涉及在对多个3D对象进行建模时能够减少处理负荷的图像处理设备和图像处理方法。3D重建设备包括3D模型生成部，该3D模型生成部针对每个对象获取指示对象的3D区域的对象空间信息并且针对每个对象空间生成对象的3D模型。例如，本技术可以应用到用于生成3D模型的图像处理设备等。

Image processing equipment and image processing method

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和图像处理方法
本技术涉及图像处理设备和图像处理方法，并且更具体地涉及使得可以减少对多个3D对象进行建模时的处理负荷的图像处理设备和图像处理方法。
技术介绍
针对对三维(3D)对象进行建模已经提出了各种建模技术。例如，PTL1公开了一种建模装置和方法，其中，通过对包围体进行分层建模来提高三维图像的建模速度。此外，例如，PTL2公开了一种三维建模方法，该三维建模方法包括通过使用由多个相机从不同方向获取的多个深度图像来创建三维形状。深度图像是其中到对象的距离信息被存储为像素值的图像。引文列表专利文献PTL1：日本未审查专利申请公开第2007-220121号PTL2：日本未审查专利申请公开第2004-302524号
技术实现思路
本专利技术要解决的问题在对多个3D对象进行建模的情况下，由于处理负荷变大，因此期望减少处理负荷的方法以实现高速建模。鉴于以上情况而进行本技术，并且本技术能够在对多个3D对象进行建模时减少处理负荷。解决问题的手段根据本技术的一方面的图像处理设备包括3D模型生成器，该3D模型生成器针对每个对象获取指示对象的3D区域的对象空间信息并且为每个对象空间生成对象的3D模型。根据本技术的一方面的图像处理方法由图像处理设备来执行，并且该方法包括针对每个对象获取指示对象的3D区域的对象空间信息并且针对每个对象空间生成对象的3D模型。在本技术的一方面中，针对每个对象获取指示对象的3D区域的对象空间信息，并且针对每个对象空间生成对象的3D模型。应当注意，可以通过使计算机执行程序来实现根据本技术的一方面的图像处理设备。为了实现根据本技术的一方面的图像处理设备，通过经由传输介质传输或在记录介质上记录，可以提供要由计算机执行的程序。图像处理设备可以是独立设备或者可以是单个设备中包括的内部块。本专利技术的有益效果根据本技术的一方面，当以高速对多个3D对象进行建模时可以减少处理负荷。应当注意，本文所描述的效果不一定是限制性的，并且可以提供在本公开内容中描述的效果中的任何效果。附图说明[图1]图1是用于说明应用本技术的图像处理系统的概述的图。[图2]图2是用于说明3D模型数据的数据格式的图。[图3]图3是示出应用本技术的图像处理系统的配置示例的框图。[图4]图4是示出根据第一实施方式的3D重建设备的配置示例的框图。[图5]图5是用于说明轮廓图像的生成的图。[图6]图6是示出表示对象的全局位置信息的边界框的图。[图7]图7是用于说明确定对象的3D模型的体素尺寸的方法的图。[图8]图8是用于说明确定对象的3D模型的体素尺寸的方法的图。[图9]图9是用于说明根据第一实施方式的3D重建处理的流程图。[图10]图10是示出根据第一实施方式的3D重建设备的修改示例的框图。[图11]图11是示出根据第二实施方式的3D重建设备的配置示例的框图。[图12]图12是用于说明虚拟相机的视听范围的内部的图。[图13]图13是示出遮挡对象的处理的图。[图14]图14是用于说明根据第二实施方式的3D重建处理的流程图。[图15]图15是示出根据第三实施方式的3D重建设备的配置示例的框图。[图16]图16是用于说明对象的对象ID和全局位置信息的图。[图17]图17是用于说明根据第三实施方式的3D重建处理的流程图。[图18]图18是用于说明根据第一实施方式至第三实施方式的3D重建设备的建模方法的图。[图19]图19是示出应用本技术的图像处理系统的另一配置示例的框图。[图20]图20是用于说明由选择设备执行的处理的图。[图21]图21是用于说明由选择设备执行的处理的图。[图22]图22是示出分发处理的流程图。[图23]图23是示出再现处理的流程图。[图24]图24是示出应用本技术的计算机的配置示例的框图。[图25]图25是示出车辆控制系统的示意性配置的示例的框图。[图26]图26是车外信息检测部和成像部的安装位置的示例的示图。具体实施方式下面描述用于实现本技术的示例(以下将称为实施方式)。将按照以下顺序进行描述。1.图像处理系统的概述2.图像处理系统的配置示例3.根据第一实施方式的3D重建设备4.第一实施方式的修改示例5.根据第二实施方式的3D重建设备6.根据第三实施方式的3D重建设备7.第一实施方式至第三实施方式的总结8.图像处理系统的其他配置示例9.分发处理和再现处理10.以多纹理几何格式以外的数据格式执行传送的情况11.向多个用户进行传送的情况12.计算机配置示例13.应用示例[1.图像处理系统的概述]首先，参照图1和图2，将描述应用本技术的实施方式的图像处理系统的概述。应用了本技术的实施方式的图像处理系统包括：分发侧，其从通过利用多个成像设备成像而获得的拍摄图像生成对象的3D模型并且对该3D模型进行分发；再现侧，其接收从分发侧传送的3D模型并且再现并显示3D模型。在分发侧，通过利用多个成像设备从其外围对预定的拍摄空间进行成像来获得多个拍摄图像。拍摄图像包括例如运动图像。如图1所示，拍摄空间可以是室外(例如足球场)，也可以是室内。每个成像设备包括距离测量设备，并且除了能够测量被摄体(subject)的纹理信息之外，还能够测量到被摄体的距离。此外，从来自不同方向的多个成像设备获得的拍摄图像和多条距离信息用于生成为拍摄空间中的显示目标的对象的多个3D模型。出于以下原因，对象的3D模型生成被称为3D模型重建：针对单个对象根据由多个成像设备获得的多个拍摄图像和距离信息总结出重叠区域的纹理信息和距离信息；以及通过补充由另一成像设备获得的纹理信息和距离信息来重建在一个成像设备中成为盲点的区域的纹理信息和距离信息。在图1中，例如，在足球场的场地中设置了拍摄空间的示例中，通过布置在作为场地的外围的支架侧上的多个成像设备来对场地上的运动员等成像。通过重建3D模型，例如，将场地上的运动员、裁判、足球等提取为对象，并且为每个对象生成(重建)3D模型。通过利用所述多个成像设备进行成像而获得的拍摄图像被存储在预定存储设备中。通过使用存储在存储设备中的不同方向的多个拍摄图像来获得每个对象的3D模型的数据(下文也称为3D模型数据)。稍后将参照图2描述3D模型数据的数据格式。响应于来自再现侧的请求来传送存在于拍摄空间中的大量对象中的一个或更多个对象的(一个或更多个)3D模型，并且将该(一个或更多个)3D模型再现并显示在再现侧上。再现侧还可以从存在于拍摄空间中的大量对象中仅请求视听目标的对象，并且使显示设备显示该对象。例如，再现侧假设其中视听者本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：/n3D模型生成器，其针对每个对象获取指示对象的3D区域的对象空间信息，并且针对每个对象空间生成对象的3D模型。/n

【技术特征摘要】
【国外来华专利技术】20170822 JP 2017-1594571.一种图像处理设备，包括：
3D模型生成器，其针对每个对象获取指示对象的3D区域的对象空间信息，并且针对每个对象空间生成对象的3D模型。


2.根据权利要求1所述的图像处理设备，其中，所述3D模型生成器基于对所述对象进行成像的成像设备和所述对象的位置信息，确定所述对象的3D模型的参数。


3.根据权利要求2所述的图像处理设备，其中，所述3D模型生成器基于下述成像设备和所述对象的位置信息来确定所述参数：在对所述对象进行成像的多个成像设备中，该成像设备最接近要生成所述3D模型的对象。


4.根据权利要求1所述的图像处理设备，其中，所述对象的3D模型通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，并且通过点云或多边形网格来表示所述对象的几何信息。


5.根据权利要求4所述的图像处理设备，其中，在从成像设备到所述对象的距离在预定阈值以内的情况下，所述3D模型生成器通过多边形网格表示所述对象的几何信息，并且在所述距离大于所述预定阈值的情况下，通过点云表示所述对象的几何信息。


6.根据权利要求2所述的图像处理设备，其中，从所述成像设备到所述对象的距离越近，所述3D模型生成器设置越小的体素尺寸。


7.根据权利要求1所述的图像处理设备，其中，所述3D模型生成器基于用户的视听信息和所述对象的位置信息确定所述对象的3D模型的参数。


8.根据权利要求7所述的图像处理设备，其中，
所述用户的视听信息是指示基于虚拟相机的视点的用户的视听范围的视听范围信息，并且
所述3D模型生成器生成被包括在所述用户的视听范围中的所述对象的3D模型。


9.根据权利要求8所述的图像处理设备，其中，
所述对象的3D模型通过从多个方向捕获的多个纹理图像来表示所述对象的颜色信息，并且通过点云或多边形网格来表示所述对象的几何信息，并且
对于所述用户的关注程度低的对象，所述3D模型生成器通过点云表示所述对象的几何信息。


10.根据权利要求8所述的图像处理设备，其中，所述3D模型生成器对所述用户的关注程度较高的对象设置较小的体素尺寸。

...

【专利技术属性】
技术研发人员：小林刚也，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP