图像处理设备和图像处理方法技术

本公开涉及能够基于二维图像数据和深度图像数据生成具有高精度的三维数据的图像处理设备和图像处理方法。基于第一视点组的二维图像数据和第二视点组的二维图像数据，坐标变换数据生成单元生成用于将第一视点组的第一三维坐标系中的三维位置转换为第二视点组的第二三维坐标系中的三维位置的坐标变换数据。元数据添加单元发送：包括第一视点组的深度图像数据和二维图像数据的编码数据，深度图像数据表示每个像素在成像对象的深度方向上的位置；包括第二视点组的深度图像数据和二维图像数据的编码数据；以及包含由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息。本公开适用于例如合成设备等。

Image processing equipment and image processing methods

The present disclosure relates to an image processing apparatus and an image processing method capable of generating high-precision three-dimensional data based on two-dimensional image data and depth image data. Based on the two-dimensional image data of the first view point group and the two-dimensional image data of the second view point group, the coordinate transformation data generating unit generates coordinate transformation data for converting the three-dimensional position of the first three-dimensional coordinate system into the three-dimensional position in the second three-dimensional coordinate system of the second view point group. The metadata addition unit sends: including the depth image data of the first view point group and the coded data of the two-dimensional image data, the depth image data represents the position of each pixel in the depth direction of the imaging object; the depth image data of the second view group and the coded data of the two-dimensional image data; and the inclusion by the coordinate change. The coordinate transformation information generated by the coordinate generation data generated by the data generation unit is changed. The present disclosure is suitable for example, such as synthetic equipment, etc.

【技术实现步骤摘要】
【国外来华专利技术】图像处理设备和图像处理方法
本公开涉及图像处理设备和图像处理方法，并且具体涉及如下图像处理设备和图像处理方法：通过该图像处理设备和图像处理方法，可以基于二维图像数据和深度图像数据来生成具有高精度的三维数据。
技术介绍
在多视点立体声技术中，设计了一种发送系统，其记录、编码、发送、解码和显示三维数据，该三维数据包括由多个摄像机拍摄的三维对象的三维位置信息和二维图像数据(例如参照非专利文献1)。作为三维数据的编码方法，可以使用MPEG(运动图像专家组)方法等(例如，参见非专利文献2)。此外，设计了一种发送系统，通过该发送系统，多个不同视点的二维图像数据和包括深度的深度图像数据(二者都是从多个摄像机获得的)被记录、编码、发送、解码并原样显示，深度指示图像拍摄对象的深度方向(垂直于图像拍摄平面的方向)上的像素的位置。作为用于编码二维图像数据和深度图像数据的方法，可以使用MVCD(多视点和深度视频编码)方法、AVC(高级视频编码)方法、HEVC(高效视频编码)方法等。引用列表非专利文献非专利文献1MingChuang,PatSweeney,DonGillett,DennisEvseev,DavidCalabrese,HuguesHoppe,AdamKirk,SteveSullivan,“High-QualityStreamableFree-ViewpointVideo,AlvaroCollet,”MicrosoftCorporation非专利文献2MariusPreda,“MPEGGraphicsCompressionModel”MPEGdocument:N9892,May2008
技术实现思路
技术问题然而，在将图像拍摄对象的三维信息作为三维数据发送的情况下，在接收侧需要处理三维数据的高功能的处理单元。此外，在以由多个摄像机获得的二维图像数据和深度图像数据的形式发送图像拍摄对象的三维信息的情况下，虽然便于接收侧的处理，但是视点处的二维图像数据和深度图像数据的三维坐标系有时不同。在这种情况下，不能基于视点的二维图像数据和深度图像数据生成具有高精度的三维数据。鉴于如上所述的这种情况做出了本公开，并且本公开的目的是使得可以基于二维图像数据和深度图像数据生成具有高精度的三维数据。问题的解决方案根据本公开的第一方面的图像处理设备是如下图像处理设备，包括：坐标变换数据生成单元，其基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及发送单元，其发送第一编码数据、第二编码数据以及包括由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。根据本公开的第一方面的图像处理方法对应于本公开的第一方面的图像处理设备。在本公开的第一方面中，基于第一视点的二维图像数据和第二视点的二维图像数据，生成用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据，并且发送第一编码数据、第二编码数据和包括坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。根据本公开的第二方面的图像处理设备是如下图像处理设备，包括：解码单元，其对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置；第一三维位置转换单元，其基于第一视点的第一三维坐标系中的第一摄像机参数以及作为解码单元解码的结果获得的第一视点的二维图像数据和深度图像数据，将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置；以及坐标变换单元，其基于包括用于将第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据的坐标变换信息，将由第一三维位置转换单元转换后的第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。根据本公开的第二方面的图像处理方法和程序对应于本公开的第二方面的图像处理设备。在本公开的第二方面中，对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。然后，基于第一视点的第一三维坐标系中的第一摄像机参数以及作为解码结果获得的第一视点的二维图像数据和深度图像数据，将第一视点的二维图像数据的每个像素的二维位置转换为第一三维坐标系中的三维位置。然后，基于包括用于将第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置的坐标变换数据的坐标变换信息，将第一三维坐标系中的三维位置转换为第二三维坐标系中的三维位置。要注意的是，第一方面和第二方面中的图像处理设备可以通过使计算机执行程序来实现。此外，为了实现第一方面和第二方面的图像处理设备，要由计算机执行的程序可以通过经由发送介质发送程序或通过将程序记录在记录介质上来提供。专利技术的有益效果利用本公开的第一方面，可以执行图像处理。此外，利用本公开的第一方面，可以执行图像处理，使得可以基于二维图像数据和深度图像数据生成具有高精度的三维数据。利用本公开的第二方面，可以执行图像处理。此外，利用本公开的第二方面，可以基于二维图像数据和深度图像数据生成具有高精度的三维数据。要注意的是，这里描述的效果不一定是限制性的，并且可以应用本公开中描述的效果中的任何一个。附图说明[图1]图1是示出应用本公开的发送系统的第一实施例的配置的示例的框图。[图2]图2是示出图1的转换单元的配置的示例的框图。[图3]图3是示出与预定显示图像生成方法对应的多个视点的示例的视图。[图4]图4是示出摄像机相关信息的示例的视图。[图5]图5是示出图1的图像拍摄设备和编码设备的编码处理的流程图。[图6]图6是示出图1的转换单元的第一配置示例的框图。[图7]图7是示出图1的转换单元的第二配置示例的框图。[图8]图8是示出图1的转换单元的第三配置示例的框图。[图9]图9是示出图1的解码设备的解码处理的流程图。[图10]图10是示出应用本公开的发送系统的第二实施例的配置的示例的框图。[图11]图11是示出图10的图像拍摄设备的配置的示例的框图。[图12]图12是示出同步偏差信息的示例的视图。[图13]图13是示出图10的编码设备的配置的示例的框图。[图14]图14是示出图10的图像拍摄设备和编码设备的编码处理的流程图。[图15]图15是示出图10的解码单元的配置的示例的框图。[图16]图16是示出图10的解码设备的解码处理的流程图。[图17]图17是示出应用本公开的发送系统的第三实施例的配置的示例的框图。[图18本文档来自技高网...

【技术保护点】
1.一种图像处理设备，包括：坐标变换数据生成单元，其基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及发送单元，其发送第一编码数据、第二编码数据以及包括由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。

【技术特征摘要】
【国外来华专利技术】2015.11.11 JP 2015-2212351.一种图像处理设备，包括：坐标变换数据生成单元，其基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及发送单元，其发送第一编码数据、第二编码数据以及包括由坐标变换数据生成单元生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。2.根据权利要求1所述的图像处理设备，其中，坐标变换数据由与摄像机的外部参数的表示方法相同的表示方法表示。3.根据权利要求1所述的图像处理设备，其中，第一视点的数量是多个；以及坐标变换数据生成单元针对每个第一视点生成坐标变换数据。4.根据权利要求3所述的图像处理设备，其中，坐标变换信息包括指示所有第一视点的坐标变换数据是否相同的坐标变换公共信息。5.根据权利要求3所述的图像处理设备，其中，在所有第一视点的坐标变换数据相同的情况下，发送单元发送包括指示所有第一视点的坐标变换数据相同的坐标变换公共信息和所有第一视点共同的坐标变换数据的坐标变换信息。6.一种图像处理方法，包括由图像处理设备执行：坐标变换数据生成步骤：基于第一视点的二维图像数据和第二视点的二维图像数据来生成坐标变换数据，坐标变换数据用于将第一视点的第一三维坐标系中的三维位置转换为第二视点的第二三维坐标系中的三维位置；以及发送步骤：发送第一编码数据、第二编码数据以及包括由坐标变换数据生成步骤的处理生成的坐标变换数据的坐标变换信息，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置。7.一种图像处理设备，包括：解码单元，其对第一编码数据和第二编码数据进行解码，第一编码数据是第一视点的二维图像数据和深度图像数据的编码数据，第二编码数据是第二视点的二维图像数据和深度图像数据的编码数据，深度图像数据指示每个像素在图像拍摄对象的深度方向上的位置；第一三维位置转换单元，其基于第一视点的第一三维坐标系中的第一摄像机参...

【专利技术属性】
技术研发人员：田中润一，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP