本公开涉及生成装置和生成方法以及再现装置和再现方法，利用上述装置和方法可以使使用全向图像生成的所有视线方向上的显示图像的图像质量接近相等。降分辨率单元使全向图像的分辨率降低。透视投影单元将映射到三维模型的全向图像投影到多个二维平面，从而生成多个图像。本公开可以应用于例如下述生成装置等，该生成装置等用于根据在六个方向上拍摄的图像生成全向图像并且生成该全向图像的低分辨率流和高分辨率流。
【技术实现步骤摘要】
【国外来华专利技术】生成装置和生成方法以及再现装置和再现方法
本公开涉及生成装置、生成方法、再现装置以及再现方法。更具体地，本公开涉及用来使在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀的生成装置、生成方法、再现装置以及再现方法。
技术介绍
一种再现全向图像的方法涉及将图像映射到3D模型以进行透视投影，从而在观看者的视线方向上的视野范围内生成并显示显示图像。全向图像是通过将水平方向上的360度的周围图像和竖直方向上的180度的周围图像映射到3D模型上而获得的。该方法在生成显示图像时使用全向图像的仅一部分。例如，在水平方向上的视角为90度的情况下，在水平方向上仅使用整个全向图像的四分之一来生成显示图像。这以类似的方式适用于竖直方向。因此，用于生成显示图像的全向图像的区域相对于整个全向图像的比例较小。然而，由于观看者的视线方向是由该观看者在再现时指定的，因此记录装置难以仅记录整个全向图像的将被用于生成显示图像的那部分。出于此原因，已经期望通过下述方式减小要从记录装置传送至再现装置的全向图像数据量：将整个全向图像记录在记录装置上，并且允许再现装置请求记录装置仅发送要被用于生成显示图像的图像区域。因此，已经提出了下述内容：将全向图像划分成多个区域，其中每个区域被转成编码流，以使得仅将期望的划分区域的编码流从记录装置传送至再现装置(例如，参见专利文献1)。还提出了下述内容：将低分辨率的整个全向图像与高分辨率的全向图像的被划分的且部分交叠的区域分开编码，并且将整个低分辨率全向图像的编码流和仅与观看者的视线方向对应的高分辨率全向图像的划分区域的编码流从记录装置传送至再现装置(例如，参见专利文献2)。在前述情况下，记录装置仅需要传送高分辨率全向图像的划分区域之中用于生成显示图像的一个区域。与传送高分辨率全向图像的所有划分区域的情况相比，这转变为减少的传送数据量。在使用除了与所传送的编码流对应的高分辨率全向图像的划分区域以外的划分区域来生成显示图像的情况下，或者在观看者的视线方向突然改变的情况下，也可以使用低分辨率全向图像来生成显示图像。此外，在全向图像被划分为许多区域的情况下或者在跨越全向图像的边缘的区域被设定为划分区域的一部分的情况下，可以增大用于生成显示图像的高分辨率全向图像相对于整个全向图像的比例。引用列表专利文献专利文献1JP2001-298652A专利文献2JP2016-15705A
技术实现思路
技术问题然而，在通过下述等距圆柱投影生成全向图像的情况下，全向图像的区域在球体上越接近极点(如地球仪的北极和南极)形状就越失真，所述等距圆柱投影涉及将水平方向上的360度的周围图像和竖直方向上的180度的周围图像映射到球体上。例如，全向图像的矩形区域在被映射在球体上的极的附近时各自失真成扇形。因此，高分辨率全向图像中的相同形状和相同大小的划分区域在透视投影平面上的形状或大小可以根据划分区域在全向图像中所处的位置而变化。因此，高分辨率全向图像的划分区域在显示图像中的比例可以根据实际的视线方向而不同。难以在所有视线方向上生成图像质量都接近均匀的显示图像。鉴于上述情况提出了本公开，并且本公开旨在使在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀。问题的解决方案根据本公开的第一方面，提供了一种生成装置，其包括：降分辨率转换部，其被配置成对全向图像进行降分辨率转换；以及投影部，其被配置成通过将映射到3D模型上的全向图像投影在多个二维平面上来生成多个图像。根据本公开的第一方面的生成方法对应于根据本公开的第一方面的生成装置。因此，根据本公开的第一方面，全向图像经降分辨率转换并被映射到3D模型上。然后该全向图像被投影在多个二维平面上以生成多个图像。根据本公开的第二方面，提供了一种再现装置，其包括：接受部，其被配置成接受通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像、以及已经经降分辨率转换的全向图像；以及描绘部，其被配置成至少基于接受部接受的图像或经降分辨率转换的全向图像来生成显示图像。根据本公开的第二方面的再现方法对应于根据本公开的第二方面的再现装置。因此，根据本公开的第二方面，通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像与已经经降分辨率转换的全向图像一起被接受。然后，至少基于由接受部接受的图像或经降分辨率转换的全向图像来生成显示图像。顺便提及，根据本公开的第一方面的生成装置和根据本公开的第二方面的再现装置可以各自通过使计算机执行合适的程序来实现。此外，用于使计算机实现根据本公开的第一方面的生成装置和根据本公开的第二方面的再现装置的程序可以经由传输介质来传送或者在提供有记录介质时被记录在该记录介质上。专利技术的有益效果根据本公开的第一方面，图像被生成。此外，根据本公开的第一方面，使得在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀。根据本公开的第二方面，图像被再现。此外，根据本公开的第二方面，使得在所有视线方向上通过使用全向图像而生成的显示图像的图像质量接近均匀。要注意的是，以上概述的有利效果并非对本公开的限制。通过阅读本公开，其他优点将变得明显。附图说明[图1]图1是说明球体上的全向图像如何失真的说明图。[图2]图2是描绘作为应用本公开的第一实施方式的分发系统的典型配置的框图。[图3]图3是描绘图2所示的生成装置的典型配置的框图。[图4]图4是描绘二维平面的第一示例的示意图。[图5]图5是说明高分辨率图像的说明图。[图6]图6是指示用于第一实施方式的二维平面表的典型结构的表格图。[图7]图7是说明由图3所示的生成装置执行的生成处理的流程图。[图8]图8是描绘图2所示的分发服务器和再现装置的典型配置的框图。[图9]图9是说明图8所示的映射处理部如何执行映射的说明图。[图10]图10是描绘典型的显示图像的示意图。[图11]图11是说明由图8所示的再现装置执行的再现处理的流程图。[图12]图12是描绘二维平面的第二示例的示意图。[图13]图13是说明生成全向图像的典型方法的说明图。[图14]图14是描绘其他典型的低分辨率图像的示意图。[图15]图15是说明投影平面坐标系的说明图。[图16]图16是说明切向轴投影的说明图。[图17]图17是说明透视投影和切向轴投影中的投影点的说明图。[图18]图18是描绘通过透视投影生成的高分辨率图像上的全向图像的典型像素的示意图。[图19]图19是描绘通过切向轴投影生成的高分辨率图像上的全向图像的典型像素的示意图。[图20]图20是描绘通过透视投影和切向轴投影生成的高分辨率图像上的全向图像的其他典型像素的示意图。[图21]图21是指示用于本公开的第二实施方式的二维平面表的典型结构的表格图。[图22]图22是描绘计算机的典型硬件配置的框图。[图23]图23是描绘车辆控制系统的典型整体配置的框图。[图24]图24是描绘安装外部信息检测部和成像部的典型位置的说明图。具体实施方式以下描述的是本公开的前提条件和用于实现本公开的优选模式(以下称为实施方式)。要注意的是，将按照下述标题给出描述：0.本公开的先决条件(图1)1.第一实施方式：分发系统(图2至图14)2.第二实施方式：分发系统(图1本文档来自技高网...
【技术保护点】
1.一种生成装置，包括：降分辨率转换部，被配置成对全向图像进行降分辨率转换；以及投影部，被配置成通过将映射到3D模型上的所述全向图像投影在多个二维平面上来生成多个图像。
【技术特征摘要】
【国外来华专利技术】2016.05.13 JP 2016-097360;2016.07.20 JP 2016-142281.一种生成装置，包括：降分辨率转换部，被配置成对全向图像进行降分辨率转换；以及投影部，被配置成通过将映射到3D模型上的所述全向图像投影在多个二维平面上来生成多个图像。2.根据权利要求1所述的生成装置，还包括：低分辨率编码部，被配置成通过对由所述降分辨率转换部进行降分辨率转换的全向图像进行编码来生成低分辨率流；高分辨率编码部，被配置成通过对由所述投影部生成的多个图像中的每个图像进行编码来生成高分辨率流；以及传送部，被配置成传送由所述低分辨率编码部生成的低分辨率流和由所述高分辨率编码部生成的高分辨率流。3.根据权利要求2所述的生成装置，其中，所述传送部传送指示所述多个二维平面的位置的二维平面信息。4.根据权利要求1所述的生成装置，其中，相邻的所述二维平面上的图像彼此部分交叠。5.根据权利要求1所述的生成装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线。6.根据权利要求1所述的生成装置，其中，经过所述多个二维平面的中心的法线是经过立方体的每个边的中点并且经过所述立方体的中心的线、以及经过所述立方体的每个面的中心并且经过所述立方体的中心的线。7.根据权利要求1所述的生成装置，其中，所述全向图像由来自左眼视点的全向图像和来自右眼视点的全向图像构成，所述降分辨率转换部通过打包经降分辨率转换的、所述来自左眼视点的全向图像和所述来自右眼视点的全向图像来生成低分辨率打包图像，以及所述投影部通过在所述多个二维平面中的每个平面上打包来自左眼视点和右眼视点的下述多个图像来生成高分辨率打包图像，该多个图像是通过将映射到所述3D模型上的所述来自左眼视点的全向图像和所述来自右眼视点的全向图像中的每个投影在所述多个二维平面上而生成的。8.一种生成方法，包括使生成装置进行下述步骤：降分辨率转换步骤，用于对全向图像进行降分辨率转换；以及投影步骤，用于通过将映射到3D模型上的所述全向图像投影在多个二维平面上来生成多个图像。9.一种再现装置，包括：接受部，被配置成接受通过将映射到3D模型上的全向图像投影在多个二维平面上而生成的多个图像中的至少一个图像以及已经经降分辨率转换的所述全向图像；以及描绘部，被配置成至少基于由所述接受部接受的所述图像或者经降分辨率转换的所述全向图像来生成显示图像。10.根据权利要求9...
【专利技术属性】
技术研发人员：泉伸明，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。