图像处理装置和图像处理方法制造方法及图纸

本公开内容涉及一种可以即时显示用户的视场范围的图像的图像处理装置和图像处理方法。编码器以高分辨率对每个面的全方位图像——包括从每个方向上的图像生成的立方体的多个面的图像——进行编码以生成与每个面对应的高分辨率编码流。编码器以低分辨率对全方位图像进行编码以生成低分辨率编码流。本公开内容可以应用于例如生成全方位图像并显示用户的视场范围的图像的图像显示系统。

【技术实现步骤摘要】
【国外来华专利技术】图像处理装置和图像处理方法
本公开内容涉及图像处理装置和图像处理方法。更具体地，本公开内容涉及用于即时显示用户的视场的图像的图像处理装置和图像处理方法。
技术介绍
存在如下记录装置：通过将在水平方向上具有360度并且在垂直方向上具有180度的图像映射到二维(2D)图像(面图像)，根据多相机设备捕获的全方位图像来生成天球图像，所生成的天球图像被编码和记录(例如参见PTL1)。上述类型的记录装置在生成天球图像时使用诸如等距圆柱投影或立方体映射的方法，通过该方法，三维(3D)图像被映射到2D图像。在使用等距圆柱投影作为用于生成天球图像的方法的情况下，天球图像是通过从捕获图像映射到球体表面的等距圆柱投影形成的球体图像。在使用立方体映射作为用于生成天球图像的方法的情况下，天球图像是面被映射有捕获图像的规则六面体(立方体)的扩展面。同时，存在如下再现装置，其对由记录装置记录的天球图像的编码流进行解码，并且使用通过解码获得的天球图像来显示用户视场的图像。这种再现装置将天球图像贴到诸如球体或立方体的3D模型上作为其表面上的纹理。然后，再现装置显示通过从3D模型中的单个点沿用户的视线矢量的方向观看3D模型的表面上的纹理而获得的用户的视场的图像。这就是如何再现在用户的视场中的捕获图像。在计算机图形学领域(CG)中，上述的再现方法被称为环境光模型。其中球体表面贴有由等距圆柱投影生成的图像的环境光模型被称为球体模型。其中立方体表面贴有由立方体映射生成的图像的环境光模型被称为立方体模型。可以使用仅与用户的视线矢量对应的天球图像的特定区域来再现用户的视场中的捕获图像。例如，如果在水平方向上的视角为90度，则沿水平方向映射有360度的全方位图像的天球图像的仅四分之一被用于再现在用户的视场中的捕获图像。这也适用于垂直方向。因此，对整个天球图像的编码流进行解码通常是浪费的过程。然而，由于视线矢量由用户确定，所以记录装置无法对仅与视线矢量对应的天球图像的特定区域进行编码。如果通过诸如运动图像专家组2阶段(MPEG2)或高级视频编码(AVC)/H.264的常用编码方法对天球图像进行编码，则使用关于整个屏幕的信息进行编码。因此，难以从将天球图像表示为单个图像的编码流中对仅与用户的视线矢量对应的区域的编码流进行解码。因此，已经提出，记录装置使天球图像在被编码时被划分，并且再现装置对仅与用户的视线矢量对应的图像的划分区域的编码流进行解码，以便减少解码处理的负担(例如，PTL2和PTL3)。引用列表专利文献[PTL1]JP2006-14174A[PTL2]JP2001-298652A[PTL3]JP2002-312778A
技术实现思路
技术问题然而，诸如MPEG2或AVC的常用编码方法涉及在编码中使用按时间顺序的关联。这意味着除了在可随机访问的位置诸如在图像组(GOP)开始时、在即时解码刷新(IDR)图像中或在随机接入点处之外，不可能切换要被解码的对象的编码流。由于数据压缩的效率随可随机访问的位置之间的间隔越长而增加，因此难以充分缩短可随机访问的位置之间的间隔。因此，如果用户的视线矢量突然改变，则无法使用与改变的视线矢量对应的天球图像的区域来即时显示用户的视场的图像。因此，可能保持显示不变的视场的图像，或者可能不显示改变的视场的图像的一部分。鉴于上述情况作出本公开内容。因此，本公开内容的目的是即时显示用户的视场的图像。问题的解决方案根据本公开内容的第一方面，提供了一种图像处理装置，所述图像处理装置包括：第一编码部，被配置成对由根据全方位图像生成的多个面的图像形成的模型的第一天球图像进行编码，以生成与面中的每个面对应的第一编码流，所述编码以第一分辨率被逐面地执行；以及第二编码部，被配置成以第二分辨率对根据全方位图像生成的第二天球图像进行编码以生成第二编码流。根据本公开内容的第一方面的图像处理方法对应于根据本公开内容的第一方面的图像处理装置。根据本公开的第一方面，由根据全方位图像生成的多个面的图像形成的模型的第一天球图像被划分成面并且被以第一分辨率逐面地编码，以生成与面中的每个面对应的第一编码流，并且根据全方位图像生成的第二天球图像被以第二分辨率编码以生成第二编码流。根据本公开内容的第二方面，提供了一种图像处理装置，所述图像处理装置包括：解码部，被配置成：对于通过将由根据全方位图像生成的多个面的图像形成的模型的第一天球图像划分成面并以第一分辨率逐面地对图像编码而生成的第一编码流以及通过以第二分辨率对根据全方位图像生成的第二天球图像进行编码而生成的第二编码流，以第一分辨率对与每对相对的面中的一个面对应的第一编码流进行解码以生成相应面的第一天球图像。根据本公开内容的第二方面的图像处理方法对应于根据本公开内容的第二方面的图像处理装置。根据本公开的第二方面，对于通过将由根据全方位图像生成的多个面的图像形成的模型的第一天球图像划分成面并以第一分辨率逐面地对图像进行编码而生成的第一编码流以及通过以第二分辨率对根据全方位图像生成的第二天球图像进行编码而生成的第二编码流，以第一分辨率对与每对相对的面中的一个面对应的第一编码流进行解码以生成相应面的第一天球图像。根据本公开内容的第一方面和第二方面的图像处理装置可以各自由执行程序的计算机来实现。根据本公开内容的第一方面和第二方面的由计算机执行以实现图像处理装置的程序可以经由传输介质发送或者在被提供时被记录在记录介质上。根据本公开内容的第一方面和第二方面的图像处理装置可以各自是独立装置或者构成单个装置的一个或更多个内部块。专利技术的有益效果根据本公开内容的第一方面，对天球图像进行编码。同样根据本公开内容的第一方面，可以生成用于即时显示用户视场的图像的编码流。根据本公开内容的第二方面，对天球图像的编码流进行解码。同样根据本公开内容的第二方面，可以即时显示用户视场的图像。上述有益效果并不限于本公开内容。从接下来的描述中，本公开内容的另外的优点将变得明显。附图说明[图1]图1是示出了作为3D模型的立方体的透视图。[图2]图2是示出了通过立方体映射生成的典型天球图像的示意图。[图3]图3是示出了通过使用图2中的天球图像生成的用户的视场的典型图像的示意图。[图4]图4是示出了图2的天球图像中的像素分布的示意图。[图5]图5是示出了作为3D模型的球体的透视图。[图6]图6是示出了通过等距圆柱投影生成的典型天球图像的示意图。[图7]图7是示出了通过使用图6中的天球图像生成的用户的视场的典型图像的示意图。[图8]图8是示出了图6中的天球图像中的像素分布的示意图。[图9]图9是示出了作为本公开内容的第一实施方式的图像显示系统的典型配置的框图。[图10]图10是示出了图9中包括的内容服务器的典型结构的框图。[图11]图11是示出了图10中包括的编码器的典型结构的框图。[图12]图12是说明了由图10中的内容服务器执行的编码处理的流程图。[图13]图13是示出了图9中包括的本地服务器的典型结构的框图。[图14]图14是示出了图13中包括的解码器的典型结构的框图。[图15]图15是示出了图13中的解码器的典型操作时序的时序图。[图16]图16是说明了由图13中包括的映射处理部生成的立方体图像的示意图。[图17]图17是示出了用户的典型视场本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：第一编码部，被配置成对根据全方位图像生成的由模型的多个面的图像形成的第一天球图像进行编码，以生成与所述面中的每个面对应的第一编码流，所述编码以第一分辨率被逐面地执行；以及第二编码部，被配置成以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码以生成第二编码流。

【技术特征摘要】
【国外来华专利技术】2015.03.05 JP 2015-043613;2015.06.12 JP 2015-119141.一种图像处理装置，包括：第一编码部，被配置成对根据全方位图像生成的由模型的多个面的图像形成的第一天球图像进行编码，以生成与所述面中的每个面对应的第一编码流，所述编码以第一分辨率被逐面地执行；以及第二编码部，被配置成以第二分辨率对根据所述全方位图像生成的第二天球图像进行编码以生成第二编码流。2.根据权利要求1所述的图像处理装置，其中，通过不同的方法生成所述第一天球图像和所述第二天球图像。3.根据权利要求2所述的图像处理装置，其中，通过立方体映射生成所述第一天球图像，并且通过等距圆柱投影生成所述第二天球图像。4.根据权利要求1所述的图像处理装置，其中，所述第一编码部被配置成以如下方式生成所述第一编码流：相对的面的对的第一编码流的可随机访问位置同步。5.根据权利要求4所述的图像处理装置，其中，所述第一编码部被配置成以如下方式生成所述第一编码流：所述第一编码流被布置成闭合的图像组结构。6.根据权利要求1所述的图像处理装置，还包括：转换部，被配置成将所述第二天球图像的分辨率转换成所述第二分辨率。7.根据权利要求1所述的图像处理装置，还包括：存储部，被配置成存储所述第一编码流和所述第二编码流。8.根据权利要求7所述的图像处理装置，还包括：传送部，被配置成将存储在所述存储部中的所述第一编码流和所述第二编码流传送至对所述第一编码流和所述第二编码流进行解码的终端。9.根据权利要求1所述的图像处理装置，其中，所述第一编码部被配置成根据高级视频编码/H.264标准或高效视频编码/H.265标准生成所述第一编码流，并且所述第二编码部根据高级视频编码/H.264标准或高效视频编码/H.265标准生成所述第二编码流。10.一种图像处理方法，包括：通过图像处理装置进行的第一编码步骤：对根据全方位图像生成的由模型的多个面的图像形成的第一天球图像进行编码，以生成与所述面中的每个面对应的第一编码流，所述编码以第一分辨率逐面地执行；以及通过所述图像处理装置进行的第二编码步骤：以第二分辨率对根据所述全方位...

【专利技术属性】
技术研发人员：泉伸明，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本,JP