金字塔模型的处理方法和装置、图像编码方法和装置制造方法及图纸

本申请实施例提供了一种金字塔模型的处理方法和装置、图像编码方法和装置，其中的方法具体包括：根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。本申请实施例可以有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。

【技术实现步骤摘要】
金字塔模型的处理方法和装置、图像编码方法和装置
本申请涉及图像处理
，特别是涉及一种金字塔模型的处理方法、一种金字塔模型的处理装置、一种图像编码方法和一种图像编码装置。
技术介绍
全景视频指的是超过一般视野的广角视频内容，例如，环形/柱形360度视频可以提供360度的视野。全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此能够很好地提高视觉体验。目前，为了实现全景视频的传输，现有方案可以在发送端对全景视频进行转码，相应的转码过程可以包括：将全景视频图像映射至三维模型，将包含映射图像的三维模型展开为二维平面图像，并对该二维平面图像进行编码，以得到编码流；这样，接收端在接收到编码流后，可以对该编码流进行解码，以从中恢复出二维平面图像，并按照与发送端相应的方法，依据该二维平面图像进行三维模型的重构，进而利用重构得到的三维模型进行输出图像的渲染。专利技术人在实施本申请实施例的过程中发现，现有方案在三维模型的重构过程中容易出现图像的不连续性问题，这将导致输出图像的渲染过程中产生缝隙效应，从而影响用户对于输出图像的观看体验。
技术实现思路
本申请实施例所要解决的技术问题是提供一种金字塔模型的处理方法，能够有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。相应的，本申请实施例还提供了一种金字塔模型的处理装置、一种图像编码方法和一种图像编码装置，用以保证上述方法的实现及应用。为了解决上述问题，本申请公开了一种金字塔模型的处理方法，包括：根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。本申请公开了一种图像编码方法，包括：根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；对滤波处理后的平面图像进行编码，以得到对应的编码流。本申请公开了一种金字塔模型的处理装置，包括：平面图像确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。本申请公开了一种图像编码装置，包括：确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；划分模块，用于依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；滤波模块，用于采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；编码模块，用于对滤波处理后的平面图像进行编码，以得到对应的编码流。本申请公开了一种设备，其特征在于，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质，当由所述一个或多个处理器执行时，使得所述设备执行前述一个或多个所述的方法。本申请公开了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得设备执行前述一个或多个所述的方法。与现有技术相比，本申请实施例包括以下优点：本申请实施例中，由于上述第二图像能够将所述三维模型侧面的多个图像对应的高频区域进行集聚，因此可以提高上述多个目标图像对应的多个第一映射图像在重构得到的目标三维模型中的连续性；进而因此能够有效降低输出图像的渲染过程中产生的缝隙效应，进而提升用户对于输出图像的观看体验。附图说明图1是示出了现有的一种三维模型的结构示意图；图2是现有的一种三维模型的展开过程示意图；图3是现有的一种二维平面图形的示意图；图4是本申请一个实施例提供的一种全景视频在转码端和终端设备的处理流程图；图5是本申请一个实施例提供的全景视频图像的处理方法的步骤流程图；图6是本申请的一种圆柱展开图像的获取过程示意；图7是本申请的一种预置三维模型的结构示意图；图8、图9分别是基于图7所示预置三维模型建立第一映射关系的过程示意；图10是本申请的一种平面图像的示意图；图11是本申请的另一种平面图像的示意；图12是本申请一个实施例提供的一种确定全景视频图像对应的平面图像的方法的步骤流程图；图13是本申请的一种被定位至三维坐标系的预置三维模型的示意；图14是本申请的一种包含投影图形的预置三维模型的示意；图15是本申请的一种第一夹角和第二夹角的示意；图16是本申请另一实施例提供的全景视频图像的处理方法的步骤流程图；图17A、图17B、图17C是本申请实施例提供的滤波模板的示意图；图18是本申请再一实施例提供的全景视频图像的处理方法的步骤流程图；图19是本申请一实施例提供的图像编码方法的步骤流程图；图20是本申请一个实施例提供的一种全景视频图像的处理装置实施例的结构框图；图21是本申请另一实施例提供的一种全景视频图像的处理装置实施例的结构框图；图22是本申请一个实施例提供的一种图像编码装置实施例的结构框图；图23是本申请一实施例提供的设备的硬件结构示意图；以及图24是本申请另一实施例提供的设备的硬件结构示意图。具体实施方式为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此全景视频是VR(VirtualReality，虚拟现实)领域的一个热点业务，其能够提供给用户一种沉浸式的视频观看体验。参照图4，示出了本申请一个实施例提供的一种全景视频在转码端和终端设备的处理流程图，全景视频在转码端和在终端设备的处理是对称的。其中，转码端可以建立预置三维模型，依据平面图像与预置三维模型的表面所包含的映射图像之间的第一映射关系、以及所述映射图像与全景视频图像之间的第二映射关系，确定全景视频图像对应的平面图像，并对所述全景视频图像对应的平面图像进行编码，以得到对应的编码流；进一步，转码端可以向终端设备发送该编码流，终端设备可以对接收到的编码流进行解码，以得到平面图像；然后可以根据该平面图像重构出与转码端相匹配的目标三维模型，并依据该目标三维模型进行输出图像的渲染，具体地，可以根据用户的实时观看视角，通过该目标三维模型进行输出图像的渲染，因此使得用户可观看全景视频。本申请实施例中，终端设备可用于表示具有多媒体功能的终端设备，这些设备可以支持全景视频图像的显示功能和/或全景视频的播放功能。可选地，该终端设备可以包括但不限于：台式计算机、膝上型便携计算机、智能电视机、智能移动终端设备等，其中，该智能移动终端设备可以包括：智能手机、平板电脑、智能穿戴设备、VR设备等。本申请实施例提供了一种全景视频本文档来自技高网...

【技术保护点】
1.一种金字塔模型的处理方法，其特征在于，包括：根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。

【技术特征摘要】
1.一种金字塔模型的处理方法，其特征在于，包括：根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。2.根据权利要求1所述的方法，其特征在于，所述根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，包括：将所述三维模型侧面的多个图像对应的高频区域进行集聚，以得到第二图像。3.根据权利要求2所述的方法，其特征在于，所述将所述三维模型侧面的多个图像对应的高频区域进行集聚，包括：将所述三维模型侧面的多个图像进行压缩处理，以得到对应的多个子图像；对所述多个子图像进行组合，得到的第二图像中至少部分子图像相邻。4.根据权利要求1至3中任一所述的方法，其特征在于，所述三维模型底面的图像形状包括：正方形。5.根据权利要求1至3中任一所述的方法，其特征在于，所述第一图像和第二图像的形状相同。6.根据权利要求1至3中任一所述的方法，其特征在于，所述第二图像包括：四个分别对应三维模型四个侧面的子图像。7.根据权利要求6所述的方法，其特征在于，所述子图像的形状包括：等腰直角三角形。8.根据权利要求6所述的方法，其特征在于，所述子图像为对三维模型的一个侧面图像进行压缩得到。9.根据权利要求1至3中任一所述的方法，其特征在于，所述三维模型底面的图像包括：用户主视角对应的图像。10.一种图像编码方法，其特征在于，包括：根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接；依据所述全景视频图像到所述三维模型的下采样率，从所述第二图像中划分出至少两个子区域；采用所述子区域对应的滤波模板对所述子区域分别进行滤波处理；对滤波处理后的平面图像进行编码，以得到对应的编码流。11.根据权利要求10所述的方法，其特征在于，所述从所述第二图像中划分出至少两个子区域，包括：以目标顶点为参考点，沿下采样率从高到低的方向，对所述第二图像进行划分，以得到至少两个子区域；其中，所述目标顶点包括高频分量最高区域所在的顶点。12.根据权利要求10或11所述的方法，其特征在于，所述第二图像和所述子区域的形状均为正方形，所述子区域的数量为4。13.根据权利要求12所述的方法，其特征在于，所述4个子区域对应正方形的边长相对于所述第二图像对应正方形的边长的比例分别为：1/4、2/4、3/4和4/4。14.根据权利要求10或11所述的方法，其特征在于，通过如下步骤确定所述子区域对应的滤波模板：依据子区域对应的下采样率，确定所述子区域对应的滤波模板，其中，下采样率越高，滤波模板的平滑度越大。15.根据权利要求14所述的方法，其特征在于，所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。16.一种金字塔模型的处理装置，其特征在于，包括：平面图像确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面的多个图像映射得到的第二图像，所述第一图像和所述第二图像的一条边邻接。17.根据权利要求16所述的装置，其特征在于，所述平面图像确定模块包括：集聚子模块，用于将所述三维模型侧面的多个图像对应的高频区域进行集聚，以得到第二图像。18.根据权利要求17所述的装置，其特征在于，所述集聚子模块包括：压缩单元，用于将所述三维模型侧面的多个图像进行压缩处理，以得到对应的多个子图像；组合子单元，用于对所述多个子图像进行组合，得到的第二图像中至少部分子图像相邻。19.一种图像编码装置，其特征在于，包括：确定模块，用于根据全景视频图像对应的三维模型，确定所述全景视频图像对应的平面图像，其中：所述平面图像包括：根据所述三维模型底面的图像映射得到的第一图像，以及，根据所述三维模型侧面...

【专利技术属性】
技术研发人员：盛骁杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY