图像的处理方法、装置和机器可读介质制造方法及图纸

本申请实施例提供了一种图像的处理方法、装置和机器可读介质，所述的方法包括：获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域；分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理；确定滤波后的全景视频图像。

【技术实现步骤摘要】
图像的处理方法、装置和机器可读介质
本申请涉及图像处理

技术介绍
360度全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此其分辨率往往比常规的平面视频大的多。为了在压缩码率和传输流畅度上取得平衡，可以将360度全景视频映射后编码压缩。目前对于360度全景视频可以采用各种方式进行映射，确定映射的全景视频图像。其中一些方式是分区域映射，有些区域映射像素值多即分辨率高，有些区域映射像素值少即分辨率低。但是，分辨率低的区域在用户终端通过模型重构并且渲染图像时，由于映射得到的像素值少，相应映射图像高频分量就多。
技术实现思路
本申请实施例提供了一种图像的处理方法、装置和机器可读介质，所述的方法包括：获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域；分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理；确定滤波后的全景视频图像。附图说明图1是全景视频在转码端和用户终端的示意图；图2是本申请实施例的一种图像的分区滤波示意图；图3是本申请一种图像的处理装置实施例的结构框图；图4是本申请实施例提供的Pyramid映射的原理示意图；图5是本申请另一种图像的处理装置实施例的结构框图；图6是本申请实施例的另一种图像的分区滤波处理示意图；图7A、图7B、图7C是本申请实施例提供的滤波模板示意图；图8是本申请一个实施例的全景视频图像的处理方法的流程图；图9是本申请另一个实施例的一种图像的处理方法的流程图；图10是本申请另一个实施例的另一种图像的处理方法的流程图；图11是本申请一实施例提供的装置的结构示意图。具体实施方式为使本申请的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本申请作进一步详细的说明。本申请的构思易于进行各种修改和替代形式，其具体实施例已经通过附图的方式示出，并将在这里详细描述。然而，应该理解，上述内容并不是用来将本申请的构思限制为所公开的具体形式，相反地，本申请的说明书和附加权利要求书意欲覆盖所有的修改、等同和替代的形式。本说明书中的“一个实施例”，“实施例”，“一个具体实施例”等，表示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例可以包括或可以不必然包括该特定特征、结构或特性。此外，这样的短语不一定指的是同一实施例。另外，在联系一个实施例描述特定特征、结构或特性的情况下，无论是否明确描述，可以认为本领域技术人员所知的范围内，这样的特征、结构或特性也与其他实施例有关。另外，应该理解的是，“在A，B和C的至少一个”这种形式所包括的列表中的条目中，可以包括如下可能的项目：(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。同样，“A，B或C中的至少一个”这种形式列出的项目可能意味着(A)；(B)；(C)；(A和B)；(A和C)；(B和C)；或(A，B和C)。在一些情况下，所公开的实施例可以被实施为硬件、固件、软件或其任意组合。所公开的实施例也可以实现为携带或存储在一个或多个暂时的或者非暂时的机器可读(例如计算机可读)存储介质中的指令，该指令可以被一个或多个处理器执行。机器可读存储介质可以实施为用于以能够被机器读取的形式存储或者传输信息的存储装置、机构或其他物理结构(例如易失性或非易失性存储器、介质盘、或其他媒体其它物理结构装置)。在附图中，一些结构或方法特征可以以特定的安排和/或排序显示。然而，优选地，这样的具体安排和/或排序并不是必要的。相反，在一些实施方案中，这样的特征可以以不同的方式和/或顺序排列，而不是如附图中所示。此外，特定的附图中的结构或方法特征中所包含的内容，不意味着暗示这种特征是在所有实施例是必须的，并且在一些实施方案中，可能不包括这些特征，或者可能将这些特征与其它特征相结合。全景图像，通常是指符合人的双眼正常有效视角(大约水平90度，垂直70度)或包括双眼余光视角(大约水平180度，垂直90度)以上，乃至360度完整场景范围拍摄的图像。其中，360度全景视频展示的范围非常广，可以覆盖住体验者整个视角，因此360度全景视频是VR(VirtualReality，虚拟现实)领域的一个热点业务，其能够提供给用户一种沉浸式的视频观看体验。如图1所示，为全景视频在转码端和用户终端的处理流程图。其中，转码端建立三维映射模型并进行映射，然后进行二维平面的展开，然后会对展开后的图像进行编码。将编码的全景视频图像发送到用户端，在用户终端可以对图像进行解码，然后可以根据解码图像来重构出和转码端一样的三维映射模型，然后通过这个三维映射模型根据用户的实时观看视角进行输出图像的渲染，从而用户能够观看全景视频。其中，转码端对应设备可包括但不局限于服务器、以及服务端的其他设备。其中，转码端的服务器等设备会基于三维映射模型进行映射，不同的模型对应不同的映射方式，其中有些三维映射模型会基于视角进行分区域的映射，在这类映射的过程中，将给用户的主视角提供最清晰的图像，即该视角的图像分辨率最大，而其他视角的提供分辨率较低的图像。即在逐步远离用户主视角的地方映射分辨率逐步降低，从而导致远离用户主视角的区域映射像素值过少，对应映射图像高频分量增多，使得用户终端通过模型重构并且渲染得到的全景视频图像中，远离用户主视角的部分图像产生很严重的锯齿效应，给用户造成不好的视觉体验。其中，高频分量是对图像边缘和轮廓的度量，形成图像的边缘和细节，即图像中亮度或灰度变化激烈的位置反映在频域上就是高频分量。因此本申请实施例通过自适应滤波来降低映射后在远离用户主视角区域产生的高频图像分量，从而可以减轻用户终端渲染的锯齿效应。参照图2，示出了本申请实施例的一种图像的分区滤波处理示意图。图2是一个映射后的全景视频图像(即二维平面展开图)，该图像中4个三角形区域包围的菱形区域是主视角区域10，三角形区域为副视角区域，即该全景视频图像包括一个主视角区域10和四个副视角区域(即20-50)。转码端的服务器等设备针对副视角区域进行滤波处理，基于副视角区域的高频分量，将所述副视角区域划分出至少两个子区域。以副视角区域20为例，确定该副视角区域20内高频分量的分布，基于高频分量的分布在该副视角区域20的de边的1/4，1/2，3/4处设置a、b、c三点，然后在a、b、c三个点分别作针对df边的平行线，将该副视角区域划分出子区域A-D。由于每个区域中高频分量的多少是不同的，因此对不同子区域要执行不同的滤波处理，因此可以确定出每个子区域的滤波模板，采用相应的滤波模板对子区域进行滤波处理。例如A区域采用5×5的模板进行均值滤波，在B区域采用3×3的模板进行均值滤波，在C区域采用3×3的模板进行高斯滤波，D区域中高频分量相对较小可以不进行滤波。实际处理中还可以采用其他模板进行中值滤波等平滑滤波处理。通过分区域滤波使得包含高频分量的图像得到平滑，确定滤波后的全景视频图像。避免用户终端渲染时出现锯齿效应，提高用户的视觉体验。其中，视角通常为人眼能够看到的范围，本申请实施例中主视角、副视角的范围依据实际需求设定，如依据服务端和/或用户终端的参数确定本文档来自技高网...

【技术保护点】
1.一种方法，其特征在于，包括：获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域；分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理。

【技术特征摘要】
1.一种方法，其特征在于，包括：获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区域；依据所述副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域；分别确定每个子区域的滤波模板，并采用所述滤波模板对子区域分别进行滤波处理。2.根据权利要求1所述的方法，其特征在于，还包括：依据映射过程的采样率，确定所述副视角区域中高频分量的分布信息。3.根据权利要求1所述的方法，其特征在于，所述分布信息包括高频分量的数量。4.根据权利要求1所述的方法，其特征在于，所述依据副视角区域中高频分量的分布信息，将所述副视角区域划分出至少两个子区域，包括：按照所述分布信息对所述副视角区域中目标顶点所在侧边进行划分，依据划分结果将所述副视角区域划分出至少两个子区域，其中，所述目标顶点包括高频分量最高区域所在的顶点。5.根据权利要求1所述的方法，其特征在于，所述分别确定每个子区域的滤波模板，包括：依据子区域中的高频分量，分别确定所述子区域对应的滤波模板，其中，高频分量越多，滤波模板的平滑度越大。6.根据权利要求5所述的方法，其特征在于，所述滤波模板的平滑度依据所述滤波模板的尺寸和强度确定，所述强度依据所述滤波模板的系数确定；当两个滤波模板的尺寸相同时，依据所述滤波模板的系数确定平滑度。7.根据权利要求1所述的方法，其特征在于，采用所述滤波模板对子区域进行以下至少一种滤波处理：高斯滤波、中值滤波、均值滤波、其他低通滤波。8.一种装置，其特征在于，包括：获取模块，用于获取全景视频图像，其中，所述全景视频图像是依据视角映射确定的，所述全景视频图像包括主视角区域和至少一个副视角区...

【专利技术属性】
技术研发人员：盛骁杰，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY