一种全景图像处理方法及装置制造方法及图纸

本发明专利技术公开了一种全景图像处理方法及装置。从码流中提取格式信息，根据格式信息使用特殊的映射关系将解码的全景图像中的位置映射到球面上的位置，解码的全景图像中至少包括一个区域满足所述的特殊映射关系。本发明专利技术可以使解码的全景图像中的区域相对于球面分布更均匀，提高了表达效率，降低了转换失真。本发明专利技术在设计全景图像处理方法的同时，还设计了相应的装置。

A panoramic image processing method and device

【技术实现步骤摘要】
一种全景图像处理方法及装置
本专利技术涉及全景图像处理领域，特别涉及全景图像处理方法及装置。
技术介绍
360°全景图像指空间中一个观察点四周所有的场景，由这个观察点所能接收到的所有光线构成，球面可以描述观察点四周的所有场景。。由于球面图像难以存储以及目前的图像编解码器是针对普通的非全景图像设计的，对于球面图像的编码效果不够理想，所以需要将球面图像通过投影转换为全景图像格式，常见的投影格式有经纬图、六面体等。对于不同格式的全景图像可以采用现有的普通非全景图像的编码方式进行编码，例如HEVC、AVS2、AV1等，也可以针对不同的格式使用局部调整后的编码方法。经纬图采样如图1所示，球面上的点可以用其所在的经度和纬度θ表示。将球面映射到坐标系下一个宽高比为2:1的矩形，然后对这个矩形进行均匀采样。经纬图格式在高纬度区域存在过采样和图像纹理拉伸过度问题。如图2所示，六面体利用中心投影将球面投影到立方体的六个面上，然后在六面体上均匀采样。相对于经纬图六面体在球面上的采样更加均匀，编码效率更高，但由于中心投影的特性，立方体每个面的角落会比中心区域的采样密度更高，对应到球面来看，球面的采样均匀性不够。确定球面和全景图像中的位置映射关系之后，可以对全景图像中进行采样，生成每个像素点位置的像素值，再对全景图像进行编解码；也可以利用球面和全景图像中的位置映射关系，进行全景图像的格式转换，可以将经纬图格式转换为六面体或者其他格式。
技术实现思路
本专利技术针对现有技术的不足，提出了一种新的全景图像处理方法及装置。对于相同的面积，六面体格式下每个面的中心区域比边角区域对应到球面上的区域范围大，这导致了在球面的采样不均匀，六面体边角区域有冗余信息，降低了表达效率。本专利技术的主要思想是通过调整全景图像和球面在不同位置的伸缩关系，使得全景图像中的每一纬度上的单位间隔在球面上尽可能的等弧长，从而减少六面体投影下边角区域的信息冗余，提高表达效率。为此，本专利技术采用如下技术方案：本专利技术第一目的是提供一种全景图像处理方法，包括：从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置的映射关系，所述映射关系为：x和成线性关系，y和成线性关系，其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。作为优选，所述全景图像格式信息为以下情况之一：1)所述格式信息为格式编号，且该格式编号默认地指定了解码的全景图像中所述区域的第一维坐标的方向；2)所述格式信息包含格式编号以及解码的全景图像中所述区域的第一维坐标的方向信息。本专利技术第二个目的是提供一种全景图像处理方法，包括如下步骤：全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置的映射关系为：x和成线性关系，y和成线性关系，其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；对采用所述映射关系表达的所述全景图像进行编码并写入码流；将所述映射关系的格式信息也写入所述码流。作为优选，所述全景图像格式信息为以下情况之一：1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。本专利技术第三个目的在于提供一种全景图像处理方法，包括：从码流中解码获得全景图像编码格式信息；解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置的映射关系，所述映射关系为：x1和成线性关系，y1和成线性关系，x2和成线性关系，y2和成线性关系，其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面纬度位置；x2表示所述的全景图像中所述区域2的第一维坐标位置，y2表示所述的全景图像中所述区域2的第二维坐标位置，表示所述图像区域2中的位置(x2,y2)对应的球面的经度位置，θ2表示所述的全景图像中所述区域2中的位置(x2,y2)对应的球面纬度位置；所述区域1的第一维坐标轴映射到球面上的线与所述区域2的第一维坐标轴映射到球面上的线为同一条线、且为所述球面的赤道线。本专利技术第四个目的在于提供一种全景图像处理装置，包括以下模块：格式信息提取模块：其输入为编码码流，输出为全景图像格式信息，该模块从所述编码码流中解码获得所述的全景图像格式信息；位置映射模块：其输入为所述全景图像格式信息，输出为所述码流的解码全景图像中至少一个区域中的位置(x,y)与球面上的位置的映射关系，所述映射关系为：x和成线性关系，y和成线性关系，其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述的全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线。作为优选，所述全景图像格式信息为以下情况之一：1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。本专利技术第五个目的在于提供一种全景图像处理装置，包括以下模块：位置映射模块：其输出为全景图像格式信息，在该模块内确定全景图像中至少一个区域中的位置(x,y)和球面上的位置的映射关系为：x和成线性关系，y和成线性关系，其中，x表示所述全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到球面上的线为赤道线，第二维坐标轴映射到所述球面上的线为零经度线；格式信息及图像编码模块：其输入为所述的全景图像格式信息以及采用所述格式信息确定的映射关系表达的全景图像，输出为包含所述全景图像及其格式信息的码流，该模块将所述全景图像和所述的格式信息编码并写入码流。作为优选，所述全景图像格式信息为以下情况之一：1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。与现有技术相比，本专利技术通过设计特殊的球面和全景图像位置映射关系，使得全景图像中的每一维度上的单位间隔在球面上尽可能的等弧长，全景图像在球面的分布更加均匀，提高了表达的球面均匀性、同样采样样本数的情况下降低采样损失、提高了编码效率。附图说明结合附图，可从下面举出的实施例来对本专利技术的原理进行解释本文档来自技高网...

【技术保护点】
1.一种全景图像处理方法，其特征在于，包括：从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置

【技术特征摘要】
1.一种全景图像处理方法，其特征在于，包括：从码流中解码获得全景图像编码格式信息；由所述格式信息确定从码流中解码的全景图像中的至少一个区域中的位置(x,y)和球面上的位置的映射关系，所述映射关系为：x和成线性关系，y和成线性关系，其中，x表示所述的解码全景图像中所述区域的第一维坐标位置，y表示所述解码全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线。2.根据权利要求1中的全景图像处理方法，其特征还在于，所述格式信息为以下情况之一：1)所述格式信息为格式编号，且该格式编号默认地指定了解码的全景图像中所述区域的第一维坐标的方向；2)所述格式信息包含格式编号以及解码的全景图像中所述区域的第一维坐标的方向信息。3.一种全景图像处理方法，其特征在于包括如下步骤：全景图像中至少存在一个图像区域采用以下映射关系进行表达，所述图像区域的位置(x,y)和球面上的位置的映射关系为：x和成线性关系，y和成线性关系，其中，x表示所述的全景图像中所述区域的第一维坐标位置，y表示所述全景图像中所述区域的第二维坐标位置，表示所述球面的经度位置，θ表示所述球面的纬度位置，第一维坐标轴映射到所述球面上的线为赤道线,第二维坐标轴映射到所述球面上的线为零经度线；对采用所述映射关系表达的所述全景图像进行编码并写入码流；将所述映射关系的格式信息也写入所述码流。4.根据权利要求3中的全景图像处理方法，其特征还在于，所述格式信息为以下情况之一：1)所述格式信息为格式编号，且该格式编号默认地指定了全景图像中所述区域的第一维坐标的方向；2)所述格式信息包含格式编号以及全景图像中所述区域的第一维坐标的方向信息。5.一种全景图像处理方法，其特征在于，包括：从码流中解码获得全景图像编码格式信息；解码的全景图像中至少存在一对相邻的区域——区域1和区域2，由所述格式信息确定所述的区域1中的位置(x1,y1)和区域2中的位置(x2,y2)与其各自对应到球面上的位置的映射关系，所述映射关系为：x1和成线性关系，y1和成线性关系，x2和成线性关系，y2和成线性关系，其中：x1表示所述的全景图像中所述区域1的第一维坐标位置，y1表示所述图像区域1的第二维坐标位置，表示所述的全景图像中所述区域1中的位置(x1,y1)对应的球面经度位置，θ1表示所述的全景图像中所述区域1中的位置(x1,y1)对...

【专利技术属性】
技术研发人员：虞露，皇甫旭昶，孙宇乐，郑蕤荻，王彬，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33