一种面向VR自适应传输的投影算法制造技术

本发明专利技术属于自适应传输技术领域，具体为一种面向VR自适应传输的投影算法。本发明专利技术设计的投影算法包括：引入平移因子的立方体投影，将ERP全景图投影至立方体表面，生成6个正方形投影图；对主视面和后面使用投影主视面像素密度调整，减少边缘冗余像素，再经压缩得到投影后图像；对侧面使用像素密度调整的侧面压缩方法，调整像素分布，压缩像素数量，生成最终的投影全景图。本发明专利技术算法，投影主视面FOV可以根据需要进行调整，增大了算法的灵活性；使得像素向中心聚集，改善投影面边缘冗余像素问题，提升图像质量；在减少像素冗余的同时，可提高图像质量过渡的平滑性。

【技术实现步骤摘要】
一种面向VR自适应传输的投影算法
本专利技术属于自适应传输
，具体涉及一种面向VR自适应传输的投影算法。
技术介绍
VR(AdaptiveStreaming)自适应传输技术，利用率VR视频观看特点，其采用非均匀质量传输VR图像，通过降低用户FOV(FieldofView)以外的画面质量，减少冗余像素，在保证观看体验的情况下可以有效减少系统带宽消耗。自适应传输的一种方案是采用投影算法将质量均匀的ERP全景图像投影到一种特定的形状的多面体上，通过不同方向上投影面积的不同，使得投影后的全景图像在各个方向上具有不同的像素密度，以实现非均匀质量的自适应传输。投影算法的优劣直接决定了最终VR自适应传输的观看质量，因此具有十分重要的意义。
技术实现思路
本专利技术的目的在于提供一种面向VR自适应传输的投影算法，以提升自适应传输性能。本专利技术提供的面向VR自适应传输的投影算法，在现有TSP投影算法[1]的基础上，引入平移因子和像素密度调整技术，有效增强算法的灵活性和图像质量，具体步骤为：S01，引入平移因子的立方体投影，将ERP全景图投影至立方体表面，生成6个正方形投影图。S02，对主视面(FOV)(即前面)和后面使用投影主视面像素密度调整，减少边缘冗余像素，再经压缩得到投影后图像。S03，对侧面使用像素密度调整的侧面压缩方法(3)，调整像素分布，压缩像素数量，生成最终的投影全景图。步骤S01中，具体流程为：S0101，使用立方体作为投影图像，初始状态下其中心位于三维空间直角坐标系(左手系)原点处。其中，x轴正方向所指平面为投影主视面(即前面)，x轴负方向所指平面为后面，其余平面均为侧面；S0102，引入平移因子s，将立方体整体向x轴负方向移动s后进行投影，使得调整后主视面FOV大小为用户观看FOV的1.2倍，以获得更加鲁棒的传输效果，主视面FOV与平移因子s关系如下；FOV＝2*tan-1((1-s)-1)(1)步骤S02中，具体流程为：S0201，对投影后图像的主视面(前面)和后面，使用像素密度调整函数对图像进行调整。将投影面中心置于平面直角坐标原点处，横纵坐标均位于[-1,1]。根据针对立方体投影算法优化的ACP[2]算法，对横纵坐标分别施加如式(2)所示调整函数，得到调整后投影图像：S0202，对于后面，按照1/4比例下采样得到压缩后图像。步骤S03中，具体流程为：S0301，对投影后图像的侧面，在水平和垂直方向上使用不同的调整方法。为使用相同的函数描述横纵坐标上的像素调整，将投影面在水平方向首先进行变换，使其横坐标位于[0,1]，纵坐标仍位于[-1,1]。此时像素密度调整函数如下：S0302，调整后的侧面图像还需要进行像素压缩，对于水平方向上进行3/16的下采样，垂直方向上需要根据其横坐标进行不同等级的下采样。与现有技术相比，本专利技术具有以下优点：(1)本专利技术增加了平移因子，使得投影主视面FOV可以根据需要进行调整，增大了算法的灵活性。(2)本专利技术引入像素密度调整函数，有效改善了投影面边缘的像素冗余问题，提升了图像质量。(3)本专利技术使用的侧面像素密度调整方法，使得侧面与主视面衔接处具有更高的像素密度，避免了图像画面的断崖式下降，增加了图像质量过渡的平滑性。附图说明图1为本实施例的目标投影图参数。图2为本实施例立方体投影各面坐标系。图3为本实施例像素密度调整函数图像。图4为本实施例立方体投影平移因子。图5为本实施例立方体投影平移因子对主视面FOV的影响。图6为本专利技术方法流程图示。具体实施方式下面结合附图和具体实施例对本专利技术作进一步说明。但本专利技术的保护范围不限于下述的实施例。实施例图1展示了本算法投影变换过程和详细参数，立方体的正面为用户FOV方向保持原大小不变。反面按照边长缩小为原本的1/4进行下采样，上下左右四个面则按照正面和反面的相应比例进行缩放，得到四个梯形。最后对得到的6个面按照图1右侧所示方式进行排列，构成一个宽高比2：1的规则矩形图像。由目标投影全景图出发，寻找其各像素点与立方体各点的关系即可求得本算法的投影映射矩阵，完成投影算法，构建投影映射矩阵的具体过程如下：(1)目标全景图到立方体各面变换按照图1中坐标数据，TSP全景图内任意点可以用归一化到[0,1]的横纵坐标(u,v)表示。根据6个平面划分规则，下表给出了任意坐标(u,v)归属于各个平面内的判断依据，以及从每个平面坐标(u,v)到立方体投影各平面坐标(u',v')的二维坐标变换。(2)带像素密度调整的立方体映射立方体投影格式是通过将球面内容投影在立方体模型上后将各个面展开，然后拼接为矩形的一种投影方式，各面坐标系如图2所示。立方体投影使用一个正方体包裹视野球，并将图像投影在6个平面上。由于立方体模型具有极好的对称性，所以在与球面进行相互投影的过程中可以大大降低计算复杂度，并且面与面之间的投影关系是一致的。所引入主视面和侧面的像素密度调整，可以在本阶段完成。均使用如下函数作为调整函数，其函数图像如图3所示。经像素密度调整函数修正过的不同投影面的变换关系如下表所示。投影面xyz0x＝1y＝Adjust(1-2u‘)z＝Adjust(1-2v‘)1x＝-1y＝Adjust(2u‘-1)z＝Adjust(1-2v‘)2x＝1-2Adjust(1-v‘)y＝Adjust(1-2u‘)z＝13x＝1-2Adjust(u‘)y＝-1z＝Adjust(1-2v‘)4x＝1-2Adjust(1-u‘)y＝1z＝Adjust(1-2v‘)5x＝1-2Adjust(v‘)y＝Adjust(1-2u‘)z＝-1(3)平移因子调整为实现可调整的主视面投影FOV，在TSP投影基础上，增加了一个平移因子s，以微小的改动扩展了TSP算法的灵活性。如图4，平移因子将原本用于投影的立方体向x轴负方向平移s。当立方体向x轴负方向平移后，其主视面(前面)对应的FOV会相应增大，而背面对应的FOV会相应减小。如图5所示，实际上平移后的立方体可以等效成一个未平移的棱台，通过调整平移因子大小可以灵活控制主视面FOV大小。进一步可以计算出主视面FOV与平移因子s的关系如下。FOV＝2*tan-1((1-s)-1)将平移因子施加至投影算法中，只需要对(2)计算出的三维直角坐标x减去s即可完成计算，即最终得到的投影映射坐标为(x-s，y，z本文档来自技高网...

【技术保护点】
1.一种面向VR自适应传输的投影算法，其特征在于，在现有TSP投影算法基础上，引入平移因子和像素密度调整技术，以有效增强算法的灵活性和图像质量，具体步骤为：/nS01，引入平移因子的立方体投影，将ERP全景图投影至立方体表面，生成6个正方形投影图；/nS02，对主视面和后面使用投影主视面像素密度调整，减少边缘冗余像素，再经压缩得到投影后图像；/nS03，对侧面使用像素密度调整的侧面压缩方法，调整像素分布，压缩像素数量，生成最终的投影全景图。/n

【技术特征摘要】
1.一种面向VR自适应传输的投影算法，其特征在于，在现有TSP投影算法基础上，引入平移因子和像素密度调整技术，以有效增强算法的灵活性和图像质量，具体步骤为：
S01，引入平移因子的立方体投影，将ERP全景图投影至立方体表面，生成6个正方形投影图；
S02，对主视面和后面使用投影主视面像素密度调整，减少边缘冗余像素，再经压缩得到投影后图像；
S03，对侧面使用像素密度调整的侧面压缩方法，调整像素分布，压缩像素数量，生成最终的投影全景图。


2.根据权利要求1所述的面向VR自适应传输的投影算法，其特征在于，步骤S01的具体流程为：
S0101，使用立方体作为投影图像，初始状态下其中心位于三维空间直角坐标系原点处；其中，x轴正方向所指平面为投影主视面，x轴负方向所指平面为后面，其余平面均为侧面；
S0102，引入平移因子s，将立方体整体向x轴负方向移动s后进行投影，使得调整后主视面FOV大小为用户观看FOV的1.2倍，以获得更加鲁棒的传输效果，主视面FOV与平移因子s关系如下；
FOV＝2...

【专利技术属性】
技术研发人员：吴俊，胡蝶，徐跃东，赵嵩源，刘典，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31