一种筛选子块图像与处理单元的方法及装置制造方法及图纸

本发明专利技术公开了一种筛选子块图像与处理单元的方法及装置。该发明专利技术用于多媒体领域中，从多视点子块拼接图像的码流中解码提取子块图像或处理单元，对子块图像或处理单元进行筛选，通过提取子块图像或处理单元相关信息和目标图像相关信息，判决该子块图像或处理单元与目标图像是否存在区域重叠，如果存在区域重叠，就使用子块图像或处理单元中的像素进行渲染得到部分的目标图像，否则，不进行渲染。本发明专利技术给出的方法在不降低渲染目标图像的质量下，可以有效降低渲染计算时间。本发明专利技术在提出一种筛选子块图像和处理单元的方法的同时，还提出了相应的装置。

【技术实现步骤摘要】
一种筛选子块图像与处理单元的方法及装置
本专利技术专利属于子块图像处理领域，具体涉及一种多视点子块拼接图像在进行目标图像渲染前，进行子块图像和处理单元筛选的方法和装置。
技术介绍
“沉浸感”作为一种主观评价，是指观看者对多媒体系统建立、显示出来的虚拟场景的感知代入感。随着采集设备和显示设备的能力逐年增强，沉浸式媒体作为一种能够带给观看者强沉浸感的视觉多媒体，其编码、传输和渲染已经成为了工业界和科学界的研究热点。随着沉浸式媒体支持观看自由度的增加，其带给观看者的视觉沉浸感得到明显增强。在三维空间下，观看者的观看自由度最多支持6个自由度，包括沿三维空间X,Y,Z轴平移和分别绕三个轴旋转。目前，观看者可以在限定空间(平移自由度受限)中任意移动位置、改变朝向来观看场景，从而获得交互感和运动视差，形成更强的视觉沉浸感。为了支持有限空间的6自由度观看场景，沉浸式媒体需要渲染限定空间中任意位置、任意朝向的目标内容。多视点图像加深度信息是一种有效的沉浸式媒体表达方式，它由多个视点的纹理图像以及各纹理图像对应的深度图像组成。利用基于深度图像的视点合成技术，该表达方式可以根据目标图像的相机参数以及目标视点和已有视点的位置关系渲染得到目标视点的图像。但是由于多个视点之间一般存在较大的信息冗余，编码传输所有多视点源图像会造成编解码的代价很大。多视点子块拼接图像有效地解决了上述问题。在编解码之前，通过分析多个视点之间的几何纹理关系，利用主视点(多视点图像中的某些包含完整视点信息的图像)图像尽可能剔除其他视点的冗余信息，因此除了主视点外的其他视点图像只保留特有的有效信息。考虑到编码效率，子图有效信息的保留一般用矩形区域表示，这样就形成多个矩形子块图像，最后将多个子块图像拼接成多视点子块拼接图像，如图1所示。经过上述操作后，需要编码传输的图像数据量能大大减少。对于解码端，利用解码得到的子块图像信息，从解码得到的多视点子块拼接图像中提取所有子块图像。其中，所述的子块图像信息至少包括：子块图像的宽度、高度、子块图像的左上角像素在多视点拼接图像中的位置和子块图像的左上角像素在源视点图像中的位置。目标图像合成是以子块图像为单位进行投影计算的。对于每个子块图像，利用子块图像所属单视点图像的相机参数和目标图像的相机参数关系，进行目标图像渲染，其中相机参数中的相机内参包括焦距、主点坐标和坐标轴倾斜参数，这些参数包含在下式的内参矩阵中。任意两个视点V1,V2间对应像素的视点间位置关系如下公式所示：其中，utarget,vtarget是目标视点V1中像素点的坐标位置，uref,vref是参考视点V2中像素点的坐标位置,是目标视点V1的相机内参矩阵,是参考视点V2的相机内参矩阵,R和t表示参考视点V2处的相机坐标与目标视点V1处的相机坐标旋转平移关系,zref是参考视点V2中像素点对应的深度值,ztarget是目标视点V1中像素点对应的深度值,最后对所有投影到目标图像的子块纹理信息进行融合处理，合成目标图像。与传输完整数量的多视点源图像相比，在相同码率下，目标图像的合成质量能得到显著的提升。在实际的图像处理系统中，解码端的处理时间是衡量该系统是否可行的关键参数。而目前基于子块图像的目标图像合成依然有可改进优化的空间。多视点子块拼接图像中所有的子块图像联合描述了整个场景信息。而在观看者观看视角域有限的约束下，观看的每帧目标图像只覆盖部分的全部视角场景内容，这就会出现某个子块图像对于合成目标图像完全无信息贡献，如图2所示，子块图像2的内容渲染后与目标图像完全没有区域覆盖，这些对目标视点无贡献子块图像的逐像素投影计算增加了无效的计算负担。
技术实现思路
为了解决上述技术问题，本专利技术提出了一种筛选子块图像和处理单元的方法及装置。在每个子块图像或处理单元进行目标图像渲染前，添加预筛选过程，在目标视点观看位置和已有视点偏离距离和角度不大，子块图像或处理单元的大小所占视角范围不大，水平竖直一般小于90度，目标图像为非全景、有限视野范围的图像的前提下，用子块图像内的一定数量的代表点以及深度范围来描述子块图像或处理单元包含的场景范围，通过这些代表点落在目标图像上的情况来判决是否使用该子块图像或处理单元进行图像渲染，只对有效的子块图像或处理单元进行预渲染。这样节省了进行图像渲染的子块图像或处理单元数量，在不改变目标图像的合成质量的同时，降低了渲染计算时间。本专利技术的第一目的是提供筛选子块图像的方法，包括如下内容：对于多视点子块拼接图像中的至少一个子块图像，从码流中获取该子块图像的宽度信息width、高度信息height、该子块图像在多视点子块拼接图像中的位置信息、该子块图像在源视点图像中的位置信息和该子块图像所属源视点图像的相机参数，其中相机参数包括相机朝向、相机位置坐标、相机内参；获取目标图像的宽度信息width_o、高度信息height_o和相机参数；获得所述子块图像的两个深度参数：z_near_new和z_far_new，其中两参数值的关系满足z_near_new≤z_far_new；利用所述源视点图像的相机参数和目标图像的相机参数，对子块图像四个边界顶点结合深度信息所得一组空间代表点(xi,yi,zi)进行投影，得到目标图像中的N个代表点；其中N为空间代表点的数量，i为0到N-1的整数；根据所得到的目标图像中的N个代表点的位置坐标(xoi,yoi)，预判决该子块图像与目标图像是否存在区域重叠；如果存在区域重叠，使用子块图像中的像素进行渲染得到部分的目标图像，否则，不使用该子块图像进行渲染。进一步的，满足以下任一条件,则预判决子块图像与目标图像存在区域重叠：(1)投影到目标图像的N个代表点都在目标图像左边界左侧；(2)投影到目标图像的N个代表点都在目标图像右边界右侧；(3)投影到目标图像的N个代表点都在目标图像上边界上侧；(4)投影到目标图像的N个代表点都在目标图像下边界下侧。进一步的，所述N为8。进一步的，所述子块图像的两个深度参数z_near_new和z_far_new的确定方法为以下方法之一种：(1)从码流中解码得到源视点图像的最近深度值z_near和源视点图像的最远深度值z_far，所述子块图像的z_near_new等于z_near，所述子块图像的z_far_new等于z_far；(2)所述子块图像的z_near_new等于该子块图像的最近深度值，所述子块图像的z_far_new等于该子块图像的最远深度值。进一步的，所述子块图像的最近深度值和所述子块图像的最远深度值的确定方法为以下方法之一种：(1)从码流中直接解码得到所述子块图像的最近深度值和最远深度值；(2)在解码重构的深度图像中，所述子块图像的所有像素中距离该子块所属的源视点最近的像素的深度值为所述子块的最近深度值；所述子块图像的所有像素中距离该子块所属的源视点最远的像素的深本文档来自技高网...

【技术保护点】
1.一种筛选子块图像方法，其特征在于，包括：/n对于多视点子块拼接图像中的至少一个子块图像，从码流中获取该子块图像的宽度信息width、高度信息height、该子块图像在多视点子块拼接图像中的位置信息、该子块图像在源视点图像中的位置信息和该子块图像所属源视点图像的相机参数，其中相机参数包括相机朝向、相机位置坐标、相机内参；/n获取目标图像的宽度信息width_o、高度信息height_o和相机参数；/n获得所述子块图像的两个深度参数：z_near_new和z_far_new，其中z_near_new≤z_far_new；/n利用所述源视点图像的相机参数和目标图像的相机参数，对子块图像四个边界顶点结合z_near_new和z_far_new所得N个空间代表点(x

【技术特征摘要】
20191001 CN 20191094607131.一种筛选子块图像方法，其特征在于，包括：
对于多视点子块拼接图像中的至少一个子块图像，从码流中获取该子块图像的宽度信息width、高度信息height、该子块图像在多视点子块拼接图像中的位置信息、该子块图像在源视点图像中的位置信息和该子块图像所属源视点图像的相机参数，其中相机参数包括相机朝向、相机位置坐标、相机内参；
获取目标图像的宽度信息width_o、高度信息height_o和相机参数；
获得所述子块图像的两个深度参数：z_near_new和z_far_new，其中z_near_new≤z_far_new；
利用所述源视点图像的相机参数和目标图像的相机参数，对子块图像四个边界顶点结合z_near_new和z_far_new所得N个空间代表点(xi,yi,zi)进行投影，得到目标图像中的N个代表点；其中，N为空间代表点的数量，i为0到N-1的整数；
根据所得到的目标图像中的N个代表点的位置坐标(xoi,yoi)，预判决该子块图像与目标图像是否存在区域重叠；
如果存在区域重叠，使用子块图像中的像素进行渲染得到部分的目标图像，否则，不使用该子块图像进行渲染。


2.根据权利要求1所述的一种筛选子块图像的方法，其特征在于，满足以下任一条件，则预判决子块图像与目标图像存在区域重叠：
(1)投影到目标图像的N个代表点都在目标图像左边界左侧；
(2)投影到目标图像的N个代表点都在目标图像右边界右侧；
(3)投影到目标图像的N个代表点都在目标图像上边界上侧；
(4)投影到目标图像的N个代表点都在目标图像下边界下侧。


3.根据权利要求1或2所述的一种筛选子块图像的方法，其特征在于，所述N为8。


4.根据权利要求1或2或3所述的一种筛选子块图像的方法，其特征还在于，所述子块图像的两个深度参数z_near_new和z_far_new的确定方法为以下方法之一种：
(1)从码流中解码得到源视点图像的最近深度值z_near和源视点图像的最远深度值z_far，所述子块图像的z_near_new等于z_near，所述子块图像的z_far_new等于z_far；
(2)所述子块图像的z_near_new等于该子块图像的最近深度值，所述子块图像的z_far_new等于该子块图像的最远深度值。


5.根据权利要求4所述的一种筛选子块图像的方法，其特征在于所述子块图像的最近深度值和所述子块图像的最远深度值的确定方法为以下方法之一种：
(1)从码流中直接解码得到所述子块图像的最近深度值和最远深度值；
(2)在解码重构的深度图像中，所述子块图像的所有像素中距离该子块所属的源视点最近的像素的深度值为所述子块的最近深度值；所述子块图像的所有像素中距离该子块所属的源视点最远的像素的深度值为所述子块的最远深度值。


6.一种筛选子块图像的装置，其特征在于，包括：
子块图像信息提取模块，输入为多视点子块拼接图像码流，输出为至少一个子块图像信息，信息包括：子块图像的宽度信息width、高度信息height、该子块图像在多视点子块拼接图像中的位置信息、该子块图像在源视点图像中的位置信息和该子块图像所属源视点图像的相机参数，其中相机参数包括相机朝向、相机位置坐标、相机内参；
目标图像相关信息获取模块，用于获取目标图像的宽度信息width_o、高度信息height_o和相机参数；
子块图像深度参数获取模块，用于获取两个深度参数z_near_new和z_far_new，其中z_near_new≤z_far_new；
子块图像判决模块，用于利用所述源视点图像的相机参数和目标图像的相机参数,对子块图像四个边界顶点结合深度信息所得的N个空间代表点(xi,yi,zi)进行投影，得到目标图像中的N个代表点；其中N为空间代表点的数量，i为0到N-1的整数；根据所得到的目标图像中的N个代表点的位置坐标(xoi,yoi)，预判决该子块图像与目标图像是否存在区域重叠；如果存在区域重叠，使用子块图像中的像素进行渲染得到部分的目标图像，否则，不使用该子块图像进行渲染。


7.根据权利要求6所述的一种筛选子块图像的装置，其特征在于，满足以下任一条件,则预判决子块图像与目标图像存在区域重叠：
(1)投影到目标图像的N个代表点都在目标图像左边界左侧；
(2)投影到目标图像的N个代表点都在目标图像右边界右侧；
(3)投影到目标图像的N个代表点都在目标图像上边界上侧；
(4)投影到目标图像的N个代表点都在目标图像下边界下侧。


8.根据权利要求6或7所述的一种筛选子块图像的装置，其特征在于，所述N为8。


9.根据权利要求6或7或8所述的一种筛选子块图像的装置，其特征还在于，所述子块图像的两个深度参数z_near_new和z_far_new由以下方法之一种：得到
(1)从码流中解码得到源视点图像的最近深度值z_near和源视点图像的最远深度值z_far，所述子块图像的z_near_new等于z_near，所述子块图像的z_far_new等于z_far；
(2)所述子块图像的z_near_new等于该子块图像的最近深度值，所述子块图像的z_far_new等于该子块图像的最远深度值。


10.根据权利要求9所述的一种筛选子块图像的装置，其特征还在于所述子块图像的最近深度值和所述子块图像的最远深度值由以下方法之一种得到：
(1)从码流中直接解码得到所述子块图像的最近深度值和最远深度值；
(2)在解码重构的深度图像中，所述子块图像的所有像素中距离该子块所属的源视点最近的像素的深度值为所述子块的最近深度值；所述子块图像的所有像素中距离该子块所属的源视点最远的像素的深度值为所述子块的最远深度值。


11.一种筛选处理单元的方法，其特征在于，包括：
对于多视点子块拼接图像中的至少一个处理单元，根据码流中所述处理单元对应的信息传输单元的宽度W和高度H，计算该处理单元的宽度信息width和高度信息height，方法如下：
width＝min{w0,W-Δw}；
height＝min{h0,H-Δh}；
其中，{w0,h0}分别是处理单元的默认宽度和高度，{Δw,Δh}分别...

【专利技术属性】
技术研发人员：虞露，王彬，王楚楚，孙宇乐，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33