一种筛选图像的方法及装置制造方法及图纸

本发明专利技术公开了一种筛选图像的方法及装置。该发明专利技术用于多媒体领域中，从多视点子块拼接图像的码流中解码提取子块图像或处理单元，对子块图像或处理单元进行筛选，通过提取子块图像或处理单元相关信息和目标图像相关信息，判决该子块图像或处理单元与目标图像是否存在区域重叠，如果存在区域重叠，就使用子块图像或处理单元中的像素进行渲染得到部分的目标图像，否则，不进行渲染。本发明专利技术给出的方法能够有效解决已有算法存在的误删问题且保证算法的简洁性，在不降低渲染目标图像的质量下，可以有效降低渲染计算时间。本发明专利技术在提出一种筛选子块图像或处理单元的方法的同时，还提出了相应的装置。应的装置。应的装置。

【技术实现步骤摘要】
一种筛选图像的方法及装置


[0001]本专利技术专利属于子块图像处理领域，具体涉及一种完整图像或多视点子块拼接图像在进行目标图像渲染前，进行子块图像或处理单元筛选的方法和装置。

技术介绍

[0002]“沉浸感”作为一种主观评价，是指观看者对多媒体系统建立、显示出来的虚拟场景的感知代入感。随着采集设备和显示设备的能力逐年增强，沉浸式媒体作为一种能够带给观看者强沉浸感的视觉多媒体，其编码、传输和渲染已经成为了工业界和科学界的研究热点。
[0003]随着沉浸式媒体支持观看自由度的增加，其带给观看者的视觉沉浸感得到明显增强。在三维空间下，观看者的观看自由度最多支持6个自由度，包括沿三维空间X，Y，Z轴平移和分别绕三个轴旋转。目前，观看者可以在限定空间(平移自由度受限)中任意移动位置、改变朝向来观看场景，从而获得交互感和运动视差，形成更强的视觉沉浸感。
[0004]为了支持有限空间的6自由度观看场景，沉浸式媒体需要渲染限定空间中任意位置、任意朝向的目标内容。多视点图像加深度信息是一种有效的沉浸式媒体表达方式，它由多个视点的纹理图像以及各纹理图像对应的深度图像组成。利用基于深度图像的视点合成技术，该表达方式可以根据目标图像的相机参数以及目标视点和已有视点的位置关系渲染得到目标视点的图像。但是由于多个视点之间一般存在较大的信息冗余，编码传输所有多视点源图像会造成编解码的代价很大。
[0005]多视点子块拼接图像有效地解决了上述问题。在编解码之前，通过分析多个视点之间的几何纹理关系，利用主视点(多视点图像中的某些包含完整视点信息的图像)图像尽可能剔除其他视点的冗余信息，因此除了主视点外的其他视点图像只保留特有的有效信息。考虑到编码效率，子图有效信息的保留一般用矩形区域表示，这样就形成多个矩形子块图像，最后将多个子块图像拼接成多视点子块拼接图像，如图1所示。经过上述操作后，需要编码传输的图像数据量能大大减少。
[0006]对于解码端，利用解码得到的子块图像信息，从解码得到的多视点子块拼接图像中提取所有子块图像。其中，所述的子块图像信息至少包括：子块图像的宽度、高度、子块图像的左上角像素在多视点拼接图像中的位置和子块图像的左上角像素在源视点图像中的位置。
[0007]目标图像合成是以子块图像为单位进行投影计算的。对于每个子块图像，利用子块图像所属单视点图像的相机参数和目标图像的相机参数关系，进行目标图像渲染，其中相机参数中的相机内参包括焦距、主点坐标和坐标轴倾斜参数，这些参数包含在下式的内参矩阵中。任意两个视点V1，V2间对应像素的视点间位置关系如下公式所示：
[0008][0009]其中，u
target
，v
target
是目标视点V1中像素点的坐标位置，
[0010]u
ref
，v
ref
是参考视点V2中像素点的坐标位置，
[0011]是目标视点V1的相机内参矩阵，
[0012]是参考视点V2的相机内参矩阵，
[0013]R和t表示参考视点V2处的相机坐标与目标视点V1处的相机坐标旋转平移关系，
[0014]z
ref
是参考视点V2中像素点对应的深度值，
[0015]z
target
是目标视点V1中像素点对应的深度值，
[0016]最后对所有投影到目标图像的子块纹理信息进行融合处理，合成目标图像。与传输完整数量的多视点源图像相比，在相同码率下，目标图像的合成质量能得到显著的提升。
[0017]在实际的图像处理系统中，解码端的处理时间是衡量该系统是否可行的关键参数。而目前基于子块图像的目标图像合成依然有可改进优化的空间。多视点子块拼接图像中所有的子块图像联合描述了整个场景信息。而在观看者观看视角域有限的约束下，观看的每帧目标图像只覆盖部分的全部视角场景内容，这就会出现某个子块图像对于合成目标图像完全无信息贡献，如图2所示，子块图像2的内容渲染后与目标图像完全没有区域覆盖，这些对目标视点无贡献子块图像的逐像素投影计算增加了无效的计算负担。

技术实现思路

[0018]为了解决上述技术问题，本专利技术提出了一种筛选图像的方法及装置。在每个子块图像或处理单元进行目标图像渲染前，添加预筛选过程，在目标视点观看位置和已有视点偏离距离和角度不大，子块图像或处理单元的大小所占视角范围不大，水平竖直一般小于90度，目标图像为非全景、有限视野范围的图像的前提下，用子块图像内的一定数量的代表点以及深度范围来描述子块图像或处理单元包含的场景范围，通过这些代表点落在目标图像上的情况来判决是否使用该子块图像或处理单元进行图像渲染，只对有效的子块图像或处理单元进行预渲染。这样节省了进行图像渲染的子块图像或处理单元数量，在不改变目标图像的合成质量的同时，降低了渲染计算时间。
[0019]已有技术在图像投影格式为球面投影的使用情况下，由于球体的表面外凸，所以子块图像边界顶点在空间中最远深度位置的两点连线是弦所在的面非球切面，如图4所示如果恰好仅仅球凸面落在目标视野范围而弦所在面处于视野不可见区域时会被错误当做该子块图像完全不可见，因此被误删从而造成目标图像质量退化，影响视觉效果。
[0020]本专利技术的第一目的是提供一种筛选图像的方法，包括如下内容：
[0021]对于多视点子块拼接图像中的至少一个图像，获取该图像的宽度信息width、高度信息height、该图像在多视点子块拼接图像中的位置信息、该图像在源视点图像中的位置信息和该图像所属源视点图像的相机参数，其中相机参数包括相机朝向、相机位置坐标、相机内参；
[0022]获取目标图像的宽度信息width_o、高度信息height_o和相机参数；
[0023]获得所述图像的两个深度参数：最近深度参数z_near_new和最远深度参数z_far_new，其中z_near_new≤z_far_new；
[0024]利用所述图像的最远深度参数z_far_new以及图像信息和所属源视点图像的相机参数算得所述图像的修正最远深度参数：z_far_modified，其中z_far_new≤z_far_modified；
[0025]利用所述源视点图像的相机参数和目标图像的相机参数，对图像四个边界顶点结合最近深度参数z_near_new和修正最远深度参数z_far_modified所得N个空间代表点(x
i
，y
i
，z
i
)从源视点向目标视点投影，得到目标图像中的N个代表点；其中，N为代表点的数量，i为0到N_1的整数；
[0026]根据所得到的目标图像中的N个代表点的位置坐标(xo
i
，yo
i
)，预判决该图像与目标图像是否存在区域重叠；
[0027]如果存在区域重叠，使用图像中的像素进行渲染得到部分的目标图像，否则，不使用该图像进行渲染。
[0028]进一步的，所述图像的宽度本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种筛选图像的方法，其特征在于，包括：对于多视点子块拼接图像中的至少一个图像，获取该图像的宽度信息width、高度信息height、该图像在多视点子块拼接图像中的位置信息、该图像在源视点图像中的位置信息和该图像所属源视点图像的相机参数，其中相机参数包括相机朝向、相机位置坐标、相机内参；获取目标图像的宽度信息width_o、高度信息height_o和相机参数；获得所述图像的两个深度参数：最近深度参数z_near_new和最远深度参数z_far_new，其中z_near_new≤z_far_new；利用所述图像的最远深度参数z_far_new以及图像信息和所属源视点图像的相机参数算得所述图像的修正最远深度参数：z_far_modified，其中z_far_new≤z_far_modified；利用所述源视点图像的相机参数和目标图像的相机参数，对图像四个边界顶点结合最近深度参数z_near_new和修正最远深度参数z_far_modified所得N个空间代表点(x
i
,y
i
,z
i
)从源视点向目标视点投影，得到目标图像中的N个代表点；其中，N为代表点的数量，i为0到N
‑
1的整数；根据所得到的目标图像中的N个代表点的位置坐标(xo
i
,yo
i
)，预判决该图像与目标图像是否存在区域重叠；如果存在区域重叠，使用图像中的像素进行渲染得到部分的目标图像，否则，不使用该图像进行渲染。2.根据权利1所述的一种筛选图像的方法，其特征还在于，所述图像的宽度信息width、高度信息height、该图像在多视点子块拼接图像中的位置信息、该图像在源视点图像中的位置信息确定方法为以下方法之一种：(1)从码流中直接解码获得；(2)从码流中获得所述图像对应信息传输单元的宽度W和高度H，计算该处理单元的宽度信息和高度信息；从码流中获取所述信息传输单元在多视点子块拼接图像中的位置信息、所述信息传输单元在源视点图像中的位置信息，结合所述图像在所述信息传输单元的位置，计算所述图像在多视点子块拼接图像中的位置信息、所述图像在源视点图像中的位置信息。3.根据权利1或2所述的一种筛选图像的方法，其特征在于，满足以下任一条件，则预判决图像与目标图像存在区域重叠：(1)投影到目标图像的N个代表点都在目标图像左边界左侧；(2)投影到目标图像的N个代表点都在目标图像右边界右侧；(3)投影到目标图像的N个代表点都在目标图像上边界上侧；(4)投影到目标图像的N个代表点都在目标图像下边界下侧。4.根据权利1或2或3所述的一种筛选图像的方法，其特征还在于，所述图像的两个深度参数z_near_new和z_far_new的确定方法为以下方法之一种：(1)从码流中解码得到源视点图像的最近深度值z_near和源视点图像的最远深度值z_far，所述图像的z_near_new等于z_near，所述图像的z_far_new等于z_far；(2)从码流中直接解码得到所述图像的最近深度值和最远深度值，所述图像的z_near_new等于该图像的最近深度值，所述图像的z_far_new等于该图像的最远深度值；
(3)在解码重构的深度图像中，所述图像的所有像素中距离该图像所属的源视点最近的像素的深度值为所述图像的最近深度值z_near_new；所述图像的所有像素中距离该图像所属的源视点最远的像素的深度值为所述图像的最远深度值z_far_new。5.根据权利1或2或3或4所述的一种筛选图像的方法，其特征在于，所述图像的修正最远深度参数z_far_modified的确定方法为：根据图像的宽度信息width、高度信息height以及所属源视点图像的相机参数，算得图像在所属源视点图像相机的经度跨度和纬度跨度Δθ，利用以下公式计算修正最远深度参数z_far_modified：其中，X
mod
＝z_far_new＝z_far_new6.一种筛选图像的装置，其特征在于，包括：图像...

【专利技术属性】
技术研发人员：虞露，王楚楚，
申请(专利权)人：浙江大学，
类型：发明
国别省市：