一种3D图像体验质量预测方法及装置制造方法及图纸

本发明专利技术公开了一种3D图像体验质量预测方法及装置，该方法包括如下步骤：S1、获取待预测的失真深度图、以及对应的参考深度图；S2、计算所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；S3、将所述待预测的失真深度图的上述参数输入关系模型中，得到根据所述待预测的失真深度图和固定质量的失真纹理图合成得到的视图的3D图像体验质量值。本发明专利技术能够以数学模型的形式，通过深度图的纹理特征及其不同纹理区的失真情况预测其合成图的3D图像体验质量值，对探究多视点视频的体验质量及优化多视点视频编码具有重要的意义。

【技术实现步骤摘要】
【专利说明】-种3D图像体验质量预测方法及装置
本专利技术设及多视点计算机视觉领域，尤其设及一种3D图像体验质量预测方法及 装置。 【
技术介绍
】 多视点视频系统作为自由试点电视的第二个发展阶段，近几年取得了较大的发 展。多视点电视可W提供给用户多个观看视角的立体视频。在实际操作中，对同一场景拍 摄、传输较多视点的视频是不现实的。所W，可W拍摄有限个视点的视频，对运有限个纹理 视频及其对应的深度视频进行压缩传输。在接收端，利用解码后的纹理视频和深度视频，其 它视点观察目标场景的视频可W被合成出来，从而用户端可W观看到的视点个数远多于拍 摄视点个数。在编码传输的过程中，纹理视频和深度视频会产生失真，两者的失真也会影响 合成图的图像质量。 现有的一些深度图失真预测模型就深度图的质量对合成图的客观质量进行了一 些研究。例如VSD(ViewSynthesisDistortion),即通过估算编码深度图造成的合成视图 的失真，来预测深度图失真的方法，但此处的合成视图的失真是客观质量失真。合成图的主 观质量即用户的3D体验质量对于评价多视点视频系统及其他3D视频应用具有更重要的意 义。主观实验是评价视频图像的3D体验质量最直接准确的方式，但是主观实验是一个耗时 费力并且对测试环境都有严格要求的过程。所W通过建立数学模型来预测合成图的3D体 验质量极为重要。 目前有学者对深度图质量对合成图3D体验质量的影响做了一些探究性的实验。 不足之处在于，只考虑到了不同码率或不同包丢失率的情况下，深度图的失真对合成图3D 体验质量的影响，并未考虑深度图空域上的内容特征。另外，已有的探究由于观测样本较 少，只对结果提出了解释性的结论，并未将深度图的失真与合成图的主观质量建立模型关 系，不能直观的得出结果。 【
技术实现思路
】 为了克服现有技术的不足，本专利技术提供了一种3D图像体验质量预测方法，W分析 3D图像体验质量值与失真的深度图的各种参数之间的关系。 一种3D图像体验质量预测方法，包括如下步骤： S1、获取待预测的失真深度图、W及对应的参考深度图； S2、计算所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦 块的平均块失真、纹理块与平坦块的失真比； 其中，所述纹理块指在深度图中纹理复杂度大于纹理复杂度阔值的编码块，所述 平坦块指在深度图中纹理复杂度小于所述纹理复杂度阔值的编码块，所述纹理块个数占比 指在深度图中纹理块的个数与编码块总数之比，所述纹理块的平均块失真指在失真深度图 中每个纹理块相对于对应的参考深度图的纹理块的失真之和的算术平均值，所述平坦块的 平均块失真指在失真深度图中每个平坦块相对于对应的参考深度图中的平坦块的失真之 和的算术平均值，所述纹理块与平坦块的失真比指纹理块的平均块失真与平坦块的平均块 失真之比； S3、将所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块 与平坦块的失真比输入关系模型中，得到根据所述待预测的失真深度图和固定质量的纹理 图合成得到的视图的3D图像体验质量值； 其中，通过如下步骤获得所述关系模型： S3. 1、获取实验的失真深度图、W及对应的参考深度图、失真纹理图； S3. 2、计算所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦 块的平均块失真、纹理块与平坦块的失真比； S3. 3、根据所述实验的失真深度图和失真纹理图合成实验视图，并获取用户对所 述实验视图的体验质量进行评价的实验3D图像体验质量值；S3. 4、计算建立所述实验3D图像体验质量值与所述实验的失真深度图的纹理块 个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的所述关系模型。 在一个实施例中，通过如下步骤确定深度图中的纹理块和平坦块： S2. 1、计算深度图中每一个像素X的同质性值HOMO,， 其中，O是^像素X为中屯、点的M个像素点组成的方形区域，（i，如为O区内的像 素点坐标，Vi,j为像素点（i，j)的亮度值； S2. 2、设定阔值HOM〇Thre，若HOM〇x《HOMOThre，则将像素X判定为纹理平坦点， 若册M〇x>册版)Th。，则将像素X判定为纹理复杂点； S2. 3、针对深度图的当前编码块， 若N《T，则将当前编码块判定为平坦块， 若N>T，则将当前编码块判定为纹理块； 其中，T为设定的数量阔值，N为当前编码块中纹理复杂点的数量。 在一个实施例中， 在步骤S3. 4中，通过SVR算法建立所述关系模型。 在一个实施例中， 在步骤S3. 2中，通过如下步骤获取所述实验的失真深度图的多个不同的纹理块 与平坦块的失真比： 在根据实验的参考深度图编码获得实验的失真深度图的过程中，固定参考深度图 的纹理块的量化参数，改变参考深度图的平坦块的量化参数。 在一个实施例中， 在所述步骤S3. 4中，在根据实验的参考纹理图编码获得所述实验的失真纹理图 过程中，固定参考纹理图的量化参数。 本专利技术还提供了一种3D图像体验质量预测装置，包括如下单元： 第一处理单元，用于获取待预测的失真深度图、W及对应的参考深度图； 第二处理单元，用于计算所述待预测的失真深度图的纹理块个数占比、纹理块的 平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比； 其中，所述纹理块指在深度图中纹理复杂度大于纹理复杂度阔值的编码块，所述 平坦块指在深度图中纹理复杂度小于所述纹理复杂度阔值的编码块，所述纹理块个数占比 指在深度图中纹理块的个数与编码块总数之比，所述纹理块的平均块失真指在失真深度图 中每个纹理块相对于对应的参考深度图的纹理块的失真之和的算术平均值，所述平坦块的 平均块失真指在失真深度图中每个平坦块相对于对应的参考深度图中的平坦块的失真之 和的算术平均值，所述纹理块与平坦块的失真比指纹理块的平均块失真与平坦块的平均块 失真之比； 第=处理单元，用于将所述待预测的失真深度图的纹理块个数占比、纹理块的平 均块失真、纹理块与平坦块的失真比输入关系模型中，得到根据所述待预测的失真深度图 和固定质量的纹理图合成得到的视图的3D图像体验质量值； 其中，所述第=处理单元通过如下步骤获得所述关系模型： 获取实验的失真深度图、W及对应的参考深度图、失真纹理图； 计算所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的 平均块失真、纹理块与平坦块的失真比； 根据所述实验的失真深度图和失真纹理图合成实验视图，并获取用户对所述实验 视图的体验质量进行评价的实验3D图像体验质量值； 计算建立所述实验3D图像体验质量值与所述实验的失真深度图的纹理块个数占 比、纹理块的平均块失真、纹理块与平坦块的失真比之间的所述关系模型。 在一个实施例中， 所述第=处理单元通过如下步骤确定深度图中的纹理块和平坦块： 计算深度图中每一个像素X的同质性值HOMOx,其中，O是^像素X为中屯、点的M个像素点组成的方形区域，（i，j)为O区内的像 素点坐标，Vi,j为像素点（i，j)的亮度值； W例设定阔值册M〇Thf。当前第1页1 2 3 本文档来自技高网...

【技术保护点】
一种3D图像体验质量预测方法，其特征是，包括如下步骤：S1、获取待预测的失真深度图、以及对应的参考深度图；S2、计算所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；其中，所述纹理块指在深度图中纹理复杂度大于纹理复杂度阈值的编码块，所述平坦块指在深度图中纹理复杂度小于所述纹理复杂度阈值的编码块，所述纹理块个数占比指在深度图中纹理块的个数与编码块总数之比，所述纹理块的平均块失真指在失真深度图中每个纹理块相对于对应的参考深度图的纹理块的失真之和的算术平均值，所述平坦块的平均块失真指在失真深度图中每个平坦块相对于对应的参考深度图中的平坦块的失真之和的算术平均值，所述纹理块与平坦块的失真比指纹理块的平均块失真与平坦块的平均块失真之比；S3、将所述待预测的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比输入关系模型中，得到根据所述待预测的失真深度图和固定质量的纹理图合成得到的视图的3D图像体验质量值；其中，通过如下步骤获得所述关系模型：S3.1、获取实验的失真深度图、以及对应的参考深度图、失真纹理图；S3.2、计算所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、平坦块的平均块失真、纹理块与平坦块的失真比；S3.3、根据所述实验的失真深度图和失真纹理图合成实验视图，并获取用户对所述实验视图的体验质量进行评价的实验3D图像体验质量值；S3.4、计算建立所述实验3D图像体验质量值与所述实验的失真深度图的纹理块个数占比、纹理块的平均块失真、纹理块与平坦块的失真比之间的所述关系模型。...

【技术特征摘要】

【专利技术属性】
技术研发人员：金欣，张宇，戴琼海，
申请(专利权)人：清华大学深圳研究生院，
类型：发明
国别省市：广东;44