一种无参考三维视频质量评价方法技术

本发明专利技术公开了一种无参考三维视频质量评价方法，其在训练阶段，构造由原始彩色视频帧组及对应的失真彩色视频帧组构成的第一组训练集的彩色字典和彩色质量表，构造由原始深度视频帧组及对应的失真深度视频帧组构成的第二组训练集的深度字典和深度质量表，使得在测试阶段无需计算字典和质量表，避免了复杂的机器学习训练过程，且无需预知待评价三维视频序列的平均主观评分差值，适用于实际的应用场合；在测试阶段，根据彩色字典和彩色质量表、深度字典和深度质量表，分别获得每个失真彩色视频帧组和失真深度视频帧组的客观质量评价预测值，进而获得待评价的三维视频序列的客观质量评价预测值，该客观质量评价预测值与主观评价值保持了较好的一致性。

A non reference 3D video quality evaluation method

The invention discloses a three-dimensional non reference video quality evaluation method, in the training phase, constructed by the original color video frame group and the corresponding color distortion of video frame is a color dictionary first group training set and color quality table, constructed by the original depth video frame group and the corresponding distortion constitutes depth video frame group the second group training set the depth and depth of the surface quality of the dictionary, in the test stage without calculating the dictionary and quality table, avoiding the complex machine learning training process, and there is no need to predict to evaluate 3D video sequences of the average subjective score difference, it is suitable for practical application; in the testing stage, according to the color dictionary color and quality, depth and depth of quality dictionary table, respectively, obtained the objective quality assessment of each video frame group and color distortion distortion depth video frame group forecast, Then, the objective quality prediction value of the 3D video sequences to be evaluated is obtained, and the objective quality evaluation prediction value is in good agreement with the subjective evaluation value.

【技术实现步骤摘要】
一种无参考三维视频质量评价方法
本专利技术涉及一种视频质量评价方法，尤其是涉及一种无参考三维视频质量评价方法。
技术介绍
进入本世纪以来，随着数字2D(二维)视频技术日趋成熟，以及计算机、通信及网络技术的快速发展，引发了人们对新一代视频系统的强烈需求。现行的二维视频系统在表现自然场景时，难以满足用户的立体感和视点交互等的需求。三维视频系统由于能够提供立体感、视点交互性的全新视觉体验而越来越受到人们的欢迎，因此在无线视频通信、影视娱乐、数字动漫、虚拟战场、旅游观光、远程教学等领域有着广泛的应用前景。与立体视频相比，基于彩色加深度的三维视频需要同时考虑彩色和深度对虚拟视点绘制的影响，然而，传统的立体图像/视频质量评价方法通常不能直接用于评价彩色、深度或虚拟视点视频质量。而对于三维视频质量评价而言，如果直接将立体视频/图像质量评价方法应用于三维视频，即彩色视频和深度视频采用相同的评价方法，则由于彩色视频是显性影响虚拟视点，而深度视频是隐形影响虚拟视点，因此这会导致对虚拟视点绘制质量的不可控；或者如果直接将立体视频质量评价方法应用于虚拟视点视频，则由于虚拟视点存在因绘制引起的几何失真，因此立体视频质量评价方法难以对其进行定量化。因此，如何对三维视频进行描述以衡量彩色视频和深度视频失真对虚拟视点绘制的影响，特别是如何只通过评价彩色视频和深度视频的质量来预测虚拟视点绘制质量，都是在对三维视频进行质量评价过程中需要研究解决的问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种无参考三维视频质量评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。本专利技术解决上述技术问题所采用的技术方案为：一种无参考三维视频质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤如下：①_1、选取N个原始三维视频序列，原始三维视频序列由原始彩色视频序列和原始深度视频序列构成，原始彩色视频序列由T帧原始彩色图像组成，原始深度视频序列由T帧原始深度图像组成；然后从每个原始彩色视频序列中选择第i个帧组的TGOP帧原始彩色图像构成原始彩色视频帧组，同样从每个原始深度视频序列中选择第i个帧组的TGOP帧原始深度图像构成原始深度视频帧组；接着对N个原始彩色视频帧组和N个原始深度视频帧组分别进行L个不同失真强度的编码失真，将所有原始彩色视频帧组及各自对应的L个失真强度的失真彩色视频帧组构成第一组训练集，记为并将所有原始深度视频帧组及各自对应的L个失真强度的失真深度视频帧组构成第二组训练集，记为其中，原始彩色图像和原始深度图像的宽度均为W且高度均为H，N>1，T≥8，符号为向下取整符号，TGOP表示一个帧组的长度，TGOP≥8，L>1，表示中的第u个原始彩色视频帧组，表示中的第u个原始彩色视频帧组对应的第v个失真强度的失真彩色视频帧组，将中的第t帧原始彩色图像记为将中的第t帧失真彩色图像记为表示中的第u个原始深度视频帧组，表示中的第u个原始深度视频帧组对应的第v个失真强度的失真深度视频帧组，将中的第t帧原始深度图像记为将中的第t帧失真深度图像记为1≤t≤TGOP，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；①_2、获取中的每个失真彩色视频帧组的特征矢量，将中的第k个失真彩色视频帧组的特征矢量记为同样，获取中的每个失真深度视频帧组的特征矢量，将中的第k个失真深度视频帧组的特征矢量记为其中，1≤k≤M，M＝N×L，和的维数均为96×1；①_3、根据中的所有失真彩色视频帧组的特征矢量构造彩色字典，记为DC，同样，根据中的所有失真深度视频帧组的特征矢量构造深度字典，记为DD，其中，符号“[]”为矢量表示符号，表示中的第1个失真彩色视频帧组的特征矢量，表示中的第M个失真彩色视频帧组的特征矢量，表示中的第1个失真深度视频序列的帧组矢量，表示中的第M个失真深度视频帧组的特征矢量；①_4、构造DC对应的彩色质量表，记为qC，同样，构造DD对应的深度质量表，记为qD，其中，表示采用中的第1个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第k个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第M个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第1个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第k个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第M个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值；所述的测试阶段过程的具体步骤如下：②_1、对于任意一个待评价的失真三维视频序列，其由失真彩色视频序列和失真深度视频序列构成，将待评价的失真三维视频序列的失真彩色视频序列和失真深度视频序列对应记为Ctest和Dtest，Ctest由T'帧失真彩色图像组成，Dtest由T'帧失真深度图像组成；然后将Ctest中的T'帧失真彩色图像分成个失真彩色视频帧组，并将Dtest中的T'帧失真深度图像分成个失真深度视频帧组；其中，失真彩色图像和失真深度图像的宽度均为W'且高度均为H'，T'≥8，符号为向下取整符号，TGOP表示一个帧组的长度，TGOP≥8；②_2、按照步骤①_2的过程，以相同的操作获取Ctest中的每个失真彩色视频帧组的特征矢量和Dtest中的每个失真深度视频帧组的特征矢量，将Ctest中的第p个失真彩色视频帧组的特征矢量记为将Dtest中的第p个失真深度视频帧组的特征矢量记为其中，1≤p≤P，和的维数均为96×1；②_3、根据在训练阶段构造的彩色字典DC和Ctest中的每个失真彩色视频帧组的特征矢量，计算Ctest中的每个失真彩色视频帧组的稀疏系数矩阵，将Ctest中的第p个失真彩色视频帧组的稀疏系数矩阵记为是通过求解得到的；同样，根据在训练阶段构造的深度字典DD和Dtest中的每个失真深度视频帧组的特征矢量，计算Dtest中的每个失真深度视频帧组的稀疏系数矩阵，将Dtest中的第p个失真深度视频帧组的稀疏系数矩阵记为是通过求解得到的；其中，符号“||||2”为求取矩阵的2-范数符号，ε为误差阈值，min{}为取最小值函数；②_4、根据在训练阶段构造的彩色质量表qC和Ctest中的每个失真彩色视频帧组的稀疏系数矩阵，计算Ctest中的每个失真彩色视频帧组的客观质量评价预测值，将Ctest中的第p个失真彩色视频帧组的客观质量评价预测值记为同样，根据在训练阶段构造的深度质量表qD和Dtest中的每个失真深度视频帧组的稀疏系数矩阵，计算Dtest中的每个失真深度视频帧组的客观质量评价预测值，将Dtest中的第p个失真深度视频帧组的客观质量评价预测值记为其中，符号“||||1”为求取矩阵的1-范数符号；②_5、计算待评价的失本文档来自技高网...

【技术保护点】
一种无参考三维视频质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤如下：①_1、选取N个原始三维视频序列，原始三维视频序列由原始彩色视频序列和原始深度视频序列构成，原始彩色视频序列由T帧原始彩色图像组成，原始深度视频序列由T帧原始深度图像组成；然后从每个原始彩色视频序列中选择第i个帧组的T

【技术特征摘要】
1.一种无参考三维视频质量评价方法，其特征在于包括训练阶段和测试阶段两个过程；所述的训练阶段过程的具体步骤如下：①_1、选取N个原始三维视频序列，原始三维视频序列由原始彩色视频序列和原始深度视频序列构成，原始彩色视频序列由T帧原始彩色图像组成，原始深度视频序列由T帧原始深度图像组成；然后从每个原始彩色视频序列中选择第i个帧组的TGOP帧原始彩色图像构成原始彩色视频帧组，同样从每个原始深度视频序列中选择第i个帧组的TGOP帧原始深度图像构成原始深度视频帧组；接着对N个原始彩色视频帧组和N个原始深度视频帧组分别进行L个不同失真强度的编码失真，将所有原始彩色视频帧组及各自对应的L个失真强度的失真彩色视频帧组构成第一组训练集，记为并将所有原始深度视频帧组及各自对应的L个失真强度的失真深度视频帧组构成第二组训练集，记为其中，原始彩色图像和原始深度图像的宽度均为W且高度均为H，N>1，T≥8，符号为向下取整符号，TGOP表示一个帧组的长度，TGOP≥8，L>1，表示中的第u个原始彩色视频帧组，表示中的第u个原始彩色视频帧组对应的第v个失真强度的失真彩色视频帧组，将中的第t帧原始彩色图像记为将中的第t帧失真彩色图像记为表示中的第u个原始深度视频帧组，表示中的第u个原始深度视频帧组对应的第v个失真强度的失真深度视频帧组，将中的第t帧原始深度图像记为将中的第t帧失真深度图像记为1≤t≤TGOP，1≤x≤W，1≤y≤H，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值，表示中坐标位置为(x,y)的像素点的像素值；①_2、获取中的每个失真彩色视频帧组的特征矢量，将中的第k个失真彩色视频帧组的特征矢量记为同样，获取中的每个失真深度视频帧组的特征矢量，将中的第k个失真深度视频帧组的特征矢量记为其中，1≤k≤M，M＝N×L，和的维数均为96×1；①_3、根据中的所有失真彩色视频帧组的特征矢量构造彩色字典，记为DC，同样，根据中的所有失真深度视频帧组的特征矢量构造深度字典，记为DD，其中，符号“[]”为矢量表示符号，表示中的第1个失真彩色视频帧组的特征矢量，表示中的第M个失真彩色视频帧组的特征矢量，表示中的第1个失真深度视频序列的帧组矢量，表示中的第M个失真深度视频帧组的特征矢量；①_4、构造DC对应的彩色质量表，记为qC，同样，构造DD对应的深度质量表，记为qD，其中，表示采用中的第1个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第k个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第M个失真彩色视频帧组和对应的原始深度视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第1个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第k个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值，表示采用中的第M个失真深度视频帧组和对应的原始彩色视频帧组绘制得到的虚拟视点视频构成的立体视频的平均主观评分均值；所述的测试阶段过程的具体步骤如下：②_1、对于任意一个待评价的失真三维视频序列，其由失真彩色视频序列和失真深度视频序列构成，将待评价的失真三维视频序列的失真彩色视频序列和失真深度视频序列对应记为Ctest和Dtest，Ctest由T'帧失真彩色图像组成，Dtest由T'帧失真深度图像组成；然后将Ctest中的T'帧失真彩色图像分成个失真彩色视频帧组，并将Dtest中的T'帧失真深度图像分成个失真深度视频帧组；其中，失真彩色图像和失真深度图像的宽度均为W'且高度均为H'，T'≥8，符号为向下取整符号，TGOP表示一个帧组的长度，TGOP≥8；②_2、按照步骤①_2的过程，以相同的操作获取Ctest中的每个失真彩色视频帧组的特征矢量和Dtest中的每个失真深度视频帧组的特征矢量，将Ctest中的第p个失真彩色视频帧组的特征矢量记为将Dtest中的第p个失真深度视频帧组的特征矢量记为其中，1≤p≤P，和的维数均为96×1；②_3、根据在训练阶段构造的彩色字典DC和Ctest中的每个失真彩色视频帧组的特征矢量，计算Ctest中的每个失真彩色视频帧组的稀疏系数矩阵，将Ctest中的第p个失真彩色视频帧组的稀疏系数矩阵记为是通过求解得到的；同样，根据在训练阶段构造的深度字典DD和Dtest中的每个失真深度视频帧组的特征矢量，计算Dtest中的每个失真深度视频帧组的稀疏系数矩阵，将Dtest中的第p个失真深度视频帧组的稀疏系数矩阵记为是通过求解得到的；其中，符号“||||2”为求取矩阵的2-范数符号，ε为误差阈值，min{}为取最小值函数；②_4、根据在训练阶段构造的彩色质量表qC和Ctest中的每个失真彩色视频帧组的稀疏系数矩阵，计算Ctest中的每个失真彩色视频帧组的客观质量评价预测值，将Ctest中的第p个失真彩色视频帧组的客观质量评价预测值记为同样，根据在训练阶段构造的深度质量表qD和Dtest中的每个失真深度视频帧组的稀疏系数矩阵，计算Dtest中的每个失真深度视频帧组的客观质量评价预测值，将Dtest中的第p个失真深度视频帧组的客观质量评价预测值记为其中，符号“||||1”为求取矩阵的1-范数符号；②_5、计算待评价的失真三维视频序列的客观质量评价预测值，记为Q，其中，表示Ctest中的第p个失真彩色视频帧组的权重系数，表示Dtest中的第p个失真深度视频帧组的权重系数，表示Ctest中的第p个失真彩色视频帧组与Dtest中的第p个失真深度视频帧组相互作用的权重系数。2.根据权利要求...

【专利技术属性】
技术研发人员：邵枫，袁其政，姜求平，李福翠，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江,33