一种基于联合字典的彩色与深度图像后处理方法技术

本发明专利技术公开了一种基于联合字典的彩色与深度图像后处理方法，其在训练阶段，采用K-SVD方法对多幅无失真彩色图像中的所有子块构成的集合、多幅无失真深度图像中的所有子块构成的集合进行字典训练操作，构造得到彩色字典表和深度字典表；在测试阶段，根据彩色字典表和深度字典表，考虑到彩色特征空间与深度特征空间之间的几何关系，对待处理的彩色与深度图像构造联合字典表，根据联合字典表对彩色与深度图像进行后处理，得到后处理的彩色与深度图像；优点是在训练阶段不需要复杂的机器学习训练过程，在测试阶段只需构造能反映彩色与深度图像本质特征的联合字典，根据联合字典表进行后处理操作，能够保持更好的对象轮廓信息，提高虚拟视点图像的质量。

【技术实现步骤摘要】

本专利技术涉及一种视频信号的处理方法，尤其是涉及一种基于联合字典的彩色与深度图像后处理方法。
技术介绍
随着通信技术和视频技术的不断成熟，高质量的视觉体验成为发展的主流，而3D视频能够提供深度信息，满足人们对立体感和真实感的视觉需求。但是3D视频的数据量非常庞大，需要进行编码以适应传输或存储的要求。近年来，基于块的离散余弦变换已经广泛的应用于图像和视频压缩之中，如：JPEG、MPEG、H.264/AVC等，然而，视频经过编码后会产生块效应，并严重影响观看和绘制效果，因此有效的滤波后处理技术已成为研究的热点。现有的视频编码标准采用环路处理方法将去除块效应操作嵌入到编码框架中，这样能有效地避免块效应在帧间的传播；或者通过采用滤波方法对解码视频图像进行后处理，但这类方法更多的是考虑如何提升编码，而经过压缩后的彩色与深度图像，结构信息会发生严重的退化，而彩色与深度图像本身存在较强的结构关联度，因此，如何构造能反映彩色与深度图像本质特征的联合字典，如何根据联合字典来对彩色与深度图像进行后处理操作，都是在对彩色与深度图像后处理研究中需要重点解决的技术问题。
技术实现思路
本专利技术所要解决的技术问题是提供一种基于联合字典的彩色与深度图像后处理方法，其能够充分地恢复出彩色与深度图像的结构信息，能够有效地提高虚拟视点图像的绘制性能。本专利技术解决上述技术问题所采用的技术方案为：一种基于联合字典的彩色与深度图像后处理方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：①-1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像，将由N幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N本文档来自技高网...

【技术保护点】
一种基于联合字典的彩色与深度图像后处理方法，其特征在于包括训练阶段和测试阶段两个过程，所述的训练阶段过程的具体步骤如下：①‑1、选取N幅宽度为W且高度为H的原始的无失真彩色图像及对应的深度图像，将由N幅原始的无失真彩色图像构成的彩色图像集合记为{Ii,org|1≤i≤N}，将由N幅原始的无失真彩色图像对应的深度图像构成的深度图像集合记为{Di,org|1≤i≤N}，其中，N≥1，Ii,org表示{Ii,org|1≤i≤N}中的第i幅彩色图像，Di,org表示{Di,org|1≤i≤N}中的第i幅深度图像，Ii,org与Di,org对应；①‑2、将{Ii,org|1≤i≤N}中的每幅彩色图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K‑SVD方法对{Ii,org|1≤i≤N}中的所有彩色图像中的子块构成的集合进行字典训练操作，构造得到{Ii,org|1≤i≤N}的彩色字典表，记为Dc，其中，Dc的维数为64×K，K表示设定的字典的个数，K≥1；同样，将{Di,org|1≤i≤N}中的每幅深度图像划分成个互不重叠的尺寸大小为8×8的子块；然后采用K‑SVD方法对{Di,org|1≤i≤N}中的所有深度图像中的子块构成的集合进行字典训练操作，构造得到{Di,org|1≤i≤N}的深度字典表，记为Dd，其中，Dd的维数为64×K；所述的测试阶段过程的具体步骤如下：②‑1、对于任意一幅宽度为W'且高度为H'的经JPEG编码失真的彩色图像Itest及对应的经JPEG编码失真的深度图像Dtest；②‑2、将Itest划分成个互不重叠的尺寸大小为8×8的子块；同样，将Dtest划分成个互不重叠的尺寸大小为8×8的子块；然后根据Itest中的所有子块构成的集合和Dtest中的所有子块构成的集合、在训练阶段构造得到的Dc和Dd，获取Itest和Dtest的联合字典表，记为{Dc,test,Dd,test}，其中，Dc,test为{Dc,test,Dd,test}中的彩色字典表，Dd,test为{Dc,test,Dd,test}中的深度字典表，Dc,test和Dd,test的维数均为64×K，K表示设定的字典的个数，K≥1；②‑3、根据Dc,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为通过求解得到，其中，的维数为K×1，min( )为取最小值函数，符号“|| ||0”为求取矩阵的0‑范数符号，符号“|| ||2”为求取矩阵的2‑范数符号，Tp1为误差系数；同样，根据Dd,test，获取中的每个列向量的稀疏系数矩阵，将的稀疏系数矩阵记为通过求解得到，其中，的维数为K×1，Tp2为误差系数；②‑4、计算中的每个列向量的重建向量，将的重建向量记为然后将中的每个列向量的重建向量中的每个元素的值作为Itest中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为Itest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Itest的后处理图像，记为I'test，其中，1≤j≤64；同样，计算中的每个列向量的重建向量，将的重建向量记为然后将中的每个列向量的重建向量中的每个元素的值作为Dtest中对应的子块中对应的像素点经后处理后的像素值，对于中的第j个元素的值，将其作为Dtest中的第t'个子块中的第j个像素点经后处理后的像素值，从而得到Dtest的后处理图像，记为D'test。...

【技术特征摘要】
1.一种基于联合字典的彩色与深度图像后处理方法，其特征在于包括训练阶段和测试
阶段两个过程，所述的训练阶段过程的具体步骤如下：
①-1、...

【专利技术属性】
技术研发人员：邵枫，袁其政，李福翠，
申请(专利权)人：宁波大学，
类型：发明
国别省市：浙江;33