一种基于深度调整的3D视频舒适度改善方法技术

本发明专利技术公开了一种基于深度调整的3D视频舒适度改善方法。解决了一般3D视频观看不舒适、视觉体验不佳的问题。本发明专利技术包括以下步骤：S1：对左视点图、右视点图的深度图都进行预处理，得到预处理图；S2：对预处理图进行深度滤波，得到滤波图；S3：对滤波图进行深度去纹理，得到去纹理图；S4：根据去纹理图进行虚拟视点绘制，获得虚拟右视点彩色图；S5：用虚拟右视点彩色图和原始视点图进行替换得到改善的3D视频。本发明专利技术的增益效果是降低了视差、梯度变化、纹理对观感体验的影响，实现了整体舒适度的改善。

【技术实现步骤摘要】
一种基于深度调整的3D视频舒适度改善方法
本专利技术涉及立体视频舒适度增强和3D图像处理领域，尤其涉及一种基于深度调整的3D视频舒适度改善方法。
技术介绍
随着虚拟现实、增强现实以及全息投影等3D技术在人类生活中的应用发展，人类对3D影像的观看需求越来越大。目前，3D视频的生成和显示技术并不完善，其质量良莠不齐，当人们长时间观看质量较差的3D图像、视频时会产生一些不舒适的生理现象。比如申请号为CN201510275341.4名称为一种基于视差变化连续性调节的立体视频舒适度增强方法，它在立体视频解码过程中提取每个考察时段帧的视差和运动矢量信息，根据舒适度评价模型，计算每个考察时段的立体视频舒适度平均值并判断该考察时段的帧是否为非舒适帧，对非舒适帧进行视差调节的方法，这个过程是复杂的，且一般情况下通过后续计算的视差信息是不准确的。
技术实现思路
本专利技术解决一般3D视频观看不舒适、视觉体验不佳的问题，提供了一种基于深度调整的3D视频舒适度改善方法。为了解决上述存在的技术问题，本专利技术的技术方案是：一种基于深度调整的3D视频舒适度改善方法，3D视频包括左视点图和右视点图，左视点图和右视点图都包括彩色图和深度图，所述改善方法包括以下步骤：S1：对左视点图、右视点图的深度图都进行预处理，得到预处理图；S2：对预处理图进行深度滤波，得到滤波图；S3：对滤波图进行深度去纹理，得到去纹理图；S4：根据去纹理图进行虚拟视点绘制，获得虚拟右视点彩色图；S5：用虚拟右视点彩色图和原始视点图进行替换得到改善的3D视频。原始的深度图，其视差可能会存在过大的问题，预处理过程是对深度图深度值进行适当调整，降低过大视差对3D视频舒适度的影响。深度滤波的必要性在于它可以解决由深度图中梯度变化所造成的不适感。当纹理信息过多时，会导致人眼在融合3D影像时产生明显的融合困难，通过对图像进行去纹理操作可以改善提升舒适度。而对图像进行虚拟视点的绘制以及相关的替换可以实现整体观感体验的提升。作为上述方案的一种优选方案，所述预处理是将深度图的每一个像素点的深度值代入预处理的目标函数进行运算，运算后得到的图为预处理图，所述预处理的目标函数为：其中Zpro表示预处理之后的深度值，Z表示原始深度值，Zm表示该深度图像中深度最小值。在已有深度图中表现出来的深度像素值与深度呈反比，深度越小深度像素值越大，越接近于白色。式中的“0.8”比例表示将大于最大值一半的部分深度向远处移动80％，也就是当视差过大时，对其进行一定程度的调整。作为上述方案的一种优选方案，所述深度滤波是将预处理图的每一个像素点代入深度滤波的目标函数进行运算，运算后得到的图为滤波图，所述深度滤波的目标函数为：O(x，y)＝∑m，nZ(x+m，y+n)*K(m，n)其中O(x，y)表示滤波之后的(x，y)位置的像素输出值，(x，y)表示深度图像素点的位置，Z(x+m，y+n)表示预处理图(x+m，y+n)位置处的深度值。K(m，n)表示滤波器核，(m，n)表示滤波器核位置坐标示意图中的坐标，滤波器核采用高斯滤波。高斯滤波是一种线性滤波，是对整个图像进行加权平均的过程，不同于均值滤波器中所有模板系数都是1的情况，高斯滤波器的模板系数是变化的，该系数同像素与模板中心的距离成反比。采用高斯滤波是因为它能使梯度的变化趋于平滑，改善不适感。作为上述方案的一种优选方案，所述高斯滤波采用选择3×3的高斯核进行模糊，所述3×3的高斯核所对应的二维高斯函数的表达式为其中(x，y)表示3×3高斯核位置坐标图中的坐标，σ表示标准差，采用σ＝0.8进行坐标修正，σ＝0.8是根据有效次试验获取的最佳数值。深度滤波目标函数中的K(m，n)的表达式采用二维高斯函数的表达式，即K(m，n)＝h(m，n)。作为上述方案的一种优选方案，所述坐标修正包括以下步骤：S51：将3×3高斯核位置坐标图中的9个坐标代入二维高斯函数，求得对应的9个值；S52：对9个值进行求和，取和的倒数为α；S53：将3×3高斯核位置坐标图中的9个坐标都乘以α，得到新的3×3高斯核位置坐标图；S54：将新的3×3高斯核位置坐标图中9个坐标值代入深度滤波的目标函数，以进行相应计算。权重计算本质上就是获得9个系数，9个系数代入到深度滤波的目标函数，相当于是将每个像素点作为中心，该像素点与其偏移的周围8个像素点分别与每个系数相乘，最后对9个积求和，得到该中心像素点所在位置的像素输出值。作为上述方案的一种优选方案，所述深度去纹理包括以下步骤：S61：使用Z＝[Z(i，j)]W×H表示分辨率为W×H的给定滤波图并且进行DCT变换；所述DCT变换的目标函数为：其中：W和H表示分辨率的两个值，(i，j)表示滤波图中像素点的坐标，(μ，v)表示经过DCT变换后的滤波图中像素点的坐标，u表示二维波的水平方向频率，v为二维波的垂直方向频率。S62：将DCT变换的结果经过阈值限定后进行反DCT变换，获得去纹理图，阈值限定的目标函数为：其中DM表示去纹理图，T为实验选择的阈值。当纹理信息过多时，会导致人眼在融合3D影像时产生明显的融合困难，因此通过对图像进行去纹理操作可以让人眼更容易融合3D影响，从而改善提升舒适度。作为上述方案的一种优选方案，所述虚拟视点绘制采用DIBR绘制，包括以下步骤：S71：修正LeftNearestDepthValue、LeftFarthestDepthValue、RightNearestDepthValue和RightFarthestDepthValue，修正的目标函数为：DVad＝DVor-DVor×0.1其中DVad代表调整之后的最大深度值和最小深度值，DVor代表原始深度最大值和最小值，LeftNearestDepthValue表示左视点去纹理图的深度最小值，LeftFarthestDepthValue表示左视点去纹理图的深度最大值，RightNearestDepthValue表示右视点去纹理图的深度最小值，RightFarthestDepthValue表示右视点去纹理图的深度最大值；S72：根据LeftNearestDepthValue、LeftFarthestDepthValue、RightNearestDepthValue和RightFarthestDepthValue进行DIBR绘制得到虚拟右视点彩色图。通过DIBR绘制虚拟右视点彩色图1定程度上也减小了视差。作为上述方案的一种优选方案，所述用虚拟右视点彩色图和原始视点图进行替换是将虚拟右视点彩色图、原始左视点彩色图、左视点去纹理图和右视点去纹理图替换原3D视频中的右视点彩色图、左视点彩色图、左视点深度图和右视点深度图。将虚拟右视点彩色图与原始左视点图、左右视点的去纹理图结合并替换原有的图从而实现整体的3D视频舒适度改善。与现有技术相比，本专利技术本文档来自技高网...

【技术保护点】
1.一种基于深度调整的3D视频舒适度改善方法，3D视频包括左视点图和右视点图，左视点图和右视点图都包括彩色图和深度图，其特征在于，所述改善方法包括以下步骤：/nS1：对左视点图、右视点图的深度图都进行预处理，得到预处理图；/nS2：对预处理图进行深度滤波，得到滤波图；/nS3：对滤波图进行深度去纹理，得到去纹理图；/nS4：根据去纹理图进行虚拟视点绘制，获得虚拟右视点彩色图；/nS5：用虚拟右视点彩色图和原始视点图进行替换得到改善的3D视频。/n

【技术特征摘要】
1.一种基于深度调整的3D视频舒适度改善方法，3D视频包括左视点图和右视点图，左视点图和右视点图都包括彩色图和深度图，其特征在于，所述改善方法包括以下步骤：
S1：对左视点图、右视点图的深度图都进行预处理，得到预处理图；
S2：对预处理图进行深度滤波，得到滤波图；
S3：对滤波图进行深度去纹理，得到去纹理图；
S4：根据去纹理图进行虚拟视点绘制，获得虚拟右视点彩色图；
S5：用虚拟右视点彩色图和原始视点图进行替换得到改善的3D视频。


2.根据权利要求1所述的一种基于深度调整的3D视频舒适度改善方法，其特征在于，所述预处理是将深度图的每一个像素点的深度值代入预处理的目标函数进行运算，运算后得到的图为预处理图，所述的预处理的目标函数为：



其中Zpro表示预处理之后的深度值，Z表示原始深度值，Zm表示该深度图像中深度最小值。


3.根据权利要求1所述的一种基于深度调整的3D视频舒适度改善方法，其特征在于，所述深度滤波是将预处理图的每一个像素点代入深度滤波的目标函数进行运算，运算后得到的图为滤波图，深度滤波的目标函数为：
O(x，y)＝∑m，nZ(x+m，y+n)*K(m，n)
其中O(x，y)表示滤波之后的(x，y)位置的像素输出值，(x，y)表示深度图像素点的位置，Z(x+m，y+n)表示深度图(x+m，y+n)位置处的深度值。


4.K(m，n)表示滤波器核，(m，n)表示滤波器核位置坐标示意图中的坐标，滤波器核采用高斯滤波。


5.根据权利要求3所述的一种基于深度调整的3D视频舒适度改善方法，其特征在于，所述高斯滤波采用选择3×3的高斯核进行模糊，所述3×3的高斯核所对应的二维高斯函数的表达式为其中(x，y)表示3×3高斯核位置坐标图中的坐标，σ表示标准差，采用σ＝0.8进行坐标修正，σ＝0.8是根据有效次试验获取的最佳数值。


6.根据权利要求4所述的一种基于深度调整的3D视频舒适度改善方法，其特征在于，所述坐标修正包括以下步骤：
S51：将3×3高斯核位置坐标图中的9个坐标代入二维高斯函数，求得对应的9个值；
S52：对9个值进行求和，取和的倒数为α；
S53：将3×3高斯核位置坐标图中的9个坐标都乘以α，得到新的3×3高斯核位置坐标图；
S54：将新的3×3...

【专利技术属性】
技术研发人员：尉婉丽，周洋，梁文青，谢菲，周辉，殷海兵，陆宇，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33