一种生成虚拟视图的方法及装置制造方法及图纸

本发明专利技术提供一种生成虚拟视图的方法及装置，用以解决现有技术中存在的虚拟视图中存在空洞的技术问题，提高虚拟视图的质量。该方法包括：获得原始图像以及所述原始图像的原始深度图；基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图；基于所述原始图像及所述处理后的深度图，生成基本虚拟视图；对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。

【技术实现步骤摘要】
一种生成虚拟视图的方法及装置
本专利技术涉及图像处理领域，尤其涉及一种生成虚拟视图的方法及装置。
技术介绍
随着电子技术的发展，由于3D显示技术的广泛应用，传统的人为交互式手动2D-3D转换已经远远不能满足市场的需求，因而，自动2D转3D技术便具备了巨大的潜在价值。在现有技术中，自动转换技术包含两个核心步骤：（1）深度图生成；（2）左右虚拟视图生成。步骤1的任务是从2D影像中去寻找2D影像空间第三维的深度信息并以深度图的形式保存深度信息；步骤2利用2D影像和步骤1所得的深度图生成3D影像显示所必需的左右视图。但是因为在视图生成过程中，新视图中的某些像素点在原始的视图里找不到对应的点，就会产生空洞，降低虚拟视图的质量。
技术实现思路
本专利技术提供一种生成虚拟视图的方法及装置，用以解决现有技术中存在的虚拟视图中存在空洞的技术问题，提高虚拟视图的质量。第一方面，本专利技术提供一种生成虚拟视图的方法，包括：获得原始图像以及所述原始图像的原始深度图；基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图；基于所述原始图像及所述处理后的深度图，生成基本虚拟视图；对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。结合第一方面，在第一种可能的实现方式中，所述基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图，具体为：分别采用第一卷积核和第二卷积核，对所述原始深度图依次进行自适应滤波，获得所述处理后的深度图。结合第一种可能的实现方式，在第二种可能的实现方式中，根据下列公式对所述原始深度图采用第一卷积核进行预处理：其中，D(t+1)(x,y)＝max(D(t+1)(x,y),D(t)(x,y))，t表示迭代次数且t=0,1,2……，D(t)(x,y)为在第t次迭代时输入的深度图中的像素深度值，D(t+1)(x,y)为在第t次迭代后得到的深度图中的像素深度值，w(x,y)为第一卷积核，，为在第t次迭代时输入的深度图中的像素水平方向梯度，为在第t次迭代时输入的深度图中的像素竖直方向梯度，N(x,y)为标准化因子，x为像素的横坐标，y为像素的纵坐标，i为像素的横轴偏移量，j为像素的纵轴偏移量。结合第一种可能的实现方式，在第三种可能的实现方式中，根据下列公式对所述原始深度图采用第二卷积核进行预处理：其中，D(t+1)(x,y)＝max(D(t+1)(x,y),D(t)(x,y))，t表示迭代次数且t=0,1,2……，D(t)(x,y)为在第t次迭代时输入的深度图中的像素深度值，D(t+1)(x,y)为在第t次迭代后得到的深度图中的像素深度值，w(x,y)为第二卷积核，为在第t次迭代时输入的深度图中的像素水平方向梯度，为在第t次迭代时输入的深度图中的像素竖直方向梯度，h为阈值。结合第一方面以及第一种可能的实现方式至第三种可能的实现方式中的任一项，在第四种可能的实现方式中，所述基于所述原始图像及所述处理后的深度图，生成基本虚拟视图，具体包括：根据深度图中像素的深度值，计算所述虚拟视图中像素与所述原始视图中像素之间的水平像素级视差；根据所述原始视图中像素以及所述像素级视差，生成所述基本虚拟视图。结合第一方面以及第一种可能的实现方式至第四种可能的实现方式中的任一项，在第五种可能的实现方式中，所述对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图，具体包括：对所述基本虚拟视图进行下采样缩减，获得缩减图；对所述缩减图进行反卷积扩充，得到扩充图；采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。结合第一方面以及第一种可能的实现方式至第四种可能的实现方式中的任一项，在第六种可能的实现方式中，所述对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图，具体包括：对所述基本虚拟视图进行深度自适应缩减，获得缩减图；对所述缩减图进行反卷积扩充，获得扩充图；采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。结合第六种可能的实现方式，在第七种可能的实现方式中，根据以下公式对所述基本虚拟视图进行深度自适应缩减：其中，fk是Rk对应的深度自适应的权值图，Rk+1是缩减后的图像，Rk是缩减前的图像，nz(Rk[2x,2y])是Rk在点[2x，2y]处5*5窗口内非零值的个数。结合第六种可能的实现方式或者第七种可能的实现方式，在第八种可能的实现方式中，所述对所述缩减图进行反卷积扩充，获得扩充图，具体包括：对所述缩减图进行上采样，获得上采样结果；对所述上采样结果进行反卷积计算，获得所述扩充图。第二方面，本专利技术提供一种生成虚拟视图的装置，包括：图像获取单元，用于获得原始图像以及所述原始图像的原始深度图；预处理单元，用于基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图；基本虚拟视图生成单元，用于基于所述原始图像及所述处理后的深度图，生成基本虚拟视图；填洞单元，用于对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。结合第二方面，在第一种可能的实现方式中，所述预处理单元，具体用于：分别采用第一卷积核和第二卷积核，对所述原始深度图依次进行自适应滤波，获得所述处理后的深度图。结合第二方面或者第一种可能的实现方式，在第二种可能的实现方式中，所述基本虚拟视图生成单元，具体包括：水平像素级视差计算单元，用于根据深度图中像素的深度值，计算所述虚拟视图中像素与所述原始视图中像素之间的水平像素级视差；基本虚拟视图生成子单元，用于根据所述原始视图中像素以及所述像素级视差，生成所述基本虚拟视图。结合第二方面、第一种可能的实现方式或者第二种可能的实现方式，在第三种可能的实现方式中，所述填洞单元，具体包括：缩减单元，用于对所述基本虚拟视图进行下采样缩减，获得缩减图；扩充单元，用于对所述缩减图进行反卷积扩充，得到扩充图；分层填洞单元，用于采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。结合第二方面以及第一种可能的实现方式至第三种可能的实现方式中的任一项，在第四种可能的实现方式中，所述填洞单元，具体包括：缩减单元，用于对所述基本虚拟视图进行深度自适应缩减，获得缩减图；扩充单元，用于对所述缩减图进行反卷积扩充，得到扩充图；分层填洞单元，用于采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。结合第三种可能的实现方式或者第四种可能的实现方式，在第五种可能的实现方式中，所述扩充单元，具体包括：上采样单元，用于对所述缩减图进行上采样，获得上采样结果；反卷积单元，用于对所述上采样结果进行反卷积计算，获得所述扩充图。本专利技术的有益效果：由于在获得原始图像以及原始图像的原始深度图之后，首先，基于自适应滤波算法，对原始深度图进行预处理，获得处理后的深度图，平滑了具有较大深度变化的垂直边缘而尽量保留水平边缘，从而有效减少了其后生成基本视图中的空洞数目和图像的扭曲变形现象，然后，基于原始图像及处理后的深度图，生成基本虚拟视图，接下来，对基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图，有效消除了剩余的空洞，并使得最终生成的虚拟视图具有较为清晰的边缘和较为一致的纹理结果，提高了生成的虚拟视图的质量。附图说明图1为本专利技术一实施例中的生成虚拟视图的方法流程图；图2为本专利技术一实施例中的对基本虚拟视图基于反卷积本文档来自技高网...

【技术保护点】
一种生成虚拟视图的方法，其特征在于，包括：获得原始图像以及所述原始图像的原始深度图；基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图；基于所述原始图像及所述处理后的深度图，生成基本虚拟视图；对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。

【技术特征摘要】
1.一种生成虚拟视图的方法，其特征在于，包括：获得原始图像以及所述原始图像的原始深度图；基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图；所述基于自适应滤波算法，对所述原始深度图进行预处理，获得处理后的深度图，具体为：分别采用第一卷积核和第二卷积核，对所述原始深度图依次进行自适应滤波，获得所述处理后的深度图；其中，根据下列公式对所述原始深度图采用第一卷积核进行预处理：其中，D(t+1)(x,y)＝max(D(t+1)(x,y),D(t)(x,y))，t表示迭代次数且t＝0,1,2……，D(t)(x,y)为在第t次迭代时输入的深度图中的像素深度值，D(t+1)(x,y)为在第t次迭代后得到的深度图中的像素深度值，w(x,y)为第一卷积核，为在第t次迭代时输入的深度图中的像素水平方向梯度，为在第t次迭代时输入的深度图中的像素竖直方向梯度，N(x,y)为标准化因子，x为像素的横坐标，y为像素的纵坐标，i为像素的横轴偏移量，j为像素的纵轴偏移量；基于所述原始图像及所述处理后的深度图，生成基本虚拟视图；对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图。2.如权利要求1所述的方法，其特征在于，根据下列公式对所述原始深度图采用第二卷积核进行预处理：其中，D(t+1)(x,y)＝max(D(t+1)(x,y),D(t)(x,y))，t表示迭代次数且t＝0,1,2……，D(t)(x,y)为在第t次迭代时输入的深度图中的像素深度值，D(t+1)(x,y)为在第t次迭代后得到的深度图中的像素深度值，w(x,y)为第二卷积核，为在第t次迭代时输入的深度图中的像素水平方向梯度，为在第t次迭代时输入的深度图中的像素竖直方向梯度，h为阈值。3.如权利要求1或2所述的方法，其特征在于，所述基于所述原始图像及所述处理后的深度图，生成基本虚拟视图，具体包括：根据所述处理后的深度图中像素的深度值，计算出水平像素级视差，其中，所述水平像素级视差为所述基本虚拟视图中像素与所述原始图像中像素之间的水平像素级视差；根据所述原始图像中像素以及所述水平像素级视差，生成所述基本虚拟视图。4.如权利要求1或2所述的方法，其特征在于，所述对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图，具体包括：对所述基本虚拟视图进行下采样缩减，获得缩减图；对所述缩减图进行反卷积扩充，得到扩充图；采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。5.如权利要求1或2所述的方法，其特征在于，所述对所述基本虚拟视图进行基于反卷积算法的分层填洞，生成虚拟视图，具体包括：对所述基本虚拟视图进行深度自适应缩减，获得缩减图；对所述缩减图进行反卷积扩充，获得扩充图；采用所述扩充图对所述缩减图进行分层填洞，生成所述虚拟视图。6.如权利要求5所述的方法，其特征在于，根据以下公式对所述基本虚拟视图进行深度自适应缩减：

【专利技术属性】
技术研发人员：郑喆坤，韩明臣，孙增增，焦李成，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44