基于K-means模型的双视点立体视频融合方法技术

本发明专利技术方法公开了基于K‑means模型的双视点立体视频融合方法。本发明专利技术方法首先对左、右视点深度图进行预处理，得到左、右视点深度图像；然后分别对左、右视点深度图像运用K‑means方法进行分割，对分割后的前景和背景区域深度图像进行三维投射运算，得到左、右视点的前景和背景绘制图像；以前景绘制图像为蓝本，用背景绘制图像填充前景绘制图像的空缺区域，将填充后的左、右视点绘制图像进行图像融合，获得虚拟视点绘制图像；最后将虚拟视点绘制图像的空洞区域根据空洞周围的像素信息进行加权填充，获得最终输出图像。本发明专利技术方法采用像素级别的操作，对空洞区域进行精准处理，使绘制效果在视觉效果上更加优质，更加协和。

Two view stereo video fusion method based on K-means model

【技术实现步骤摘要】
基于K-means模型的双视点立体视频融合方法
本专利技术属于立体视频编解码
，涉及一种基于K-means模型的双视点立体视频融合方法，是针对双视点图像融合过程的改进。
技术介绍
目前基于深度图像的绘制方法(DepthImageBasedRendering，DIBR)是绘制不同视角观察图像的主要方法。根据现有的图像将另一视角的图像进行绘制，从而得到在不同视角下所观察到的图像。该绘制方法中最关键的部分是进行3D-WARPING过程。该过程是将一幅图像先恢复至三维模型，然后在另外一处目标视点附近将该三维模型重新投影到目标平面得到虚拟视点处的图像。在恢复三维模型和投影到平面的的过程中，图像的深度信息是非常关键的。每一个像素的深度信息都是非常关键的，两个视图深度信息之间的倍数会直接影响到绘制后的结果。DIBR技术中最关键的部分为3D图像变换(3DImageWraping)它是一种针对图像像素进行变化的操作。通过三维变换将参考图像像素点映射到目标视图中，从而形成和参考图像相对应的原始目标视图。整个虚拟视点绘制过程可分为两部分，首先通过输入深度图像进行投射运算可以得到虚拟视点所对应的深度图。为了得到虚拟视点处的深度图像，最便捷的方法是通过三维投射运算过程(3d-warping)完成。此过程将一幅图像先反向投射至三维空间中形成立体模型，然后在虚拟视点将该立体模型重新投影到目标平面得到虚拟视点图像。
技术实现思路
本专利技术的目的是提供一种基于K-means模型的双视点立体视频融合方法。r>本专利技术方法步骤是：步骤(1)对左视点深度图和右视点深度图进行预处理，得到左视点深度图像和右视点深度图像；步骤(2)分别对左视点深度图像和右视点深度图像运用K-means方法进行分割，分为前景区域深度图像和背景区域深度图像，分别对前景区域深度图像和背景区域深度图像进行三维投射运算，得到左视点的前景绘制图像和背景绘制图像、右视点的前景绘制图像和背景绘制图像；步骤(3)分别将左视点和右视点的前景绘制图像和背景绘制图像进行融合：以前景绘制图像为蓝本，用背景绘制图像填充前景绘制图像的空缺区域；得到左视点绘制图像和右视点绘制图像；将填充后的左视点绘制图像和右视点绘制图像进行图像融合，获得虚拟视点绘制图像；步骤(4)将虚拟视点绘制图像的空洞区域根据空洞周围的像素信息进行加权填充，获得最终输出图像。进一步，步骤(1)中所述的预处理包括噪声去除处理和图像平滑处理；其中，噪声去除处理是选取残差神经网络进行处理，图像平滑处理是对噪声去除处理后图像进行开运算处理。进一步，步骤(2)具体是：通过K-means方法对输入的左视点深度图像进行聚类运算并进行分割，方法是：输入深度图像的像素点像素值分布概率为{p0,p1,…,p255}，pi为像素值为i的像素点的分布概率，i＝0,1,…,255；设置k个阈值{τ1,τ2,…,τk}输入到K-means运算中，计算每个像素值与每个阈值间的最小欧式距离最小欧式距离对应的阈值作为第一次填充值；同时输出新的k个阈值{τ′1,τ′2,…,τ′k}作为下一次迭代运算的输入；每经过一次迭代，选取的阈值τj发生改变；将τj调整为集合Cj内所有元素的统计平均值，Cj为在τj至τj+1之间的像素集合：x为Cj中的像素；前景区域掩模图前景区域深度图像FG＝Depth×MODFG；背景区域掩模图背景区域深度图像BG＝Depth×MODBG；K(i,j)表示填充结果像素值，对应的像素坐标为(i,j)，Depth表示深度图像；对前景区域深度图像和背景区域深度图像分别进行三维投射运算，获得前景区域绘制深度图像和背景区域绘制深度图像；分别将前景区域绘制深度图像和背景区域绘制深度图像与原视点的彩色图像分别进行三维投射运算，获得左视点的前景绘制图像和背景绘制图像；对右视点深度图像进行相同操作，获得右视点的前景绘制图像和背景绘制图像。又进一步，步骤(3)中将填充后左视点绘制图像和右视点绘制图像进行图像融合，得到虚拟视点绘制图像，图像中坐标为(x,y)的像素点的像素值Iblend(x,y)为：其中，l(x,y)∈⊙和r(x,y)∈⊙分别表示左视点和右视点在坐标(x,y)处为空洞区域，l(x,y)和分别表示左视点和右视点在坐标(x,y)处不是空洞区域；IL(x,y)和IR(x,y)分别表示左视点绘制图像和右视点绘制图像在坐标(x,y)处的像素值；左视点权重右视点权重RL和RR分别为左视点和右视点的空间旋转矩阵，TL和TR分别为左视点和右视点的空间平移向量。更进一步，步骤(4)中空洞区域由所有Iblend(x,y)＝0的像素构成，以每个Iblend(x,y)＝0的像素的坐标(x,y)为中心5×5大小的区域作为填充区域Ω，填充区域Ω内除(x,y)外的其他24个像素点分为四组，每组六个像素；最终输出图像坐标为(x,y)的像素点的像素值第m组内非空洞像素均值其中，H(x,y)表示坐标(x,y)处是否为空洞区域，如果是空洞区域则H(x,y)＝0，如果不是空洞区域则H(x,y)＝1；加权像素总和Y(x,y)为坐标(x,y)的优先级，W为优先级权重，t为优先级Y(x,y)简写。本专利技术方法运用噪声去除网络和平滑滤波方法对深度图像进行预处理，有效降低虚拟视点绘制过程中深度图像可能产生的绘制问题，对绘制彩色图像的提升过程也存在积极的影响。该方法将双视点图像进行融合并使用基于几何距离的加权滤波器对融合图像进行优化处理。打破以往通过寻找最佳匹配块的方法，采用像素级别的操作，对空洞区域进行精准处理，使绘制效果在视觉效果上更加优质，更加协和。具体实施方式基于K-means模型的双视点立体视频融合方法，具体是：步骤(1)对左视点深度图和右视点深度图进行预处理，得到左视点深度图像和右视点深度图像；预处理包括噪声去除处理和图像平滑处理；其中，噪声去除处理是选取残差神经网络进行处理，图像平滑处理是对噪声去除处理后图像进行开运算处理。步骤(2)分别对左视点深度图像和右视点深度图像运用K-means方法进行分割，分为前景区域深度图像和背景区域深度图像，分别对前景区域深度图像和背景区域深度图像进行三维投射运算(3d-warping)，得到左视点的前景绘制图像和背景绘制图像、右视点的前景绘制图像和背景绘制图像；具体是：通过K-means方法对输入的左视点深度图像进行聚类运算并进行分割，K-means方法为基于数据统计的聚类方法，将一组数据中相似度较高的数据聚集成一类，然后将数据分为k组集群,使集群之间的距离尽可能达到最大，方法是：输入深度图像的像素点像素值分布概率为{p0,p1,…,p255}，pi为像素值为i的像素点的分布概率，i＝0,1,…,255；设置k个阈值{τ1,τ2,…,τk}输入到K-means运算中，计算每个像素值与每个阈值间的最小欧式距离最小欧式本文档来自技高网...

【技术保护点】
1.基于K-means模型的双视点立体视频融合方法，其特征在于，该方法步骤是：/n步骤(1)对左视点深度图和右视点深度图进行预处理，得到左视点深度图像和右视点深度图像；/n步骤(2)分别对左视点深度图像和右视点深度图像运用K-means方法进行分割，分为前景区域深度图像和背景区域深度图像，分别对前景区域深度图像和背景区域深度图像进行三维投射运算，得到左视点的前景绘制图像和背景绘制图像、右视点的前景绘制图像和背景绘制图像；/n步骤(3)分别将左视点和右视点的前景绘制图像和背景绘制图像进行融合：以前景绘制图像为蓝本，用背景绘制图像填充前景绘制图像的空缺区域；得到左视点绘制图像和右视点绘制图像；将填充后的左视点绘制图像和右视点绘制图像进行图像融合，获得虚拟视点绘制图像；/n步骤(4)将虚拟视点绘制图像的空洞区域根据空洞周围的像素信息进行加权填充，获得最终输出图像。/n

【技术特征摘要】
1.基于K-means模型的双视点立体视频融合方法，其特征在于，该方法步骤是：
步骤(1)对左视点深度图和右视点深度图进行预处理，得到左视点深度图像和右视点深度图像；
步骤(2)分别对左视点深度图像和右视点深度图像运用K-means方法进行分割，分为前景区域深度图像和背景区域深度图像，分别对前景区域深度图像和背景区域深度图像进行三维投射运算，得到左视点的前景绘制图像和背景绘制图像、右视点的前景绘制图像和背景绘制图像；
步骤(3)分别将左视点和右视点的前景绘制图像和背景绘制图像进行融合：以前景绘制图像为蓝本，用背景绘制图像填充前景绘制图像的空缺区域；得到左视点绘制图像和右视点绘制图像；将填充后的左视点绘制图像和右视点绘制图像进行图像融合，获得虚拟视点绘制图像；
步骤(4)将虚拟视点绘制图像的空洞区域根据空洞周围的像素信息进行加权填充，获得最终输出图像。


2.如权利要求1所述的基于K-means模型的双视点立体视频融合方法，其特征在于，步骤(1)中所述的预处理包括噪声去除处理和图像平滑处理；其中，噪声去除处理是选取残差神经网络进行处理，图像平滑处理是对噪声去除处理后图像进行开运算处理。


3.如权利要求1所述的基于K-means模型的双视点立体视频融合方法，其特征在于，步骤(2)具体是：
通过K-means方法对输入的左视点深度图像进行聚类运算并进行分割，方法是：
输入深度图像的像素点像素值分布概率为{p0,p1,…,p255}，pi为像素值为i的像素点的分布概率，i＝0,1,…,255；
设置k个阈值{τ1,τ2,…,τk}输入到K-means运算中，计算每个像素值与每个阈值间的最小欧式距离最小欧式距离对应的阈值作为第一次填充值；同时输出新的k个阈值{τ′1,τ′2,…,τ′k}作为下一次迭代运算的输入；
每经过一次迭代，选取的阈值τj发生改变；将τj调整为集合Cj内所有元素的统计平均值，Cj为在τj至τj+1之间的像素集合：x为Cj中的像素；
前景区域掩模图前景区域深度图像FG＝Depth×MODFG；
背景区域掩模图背景区域深度图像BG＝Depth×MODBG；K(i,j)表示填充结果像素值，对应的像素坐标为(i,j)，Depth表示深度图像；
对前景区域深度图像和背景区域深...

【专利技术属性】
技术研发人员：周洋，张博文，崔金鹏，梁文青，殷海兵，陆宇，黄晓峰，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33