本发明专利技术公开了一种基于深度传感器的在线视频分割后的处理方法及系统，该方法包括：步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像；步骤2，对该二值分割图像中的前景孔洞进行检测和填充，得到前景孔洞填充后的二值图像；步骤3，对该前景孔洞填充后的二值图像进行边界优化，获取优化后的二值图像；步骤4，将该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。本发明专利技术解决了基于深度传感器的在线视频分割在深度非连续处容易出错和现有技术在准确度和实时性上存在顾此失彼的问题，提供了一种满足实时性要求的高质量的基于深度传感器的在线视频分割后处理方法和虚实融合系统。
【技术实现步骤摘要】
本专利技术涉及视频内容分析、图像处理和计算机视觉领域，特别是涉及一种基于深度传感器的在线视频分割后的处理方法及系统。
技术介绍
随着普适计算技术和视频编码技术以及宽频网络技术的发展，在因特网上通过远程视频实现位于不同地方的人的共同交流和通讯成为21世纪的新热点，并展现出广阔的应用前景。除了传统的行政会议和办公会议的应用范畴，远程视频交互的应用范围已经扩展到远程医疗，远程教育、远程商务会议和法律等等领域。最近几年，远程视频交互逐步向提供沉浸式体验发展，目的是让参与者有身临奇境的感觉，但是目前的远程视频还存在很多问题，并不如“面对面”交流自然，其中一个重要的问题就是交流具备严重的空间隔离感，由于视频交互用户处于不同的空间位置，因此通过简单的图像拼接技术并不能实现多个场景的自然融合，从而不能让会话人感到所有会话成员都在同一个会话空间之中，产生心灵的隔阂。实时高质量的在线视频分割技术通过准确的前景提取，并结合虚实融合技术可以实现不同物理位置的用户犹如身处同一个虚拟会话空间。在线视频分割指的是提取在线视频中的前景(多为人体)，其目的是将用户感兴趣的物体(即前景)与视频帧中的其它部分(即背景)分离开，以便对前景进行特殊处理，如背景替换和虚实融合。所谓虚实融合，指的是将提取的前景与虚拟场景融合到一个统一的三维空间中。为了获得高质量的融合效果，用于前景提取的分割方法必须要能得到物体的精确边界，前景提取的结果可用像素的alpha值来表示，alpha值等于0表示像素是背景，alpha值等于I表示像素是前景。对于软分割或抠图，alpha值可取0到I之间的连续值。由于在线视频分割不能有用户交互，且其对算法的速度和鲁棒性都有较高的要求，因此到目前为止还处于非常初级的研究阶段。为了达到实时，在线视频分割方法很难借鉴图像和视频抠图的技术，而只能对输入图像进行逐帧的二元分割。一种二元分割方法是将分割问题转化为一个马尔科夫随机场的能量最小化问题，并使用图切割算法快速地求解。为了获取高质量的二元分割，传统的方法是提取多种能用于区分前景和背景的特征，并将这些特征融入到现有的图像分割框架中。常用的特征有颜色分布、图像边缘、背景图等。除此之外，在线视频分割还能采用一些新的特征，如深度信息。由于深度信息对于光照变化的鲁棒性，因此，利用深度信息对改善分割结果很有帮助。但是，由于深度传感器获取的实时深度图像在深度非连续处容易出错，而且非常不稳定，从而导致分割结果在边界附近出现闪烁。为了获得较好的视觉效果，改善基于深度信息的前景分割结果，一种方法是在分割之后融合彩色图像中提取的多种额外信息提高分割精度。由于前、背景边界处经常就是深度非连续处，因此存在严重的误分割。一种后处理方法是利用边界像素的局部颜色模型和边界模型估算其混合alpha值，由于该方法能够自适应地调整边界区域的宽度，使边界清晰但不生硬，在一定程度上保证了单帧分割结果的准确性和光滑性。但是该方法没有利用视频帧的时序分割结果，难以保证视频分割时序的一致性。采用抠图的方法也可以对边界进行优化，但是抠图的方法运行速度较慢，很难满足在线视频分割的实时性要求。综上，可以看出，目前分割后处理的方法很难在准确度和实时度上达到一个平衡，难以满足在线视频分割的要求。
技术实现思路
本专利技术的目的是解决针对基于深度传感器的在线视频分割在边界容易出错的现象，及现有技术在准确度和实时性上存在顾此失彼的问题，从而提供一种满足实时性要求的高质量的基于深度传感器的在线视频分割后处理方法和一套虚实融合系统。为实现上述目的，本专利技术提出了一种基于深度传感器的在线视频分割后的处理方法，包括步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像，在该二值图像中，0表示像素是背景，I表示像素是前旦牙、;步骤2，对该二值图像中的前景孔洞进行检测和填充，得到前景孔洞填充后的二值图像；步骤3，对该前景孔洞填充后的二值图像进行边界优化，获取优化后的二值图像；步骤4，将该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。所述步骤2包括步骤201，对所述二值图像进行轮廓检测，记轮廓个数为Num，初始化轮廓计数器n=l ；步骤202，判断n是否小于等于所述轮廓个数Num，当n小于等于所述轮廓个数Num时，执行步骤203 ;否则执行步骤3 ；步骤203，对第n个轮廓的内部区域进行标记，并记该轮廓及其内部包含区域为一个孔洞；步骤204，统计所述孔洞的区域对应位置的非零深度像素的个数；步骤205，判断所述个数是否为零，非零时执行步骤206，否则执行步骤211 ；步骤206，计算孔洞轮廓边缘及其权重；步骤207，计算孔洞区域背景相似度及其权重；步骤208，对所述孔洞轮廓边缘及其权重、所述孔洞区域背景相似度及其权重进行加权计算，得到孔洞背景相似度；步骤209，判断所述孔洞背景相似度是否小于给定的阈值Tb，小于时，执行步骤210，否则执行步骤211 ；步骤210，对所述孔洞进行前景填充得到所述前景孔洞填充后的二值图像；步骤211，对轮廓计数器n执行加一操作，并返回步骤202。所述步骤209中的阈值Tb为0. 3。所述步骤3包括步骤301，获取所述前景孔洞填充后的二值图像的前景、背景边界过渡区域；步骤302，计算所述边界过渡区域中每个像素的局部alpha值，此处的alpha值借鉴了软分割或抠图中的定义，用于反映前景和背景的合成情况。alpha值可取O到I之间的连续值，alpha值越趋近于O表示像素与背景越相似，alpha值越趋近于I表示像素与前景越相似；步骤303，计算所述边界过渡区域中每个像素相对前两帧的运动概率；步骤304，以运动概率为权值，计算所述边界过渡区域每个像素的时序分割结果和局部alpha值的加权和,得到混合alpha值；步骤305，判断所述混合alpha值是否大于给定的阈值Tf，大于时，将二值图像上对应位置的像素值置为1，表示该像素为前景；否则将二值图像上对应位置的像素值置为0，表示该像素为背景；步骤306，根据所述步骤305得到边界优化后的二值图像。所述步骤305中阈值Tf为0. 5。本专利技术还提供了一种基于深度传感器的在线视频分割后的处理系统，包括在线视频前、背景分割模块，基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割得到二值图像；检查填充模块，用于对该二值分割图像中的前景孔洞进行检测和填充得到前景孔洞填充后的二值图像；优化处理模块，用于对该前景孔洞填充后的二值图像进行边界优化，获取优化后的二值图像；虚实融合模块，用于将所述优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合合成视频。所述检查填充模块包括轮廓检测模块，用于对所述二值图像进行轮廓检测，记轮廓个数为Num，初始化轮廓计数器n=l ；第一判断模块，用于判断第n个轮廓的轮廓个数是否小于等于所述轮廓个数Num，当n小于等于所述轮廓个数Num时，执行孔洞标记模块，否则执行优化处理模块；孔洞标记模块，用于对所述第n个轮廓的内部区域进行标记，并记该轮廓及其内部包含区域为一个孔洞；统计模块，用于统计所述孔洞的区域对应位置的非零深度像素的个数；第二判断模块，用于判断个数是否为零，非零时执行计算模块，否本文档来自技高网...
【技术保护点】
一种基于深度传感器的在线视频分割后的处理方法，其特征在于，包括：步骤1，深度传感器基于视频帧和其对应的深度图像提取特征，对所述特征进行视频帧前景、背景分割，得到二值图像；步骤2，对该二值图像中的前景孔洞进行检测和填充，得到前景孔洞填充的二值图像；步骤3，对该前景孔洞填充的二值图像进行边界优化，获取优化后的二值图像；步骤4，将该优化后的二值图像融合虚拟背景和所述视频帧，生成虚实融合图像。
【技术特征摘要】
【专利技术属性】
技术研发人员：黄美玉，陈益强，纪雯，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。