适用于视频图像中显著人体实例分割的方法技术

为了解决现有技术的不足，本发明专利技术提供一种适用于视频图像中显著人体实例分割的方法：将视频序列中运动目标的运动持续性和时空结构一致性引入，实现基于此两者约束的一种将光流聚类、显著性检测和多特征投票相结合的人体实例分割方法。对于运动连续性，采用基于光流区域聚类的前景目标概率计算策略，即基于光流特征对区域进行聚类并以区域面积大小为权重计算前景概率，对于时空结构一致性，我们提出采用以融合显著性检测和基于粗轮廓的多特征投票策略，并结合显著性检测、区域邻帧光利差相，对具有完整轮廓的目标前景进行像素级别上的能量约束优化，从而实现未被遮挡的移动行人的实例分割。

【技术实现步骤摘要】
适用于视频图像中显著人体实例分割的方法
本专利技术属于图像处理
，具体为适用于视频图像中显著人体实例分割的方法。
技术介绍
实例分割是指在对图像中的每个像素都划分成对应的类别的基础上，将每类的具体对象，即实例，区别开来。但是实例分割的对象类别广泛，多应用于不同类别的刚性物体上[2-4]，对于柔性人的人体实例分割研究并不多。已有人体实例分割工作[3,5,6]对于当视频中的行人直立行走、动作简单且相互间交互和遮挡最少的时候，可以取得较好的分割结果。但是，实际场景中的行人情况通常都是比较复杂，常常会出现多个距离很近的人一起移动，或者相互交错。这样，在不同的姿势下，他们的四肢躯干会交织在一起，形成遮挡，使得离镜头更近的一个人挡住离镜头较远人的部分身体区域。这样，目前的方法很难分割出单独的行人目标。
技术实现思路
针对
技术介绍
中所描述的问题，本专利技术提出建立在基于光流区域聚类的前景目标概率计算为运动持续性约束项，融合显著性检测和基于粗轮廓的多特征投票为时空一致性约束项的能量模型之上的人体实例方割方法，即适用于视频图像中显著人体实例分割的方法。目前针对人体的实例分割方法一般采用自上而下的方法，即：首先运用行人检测得到场景中的人，然后进行像素级别的行人分割。这些的方法的不足是没有考虑连续视频序列中行人的肢体结构在运动信息和相对位置关系上保持着稳定的结构关系，而这种结构关系在不同的行人目标之间表现也是不同的，因此在距离很近、有遮挡情况和姿势异常的行人时，无法进行很好的分割。进一步分析发现：因为行人大多具有相似的纹理轮廓特征，而颜色特征取决于着装，所以不具有区分度。这样，如果只考虑区域之间颜色、几何、纹理等差异，不同实例区域差异不显著，分割结果会出现部分缺失或多余。但是，相比于单幅图像，视频中每个行人目标在前后帧有冗余的信息，特征重叠和补充，同一个目标在前后连续多帧中连续变化但保持结构一致性和运动的持续性不变。因此，本专利技术提出了一个新的运动和结构时空一致性相结合的人体实例分割方法，解决遮挡关系下的人体分割的不完整和误差问题。在运动时空一致性特征里，本文利用不同移动目标的光流信息，在空间上，同一实例区域内的光流差异小，而不同实例区域件的光流差异大；在时间上，同一实例区域在不同帧间光流大小差异趋于一致，不同实例区域光流差值差别较大；在结构一致性特征里，本文以超像素分割得到的超像素块为基础，在时间上，以超像素块的纹理特征用学习到的模板对待分割区域进行投票；在空间上，以超像素块的相邻区域特征用学习到的模板对待分割区域进行投票；提出基于粗轮廓多特征投票的实例分割方法。同时本文提出考虑视频场景中不同实例区域的显著性差异，最后将这些特征作为能量项放入能量模型中，进行全局优化。本专利技术具体如下：适用于视屏图像中人体实例分割的方法，按如下步骤进行：步骤1：获取原始视频；步骤2：对获取的每帧图像进行移动前景区域提取，获得每帧图像中移动行人的区域；步骤3：计算每一帧图像中移动行人的光流；步骤4：对步骤2所获得的移动的行人区域，利用行人目标的自身结构特征，进行结构一致性约束，获得每个像素的“基于结构一致性约束的属于显著前景目标的概率”；步骤5：对步骤3所获得的移动行人的光流，利用移动行人的运动特征，进行运动一致性约束，获得每个像素基于运动一致性约束的属于显著前景目标的概率；步骤6：由步骤4所获得的基于结构一致性约束的属于显著前景目标的概率和由步骤5所获得的基于运动一致性约束的属于显著前景目标的概率，建立基于运动和结构一致性的能量约束模型，，通过运动和结构两种特征的统一协调，获得能量约束最小化；步骤7：由步骤6所获得的满足能量最小化的像素标签，将图像中的属于同一标签的像素进行归类，获得实例分割处理结果，并输出移动行人的运动特征。换言之，本专利技术的方法可简单概括为：输入监控视频后，首先利用背景建模或邻帧差法计算每帧的移动前景区域，结合行人探测结果，得到总的移动人目标区域；在此基础上计算运动区域的光流，在空间关系上，用Meanshift方法对光流区域进行聚类，不同目标的运动速度的差异会在光流上表现出来，对光流进行区域聚类，进而可以分割成不同的区域，结合区域面积赋予权重，计算区域内像素的前景概率；在时间关系上根据光流找到某一位置的区域在相邻帧上的对应区域，并计算光流差，这两个方法通过光流从而达到了对运动持续性的约束。另一方面，我们进行显著性检测，由于不同目标由于离镜头远近、颜色差异的显著性是有差异的，得到不同行人目标的显著性，即每个像素属于前景的概率/移动行人的运动特征；同时利用提取的前景目标自身的轮廓对总的行人目标区域进行多特征投票，在时间上，以超像素块的纹理特征用学习到的模板对待分割区域进行投票；在空间上，以超像素块的相邻区域特征用学习到的模板对待分割区域进行投票得到最大可能属于前景的区域；最后，利用运动持续性和时空结构一致性约束，通过优化求解得到最终分割结果。进一步说，步骤4所述的结构一致性约束，其中结构一致性特征包括获取基于显著性检测的显著前景目标概率和获取基于粗轮廓多特征投票的显著前景目标概率；所述基于显著性检测的显著前景目标概率，是指由不同目标由于离镜头远近、颜色差异导致人眼观察时感兴趣区域是有差异的，得到不同行人目标的显著性是不同的，即每个像素属于显著前景的概率。；所述基于粗轮廓多特征投票的显著前景目标概率，是指利用提取的显著前景目标模板的自身的轮廓对总的移动行人目标区域进行多特征投票，在时间上，以超像素块的纹理特征用学习到的模板对待分割区域进行投票；在空间上，以超像素块的相邻区域特征用学习到的模板对待分割区域进行投票得到最大可能属于前景的区域，将每个超像素块的得票数与总票数相比，获得每个超像素块中每个像素属于显著前景的概率。进一步说，步骤5所述的运动一致性约束，包括获取相邻帧中同一位置区域的光流距离和获取基于光流区域聚类的前景概率；所述获取相邻帧中同一位置区域的光流距离，是指属于同一个目标的区域，在相邻帧之间光流保持相同的趋势，所以同一个目标区域光流在相邻帧之间的光流差也是固定的，不同目标的光流差大小具有差异。；所述获取基于光流区域聚类的前景概率，是指根据每个目标自身运动特征得到的光流信息，认定：光流方向大小相似且位置邻近的像素点是可以认定为是属于同一个区域里的，对图像中的光流进行聚类，将具有相同运动趋势的像素划分为一个区域，我们对每个聚类区域内进行光流统计，计算每个区域的光流总值和全图光流总值，再将区域光流总值乘以区域内像素个数权重，与全图总值相除，得到每个区域属于前景的概率值，即区域中每个像素的概率值。进一步说，在步骤2中，移动前景区域提取方法具体为VIBE算法；该算法采用基于像素级的背景建模和前景检测技术，它通过第一帧来初始化背景模型，然后对新来的每一帧中的像素做出前景背景判别，被判定为背景的像素通过一定的几率去更新背景模型中的样本。进一步说，在步骤3中，计算光流的具体方法为：在图像中所有的像素点处于二维平面坐标中，当像素点运动的时候，像素在X,Y方向上都会有运动分量，即为光流；假设t时刻坐标(x,y)的像素点R的灰度值为R(x,y,t),x、y两个方向上的光流分量分别设为u、v；然后分别在单位时间上求偏导u＝dx/dt,本文档来自技高网...

【技术保护点】
1.适用于视屏图像中人体实例分割的方法，其特征在于，按如下步骤进行：步骤1：获取原始视频；步骤2：对获取的每帧图像进行移动前景区域提取，获得每帧图像中移动行人的区域；步骤3：计算每一帧图像中移动行人的光流；步骤4：对步骤2所获得的移动的行人区域，利用行人目标的自身结构特征，进行结构一致性约束，获得每个像素的“基于结构一致性约束的属于显著前景目标的概率”；步骤5：对步骤3所获得的移动行人的光流，利用移动行人的运动特征，进行运动一致性约束，获得每个像素基于运动一致性约束的属于显著前景目标的概率；步骤6：由步骤4所获得的基于结构一致性约束的属于显著前景目标的概率和由步骤5所获得的基于运动一致性约束的属于显著前景目标的概率，建立基于运动和结构一致性的能量约束模型，，通过运动和结构两种特征的统一协调，获得能量约束最小化；步骤7：由步骤6所获得的满足能量最小化的像素标签，将图像中的属于同一标签的像素进行归类，获得实例分割处理结果，并输出。移动行人的运动特征。

【技术特征摘要】
1.适用于视屏图像中人体实例分割的方法，其特征在于，按如下步骤进行：步骤1：获取原始视频；步骤2：对获取的每帧图像进行移动前景区域提取，获得每帧图像中移动行人的区域；步骤3：计算每一帧图像中移动行人的光流；步骤4：对步骤2所获得的移动的行人区域，利用行人目标的自身结构特征，进行结构一致性约束，获得每个像素的“基于结构一致性约束的属于显著前景目标的概率”；步骤5：对步骤3所获得的移动行人的光流，利用移动行人的运动特征，进行运动一致性约束，获得每个像素基于运动一致性约束的属于显著前景目标的概率；步骤6：由步骤4所获得的基于结构一致性约束的属于显著前景目标的概率和由步骤5所获得的基于运动一致性约束的属于显著前景目标的概率，建立基于运动和结构一致性的能量约束模型，，通过运动和结构两种特征的统一协调，获得能量约束最小化；步骤7：由步骤6所获得的满足能量最小化的像素标签，将图像中的属于同一标签的像素进行归类，获得实例分割处理结果，并输出。移动行人的运动特征。2.根据权利要求1所述的适用于视屏图像中人体实例分割的方法，其特征在于，步骤4所述的结构一致性约束，其中结构一致性特征包括获取基于显著性检测的显著前景目标概率和获取基于粗轮廓多特征投票的显著前景目标概率；所述基于显著性检测的显著前景目标概率，是指由不同目标由于离镜头远近、颜色差异导致人眼观察时感兴趣区域是有差异的，得到不同行人目标的显著性是不同的，即每个像素属于显著前景的概率。；所述基于粗轮廓多特征投票的显著前景目标概率，是指利用提取的显著前景目标模板的自身的轮廓对总的移动行人目标区域进行多特征投票，在时间上，以超像素块的纹理特征用学习到的模板对待分割区域进行投票；在空间上，以超像素块的相邻区域特征用学习到的模板对待分割区域进行投票得到最大可能属于前景的区域，将每个超像素块的得票数与总票数相比，获得每个超像素块中每个像素属于显著前景的概率。3.根据权利要求1所述的适用于视频图像中人体实例分割的方法，其特征在于，按如下步骤进行：步骤5所述的运动一致性约束，包括获取相邻帧中同一位置区域的光流距离和获取基于光流区域聚类的前景概率；所述获取相邻帧中同一位置区域的光流距离，是指属于同一个目标的区域，在相邻帧之间光流保持相同的趋势，所以同一个目标区域光流在相邻帧之间的光流差也是固定的，不同目标的光流差大小具有差异。；所述获取基于光流区域聚类的前景概率，是指根据每个目标自身运动特征得到的光流信息，认定：光流方向大小相似且位置邻近的像素点是可以认定为是属于同一个区域里的，对图像中的光流进行聚类，将具有相同运动趋势的像素划分为一个区域，我们对每个聚类区域内进行光流统计，计算每个区域的光流总值和全图光流总值，再将区域光流总值乘以区域内像素个数权重，与全图总值相除，得到每个区域属于前景的概率值，即区域中每个像素的概率值。4.根据权利要求1所述的适用于视频图像中人体实例分割的方法，其特征在于，在步骤2中，移动前景区域提取方法具体为VIBE算法；该算法采用基于像素级的背景建模和前景检测技术，它通过第一帧来初始化背景模型，然后对新来的每一帧中的像素做出前景背景判别，被判定为背景的像素通过几率去更新背景模型中的样本。5.根据权利要求1所述的适用于视频图像中人体实例分割的方法，其特征在于，在步骤3中，计算光流的具体方法为：在图像中所有的像素点处于二维平面坐标中，当像素点运动的时候，像素在X，Y方向上都会有运动分量，即为光流；假设t时刻坐标(x，y)的像素点R的灰度值为R(x，y，t)，x、y两个方向上的光流分量分别设为u、v；然后分别在单位时间上求偏导u＝dx/dt，v＝dy/dt；根据光流计算的约束dR(x，y，t)/dt＝0，得到光流矢量的梯度约束方程：Rx*μ+Ry*v+Rt＝0将上式改成矢量形式：其中，Rx，Ry，Rt代表了像素点R的灰度值分别在x，y，t方向上的偏导数；是灰度图上的空间梯度，v＝(u，v)T是待求解的光流矢量；采用平滑约束条件对其进行附加约束，即假设在整个图像上光流的变化具有平滑性，如下式所示：在以上约束条件下可通过递归计算出(u，v)的唯一解。6.根据权利要求1所述的适用于视屏图像中人体实例分割的方法，其特征在于，在步骤6中，“能量模型进行能量约束最小化”的具体方法为使用离散变量上的代价函数，具体为：设X为图像的像素集合，而能量函数可以表示为：其中，f为标对权重；记场，Edata(f)是数据的约束项；Eprior(f)是由先验知识所提供的约束项，主要是用来计算像素...

【专利技术属性】
技术研发人员：方贤勇，张晶晶，李薛剑，孙恒飞，傅张军，孙皆安，汪粼波，蒋昆，鲍恒星，周森，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34