使用差异对比学习网络的半监督目标视频分割方法及系统技术方案

本发明专利技术公开了一种使用差异对比学习网络的半监督目标视频分割方法及系统，涉及视频分割技术领域。其根据初始帧掩码，提取目标的全局和局部特征信息，采用对比学习思想，提高目标全局特征和局部特征之间的相似度，扩大目标、背景特征之间的区分度，以获得更加鲁棒的目标特征表达。利用得到的全局特征进行像素对比，同时结合参考帧分割结果，保证视频分割结果中目标、背景区域划分的准确性。背景区域划分的准确性。背景区域划分的准确性。

【技术实现步骤摘要】
使用差异对比学习网络的半监督目标视频分割方法及系统


[0001]本专利技术涉及视频分割
，具体涉及使用差异对比学习网络的半监督目标视频分割方法及系统。

技术介绍

[0002]半监督目标视频分割任务基于给定的初始帧掩码，把整个视频序列中的目标对象从背景中精细分割出来，实现准确的目标定位，在视频理解、人机交互、自动驾驶等领域有广泛的应用价值和落地需求。但由于视频中目标背景持续变化，同时存在光照变化、相似背景干扰等影响因素，单目标视频分割依然面临很多挑战。
[0003]现有半监督视频分割方法可以分为基于运动传播、检测和模板匹配三类方法。基于运动传播的方法主要利用目标运动和时间相关性，依赖于像素之间的时空关系，目标位置和形状变化相对平滑就可以实现准确分割，但当遇到遮挡或快速运动等时间不连续因素影响时，会导致漂移问题。基于检测的方法不依赖于时间信息，利用初始帧分割结果中的目标信息，学习外观模型，对视频帧中的目标进行检测和分割，在测试序列时，将初始帧图像与其分割结果图分别进行数据增强，以便于训练模型进行调整，从而获得更为准确的实例特征信息，但在线训练带来了很大的计算量。基于模板匹配的方法通过将当前视频帧与初始帧特征进行像素级匹配，根据比对结果对像素进行分割，不会由于累计的传播误差对分割结果产生影响，但其没有充分利用时空信息，且对初始帧特征提取的要求较高。

技术实现思路

[0004]针对现有技术存在上述问题，本专利技术提出了一种使用差异对比学习网络的半监督目标视频分割方法及系统，从特征空间中获得鲁棒且具有区分性的目标特征，采用对比学习思想，结合时空信息提高视频分割算法性能。
[0005]为实现上述目的，本申请的技术方案为：使用差异对比学习网络的半监督目标视频分割方法，包括：
[0006]第1步：将尺寸为h
×
w的初始视频帧输入骨干网络，得到特征通道数为c的通用视觉特征，然后经过边缘增强卷积处理，得到细节纹理更加清晰的视觉特征作为后续对比网络基础；将所述视觉特征与分割结果分别相乘并进行尺寸调整得到目标特征和背景特征
[0007]第2步：提取所述目标特征的全局映射特征
[0008]第3步：将所述全局映射特征与所述目标特征进行像素级的相似度对比，获取c个通道，尺寸为m
×
n的相似度响应图；
[0009]第4步：将所述全局映射特征与所述背景特征进行像素级的相似度对比，
获取c个通道，尺寸为m
×
n的差异度响应图；
[0010]第5步：将所述全局映射特征与所述视觉特征进行像素对比，并结合参考帧分割结果，通过卷积的方式，依据全局映射特征与背景特征之间的区分性、与目标之间的相似性，将目标、背景在像素级别区分开，得到目标区域和背景区域
[0011]第6步：通过3
‑
5步学习得到更好的全局特征映射方式和初始帧的全局映射特征将卷积层参数共享，重复第1步，输入尺寸为h
×
w 的后续视频帧通过骨干网络和边缘增强卷积处理，得到视觉特征
[0012]第7步：将初始帧的全局映射特征与后续帧的视觉特征作为基础，结合参考帧分割结果重复第五步，输出后续帧的分割结果；
[0013]第8步：重复第6
‑
7步，直到完成整段视频的目标分割任务。
[0014]进一步的，将视觉特征与分割结果分别相乘并进行尺寸调整得到目标特征和背景特征公式为：
[0015][0016][0017]进一步的，提取所述目标特征的全局映射特征包括全局平均池化和全连接层两部分，分别是：
[0018](1)首先对所述目标特征采用J3×
3,c
的卷积核进行全局平均池化处理，输出c维特征向量公式为：
[0019][0020]其中，H
average
(x,J
k
×
k,c
,s,p)为平均池化函数，为卷积操作，使用步长s 为1，卷积核尺寸k＝3的卷积核依次对c个特征通道的像素特征进行池化操作，直到输出c维特征向量在保证图像内容特征完整性的同时，减少参数，降低计算量。
[0021](2)将经过全局平均池化处理的c维特征向量输入全连接层，得到全局映射特征公式为：
[0022][0023]其中，μ为映射系数，η为修正量。通过全连接层处理提高全局特征的纯度，降低位置对特征表达的影响。
[0024]进一步的，获取c个通道，尺寸为m
×
n的相似度响应图，公式为：
[0025][0026][0027]其中，i＝1,2,...m,j＝1,2,...n；l＝1,2,...c；H
standard
为归一化函数，将每一个像素点的相似度分数映射到0
‑
1区间内；每一像素点取最高的r个分数，得到三通道，尺寸为m
×
n的评分结果图，对其采用平均池化操作，得到相似对比的最终响应图，公式为：
[0028][0029]进一步的，获取c个通道，尺寸为m
×
n的差异度响应图，公式为：
[0030][0031][0032]其中，i＝1,2,...m,j＝1,2,...n；l＝1,2,...c；
[0033]对每一像素点取最高的r个分数，得到三通道，尺寸为m
×
n的评分结果图，对其采用平均池化操作，得到差异对比的最终响应图，公式为：
[0034][0035]更进一步的，目标区域和背景区域的计算公式为：
[0036][0037][0038]其中，σ为阈值，通过训练得到，用于判定视频帧中的目标、背景区域。设定卷积核大小为1
×
1，步长s＝1，对目标、背景初步分割结果采用卷积操作，进行精细处理，输出分割图公式为：
[0039][0040]本专利技术还提供一种使用差异对比学习网络的半监督目标视频分割系统，包括：
[0041]差异对比学习网络，获取视频初始帧经骨干网络处理得到通用视觉特征，然后经边缘增强卷积处理得到细节纹理更加清晰的视觉特征所述视觉特征与初始帧分割图分别相乘得到目标特征背景特征所述目标特征送经过全局平均池化处理得到特征向量再经过全连接层精细处理得到全局映射特征
[0042]相似对比分支单元，通过提高全局映射特征与目标局部特征的相似度，提升全局映射特征对目标的描述能力。获取目标特征将每一个像素点特征向量与全局映射特征通过卷积核大小为1
ꢀ×
1的卷积进行相似度对比，得到c个通道、尺寸为m
×
n的相似度评分图，即每一个像素点包含c个通道，每一通道有对应的相似度分数，保留每一通道前k名分数，进行平均池化处理，得到最终相似度响应图局部特征感受野有限，相似对比分支通过局部特征与全局映射特征对比学习，提高全局映射特征从不同局部区域捕获信息的能力。
[0043]差异对比分支单元，通过扩大背景特征与全局映射特征之间的区分度，提高模型本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.使用差异对比学习网络的半监督目标视频分割方法，其特征在于，包括：第1步：将尺寸为h
×
w的初始视频帧输入骨干网络，得到特征通道数为c的通用视觉特征，然后经过边缘增强卷积处理，得到细节纹理更加清晰的视觉特征将所述视觉特征与分割结果分别相乘并进行尺寸调整得到目标特征和背景特征第2步：提取所述目标特征的全局映射特征第3步：将所述全局映射特征与所述目标特征进行像素级的相似度对比，获取c个通道，尺寸为m
×
n的相似度响应图；第4步：将所述全局映射特征与所述背景特征进行像素级的相似度对比，获取c个通道，尺寸为m
×
n的差异度响应图；第5步：将所述全局映射特征与所述视觉特征进行像素对比，并结合参考帧分割结果，通过卷积的方式，依据全局映射特征与背景特征之间的区分性、与目标之间的相似性，将目标、背景在像素级别区分开，得到目标区域和背景区域第6步：将卷积层参数共享，重复第1步，输入尺寸为h
×
w的后续视频帧通过骨干网络和边缘增强卷积处理，得到视觉特征第7步：将初始帧的全局映射特征与后续帧的视觉特征作为基础，结合参考帧分割结果重复第五步，输出后续帧的分割结果；第8步：重复第6
‑
7步，直到完成整段视频的目标分割任务。2.根据权利要求1所述使用差异对比学习网络的半监督目标视频分割方法，其特征在于，将视觉特征与分割结果分别相乘并进行尺寸调整得到目标特征和背景特征公式为：公式为：3.根据权利要求1所述使用差异对比学习网络的半监督目标视频分割方法，其特征在于，提取所述目标特征的全局映射特征包括全局平均池化和全连接层两部分，分别是：(1)首先对所述目标特征采用J3×
3,c
的卷积核进行全局平均池化处理，输出c维特征向量公式为：
其中，H
average
(x,J
k
×
k,c
,s,p)为平均池化函数，为卷积操作，使用步长s为1，卷积核尺寸k＝3的卷积核依次对c个特征通道的像素特征进行池化操作，直到输出c维特征向量(2)将经过全局平均池化处理的c维特征向量输入全连接层，得到全局映射特征公式为：其中，μ为映射系数，η为修正量。4.根据权利要求1所述使用差异对比学习网络的半监督目标视频分割方法，其特征在于，获取c个通道，尺寸为m
×
n的相似度响应图，公式为：n的相似度响应图，公式为：其中，i＝1,2,...m,j＝1,2,...n；l＝1,2,...c；H
standard
为归一化函数，将...

【专利技术属性】
技术研发人员：杨大伟，董美辰，毛琳，张汝波，
申请(专利权)人：大连民族大学，
类型：发明
国别省市：