基于时序特征聚合和条件卷积的快速视频目标分割方法技术

本发明专利技术公开了一种基于时序特征聚合和条件卷积的视频目标分割方法，包括：获取待分割视频的多帧图像；对多帧图像按时间顺序排列，获取记忆帧图像及查询帧图像，查询帧图像为最后一帧记忆帧图像的下一帧图像；对记忆帧图像和查询帧图像处理得到记忆帧图像特征和查询帧图像特征，对记忆帧图像的目标掩膜处理得到记忆帧掩膜特征；将记忆帧图像特征、查询帧图像特征和记忆帧掩膜特征进行特征聚合得到聚合的目标特征；根据聚合的目标特征和查询帧图像特征确定卷积核参数；通过解码网络对查询帧图像的特征和卷积核参数处理得到查询帧图像的目标分割预测结果，能高效地获取目标特征和目标自适应的卷积核，快速准确地进行视频目标分割。分割。分割。

【技术实现步骤摘要】
基于时序特征聚合和条件卷积的快速视频目标分割方法


[0001]本专利技术涉及智能视频目标分割
，尤其是涉及一种基于时序特征聚合和条件卷积的快速视频目标分割方法。

技术介绍

[0002]视频目标分割是多媒体领域的新兴课题，在视频会议、视频监控和自动驾驶等领域中被广泛应用。半监督的视频目标分割技术通过给出视频中特定目标的第一帧分割掩膜标签，自动进行后续每帧图像中的目标分割，可以有效提取出关键信息，促进对视频内容的理解，且大大节省对视频目标的人工标注时间。已有的半监督视频目标分割方法不能快速获取充分的目标信息，且以固定的模式对目标信息进行处理，忽略了视频目标的动态特性。
[0003]因此，目前亟待解决的技术问题是，提出一种高效率、高准确性的视频目标分割方法。

技术实现思路

[0004]为了解决上述技术问题，充分考虑目标的动态变化，兼顾速度和精度，本专利技术提供一种基于时序特征聚合和条件卷积的快速视频目标分割方法，能快速高效地得到准确的预测结果，能高效率、高准确性地对视频目标分割，具体方案如下。
>[0005]本专利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序特征聚合和条件卷积的视频目标分割方法，其特征在于，包括：获取待分割视频的多帧图像；对所述多帧图像按时间顺序排列，获取记忆帧图像及查询帧图像，所述查询帧图像为所述记忆帧图像中最后一帧图像的下一帧图像，所述记忆帧图像中第一帧图像包括目标掩膜；对所述记忆帧图像和查询帧图像处理得到记忆帧图像特征和查询帧图像特征，对所述记忆帧图像的目标掩膜处理得到记忆帧掩膜特征；将所述记忆帧图像特征、所述查询帧图像特征和所述记忆帧掩膜特征进行特征聚合得到聚合的目标特征；根据所述聚合的目标特征和所述查询帧图像特征确定卷积核参数；以及通过解码网络对所述查询帧图像的特征和所述卷积核参数处理得到所述查询帧图像的目标分割预测结果。2.根据权利要求1所述的方法，其特征在于，所述获取记忆帧图像包括：从按时间顺序排列的所述多帧图像的t
‑
1帧中获取n帧图像，并将所述n帧图像、所述多帧图像中的第一帧图像和第t
‑
1帧图像作为记忆帧图像，其中，从第一帧图像起每隔m帧图像取一帧图像加入到所述记忆帧图像，其中，n、m、t均为整数，n≥2，t≥n+1，m≥1。3.根据权利要求2所述的方法，其特征在于，所述记忆帧图像数量上限为N帧，当所述记忆帧图像数量达到N帧之后，每加入一帧新的记忆帧图像，则从所述记忆帧图像中移除除第一帧图像之外的时序最小的一帧图像，其中，N为整数，N＞n+2。4.根据权利要求1所述的方法，其特征在于，所述对所述记忆帧图像和所述查询帧图像处理得到记忆帧图像特征和查询帧图像特征，对所述记忆帧图像的目标掩膜处理得到记忆帧掩膜特征包括：将所述记忆帧图像输入到图像编码器提取特征得到第一通道特征，将每一帧记忆帧图像的第一通道特征按通道方向连接得到记忆帧图像特征；将所述记忆帧图像中所有具有目标掩膜的记忆帧图像的目标掩膜输入到目标掩膜编码器提取特征得到第二通道特征，将所有的第二通道特征按通道方向连接得到记忆帧掩膜特征；以及将所述查询帧图像输入所述图像编码器提取特征得到查询帧图像特征；其中，所述目标掩膜为分割标签图数据。5.根据权利要求1所述的方法，其特征在于，所述将所述记忆帧图像特征、所述查询帧图像特征和所述记忆帧掩膜特征进行特征聚合得到聚合的目标特征包括：将所述记忆帧图像特征、所述查询帧图像特征和所述记忆帧掩膜特征输入到目标掩膜编码聚合模块进行特征聚合。6.根据权利要求4所述的方法，其特征在于，所述根据所述聚合的目标特征和所述查询帧图像特征确定卷积核参数包括：将所述聚合的目标特征和所述查询帧图像特征输入条件卷积核控制器，按通道方向连接得到第三通道特...

【专利技术属性】
技术研发人员：张勇东，林凡超，谢洪涛，
申请(专利权)人：中国科学技术大学，
类型：发明
国别省市：