视频实例分割方法、装置、电子设备及存储介质制造方法及图纸

本公开提供一种视频实例分割方法、装置、电子设备以及存储介质，包括：获取视频序列，并确定所述视频序列中待检测的目标对象；对所述目标对象的非相干区域进行检测，得到若干非相干点；基于所述若干非相干点构建非相干序列，并对所述非相干序列进行校正，得到校正后的非相干序列；对所述校正后的非相干序列进行分割。本公开通过对目标对象的非相干区域进行检测得到了若干非相干点，进而通过若干非相干点构建了非相干序列，最终通过对非相干序列进行分割完成了视频实例的分割。分割完成了视频实例的分割。分割完成了视频实例的分割。

【技术实现步骤摘要】
视频实例分割方法、装置、电子设备及存储介质


[0001]本专利技术涉及数据处理
，尤其涉及一种视频实例分割方法、装置、电子设备及存储介质。

技术介绍

[0002]近年来，随着多媒体、互联网技术的发展，视频作为信息传递的媒介在社会生活中发挥着越来越重要的作用。基于视频序列的图像分割开始兴起，并且在视频编码、异常检测与目标监控等方面发挥了非常重要的作用。过去数十年中，国内外大量学者针对视频分割问题，从不同角度提出了大量的算法。从图像实例分割扩展出发，现有的视频实例分割方法可分为一步目标检测法(one
‑
stage)和两步目标检测法(two
‑
stage)。
[0003]最初采一步目标检测法(one
‑
stage)实例分割框架，直接通过卷积神经网络提取特征，并预测目标的分类与定位。后来广泛采用了两步目标检测法(two
‑
stage)中的掩模算法，先进行区域生成，既生成候选区域(Region Proposal)，然后再通过卷积神经网络预测目标的分类与定位。
[0004]在现有技术中，应用视频实例分割方法对高质量视频对象进行实例分割时，由于其往往不重视视频对象的边界细节，使得分割出来的目标对象在边界处很容易产生错误，最终导致分割后的信息不准确。并且，应用现有的方法进行视频实例分割时，其最初的特征提取都是针对单图像进行的，使得所提取的特征过多，在最后进行分割时可能导致计算时间过长。

技术实现思路

[0005]有鉴于此，本公开的目的在于提出一种视频实例分割方法、装置、电子设备及存储介质。
[0006]作为本公开的一个方面，提供了一种视频实例分割方法，包括：
[0007]获取视频序列，并确定所述视频序列中待检测的目标对象；
[0008]对所述目标对象的非相干区域进行检测，得到若干非相干点；
[0009]基于所述若干非相干点构建非相干序列，并对所述非相干序列进行校正，得到校正后的非相干序列；
[0010]对所述校正后的非相干序列进行分割。
[0011]可选的，所述获取视频序列，并确定所述视频序列中待检测的目标对象，包括：
[0012]获取视频序列；
[0013]通过预设的卷积神经网络对所述视频序列进行特征提取，得到特征提取图；
[0014]对所述特征提取图进行探测，得到待检测的目标对象。
[0015]可选的，所述对所述目标对象的非相干区域进行检测，得到若干非相干点，包括：
[0016]对所述目标对象进行编码，得到编码后的目标对象；
[0017]对所述编码后的目标对象进行动态卷积处理，确定所述编码后的目标对象的非相
干区域；
[0018]对所述非相干区域进行检测，得到若干非相干点。
[0019]可选的，所述基于所述若干非相干点构建非相干序列，包括：
[0020]获取所述若干非相干点在所述目标对象中所处的帧；
[0021]将处于同一帧的所述若干非相干点分为一组，得到分组后的若干非相干点；
[0022]通过递归算法对所述分组后的若干非相干点构建非相干序列。
[0023]可选的，所述对所述非相干序列进行校正，得到校正后的非相干序列，包括：
[0024]将所述非相干序列输入所述卷积神经网络进行细化处理，得到细化处理的非相干序列；
[0025]基于所述细化处理的非相干序列对所述非相干的序列进行校正，得到校正后的非相干序列。
[0026]可选的，所述将所述非相干序列输入所述卷积神经网络进行细化处理，得到细化处理的非相干序列，包括：
[0027]对所述非相干序列进行迭代处理直至收敛，得到迭代处理的非相干序列；
[0028]对所述迭代处理的非相干序列进行细化处理，得到细化处理的非相干序列。
[0029]可选的，所述对所述非相干序列进行迭代处理直至收敛，得到迭代处理的非相干序列，包括：
[0030]计算所述非相干序列的置信度；
[0031]响应于确定所述非相干序列的置信度大于或者等于第一阈值，对所述非相干序列进行纠正；
[0032]响应于确定所述非相干序列的置信度小于第一阈值，将所述非相干序列作为迭代处理的非相干序列输出。
[0033]作为本公开的第二个方面，本公开还提供了一种视频实例分割装置，其特征在于，包括：
[0034]采集模块，被配置为：获取视频序列，并确定所述视频序列中待检测的目标对象；
[0035]检测模块，被配置为：对所述目标对象的非相干区域进行检测，得到若干非相干点；
[0036]处理模块，被配置为：基于所述若干非相干点构建非相干序列，并对所述非相干序列进行校正，得到校正后的非相干序列；
[0037]分割模块，被配置为：对所述校正后的非相干序列进行分割。
[0038]作为本公开的第三个方面，本公开还提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现本公开所提供的上述视频实例分割方法。
[0039]作为本公开的第四个方面，本公开还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令用于使计算机执行如上任意一项所述的方法。
[0040]如上所述，本公开先对需要分割的视频序列进行获取，然后确定出视频序列中易出现分割错误的目标对象，之后对目标对象进行非相干序列的构建，最后通过对非相干序列的分割完成了视频序列的分割。通过本公开中的视频实例分割方法，可以使得分割之后
的视频序列，在易出错的边界细节处的错误率降低，进而分割出更加准确的视频信息，提高了视频实例分割的精度和准确度。
附图说明
[0041]为了更清楚地说明本公开或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0042]图1A为本公开实施例所提供的一种视频实例分割的方法示意图。
[0043]图1B为本公开实施例所提供的一种确定目标对象的方法示意图。
[0044]图1C为本公开实施例所提供的一种非相干区域检测的方法示意图。
[0045]图1D为本公开实施例所提供的一种构建非相干序列的方法示意图。
[0046]图1E为本公开实施例所提供的一种校正非相干序列的方法示意图。
[0047]图2为本公开实施例所提供的一种视频实例分割装置的结构示意图。
[0048]图3为本公开实施例所提供的一种视频实例分割方法的电子设备结构示意图。
具体实施方式
[0049]为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开进一步详细说明。...

【技术保护点】

【技术特征摘要】
1.一种视频实例分割方法，其特征在于，包括：获取视频序列，并确定所述视频序列中待检测的目标对象；对所述目标对象的非相干区域进行检测，得到若干非相干点；基于所述若干非相干点构建非相干序列，并对所述非相干序列进行校正，得到校正后的非相干序列；对所述校正后的非相干序列进行分割。2.根据权利要求1所述的方法，其特征在于，所述获取视频序列，并确定所述视频序列中待检测的目标对象，包括：获取视频序列；通过预设的卷积神经网络对所述视频序列进行特征提取，得到特征提取图；对所述特征提取图进行探测，得到待检测的目标对象。3.根据权利要求2所述的方法，其特征在于，所述对所述目标对象的非相干区域进行检测，得到若干非相干点，包括：对所述目标对象进行编码，得到编码后的目标对象；对所述编码后的目标对象进行动态卷积处理，确定所述编码后的目标对象的非相干区域；对所述非相干区域进行检测，得到若干非相干点。4.根据权利要求3所述的方法，其特征在于，所述基于所述若干非相干点构建非相干序列，包括：获取所述若干非相干点在所述目标对像中所处的帧；将处于同一帧的所述若干非相干点分为一组，得到分组后的若干非相干点；通过递归算法对所述分组后的若干非相干点构建非相干序列。5.根据权利要求4所述的方法，其特征在于，所述对所述非相干序列进行校正，得到校正后的非相干序列，包括：将所述非相干序列输入所述卷积神经网络进行细化处理，得到细化处理的非相干序列；基于所述细化处理的非相干序列对所述非相干的序列进行校正，得到...

【专利技术属性】
技术研发人员：杜长宇，张杨，孙乔，曲传哲，纪鹏，赵蕾，程强，靳莉，于卉淼，韩天琦，李春阳，杨莹，李华勤，
申请(专利权)人：北京中电飞华通信有限公司，
类型：发明
国别省市：