一种基于语义实例分割算法的视频对象分割方法技术

本发明专利技术中提出的一种基于语义实例分割算法的视频对象分割方法，其主要内容包括：利用共享基础网络(VGG)进行特征提取、语义选择和语义传播、使用条件分类器集成网络中的层、训练和推论，其过程为，先利用共享基础网络进行特征提取，三个像素分类器产生语义先验的顶级匹配实例，然后利用语义实例分割算法作为输入估计待分割对象的语义，接着使用完全卷积网络的密集标注通常表达为每像素分类问题，最后训练和测试网络，实现视频对象的分割。本发明专利技术利用共享基础网络进行特征提取，从而实现视频对象的有效分割，解决了当物体被遮挡或者一些帧在序列中丢失时分割结果不理想的问题，提高了分割效率和分割精度。

A video object segmentation method based on semantic instance segmentation algorithm

The present invention in a method of video object segmentation algorithm based on semantic segmentation examples, the main contents include: the use of shared infrastructure network (VGG) for feature extraction, semantic selection and semantic propagation, conditions of use in the network layer, classifier training and inference, the process is first used for feature extraction, sharing basis network, three pixel classifier semantic prior top matching instances, then the semantic segmentation algorithm as the input estimation of segmented object using the semantic annotation instance, then use the dense complete convolution network is usually expressed as per pixel classification problem, the training and testing network, video object segmentation. The invention uses the shared basic network to extract features, so as to achieve effective segmentation of video objects, and solve the problem that segmentation results are not ideal when objects are blocked or some frames are lost in sequence, which improves segmentation efficiency and segmentation accuracy.

【技术实现步骤摘要】
一种基于语义实例分割算法的视频对象分割方法
本专利技术涉及视频对象分割领域，尤其是涉及了一种基于语义实例分割算法的视频对象分割方法。
技术介绍
随着信息技术的发展，多媒体技术日益受到人们的关注。数字视频是尤为重要的一种多媒体数据形式，它有着广泛的应用空间，是电影、电视、电子出版物等媒体信息进行数字化的重要基础。因此，对于视频类的处理技术就显得越来越重要，其中，视频对象分割技术以其广泛的应用受到研究人员的广泛关注。视频对象分割的原理主要是利用运动信息，同时结合其他颜色、纹理、边缘、区域等信息，把前景对象从背景中分离出来。它已经广泛运用于视频编码、视频检索、多媒体操作、图像处理、模式识别、视频压缩编码和视频数据库操作等，还可以用于交通流视频监控、工业自动化监控、安防以及网络多媒体交互等实际生产生活中。然而在原有的技术中，当物体被遮挡或者一些帧在序列中丢失时，分割结果则不理想，所需时间也较长。本专利技术提出了一种基于语义实例分割算法的视频对象分割方法，先利用共享基础网络进行特征提取，三个像素分类器产生语义先验的顶级匹配实例，然后利用语义实例分割算法作为输入估计待分割对象的语义，接着使用完全本文档来自技高网...

【技术保护点】
一种基于语义实例分割算法的视频对象分割方法，其特征在于，主要包括利用共享基础网络(VGG)进行特征提取(一)；语义选择和语义传播(二)；使用条件分类器集成网络中的层(三)；训练和推论(四)。

【技术特征摘要】
1.一种基于语义实例分割算法的视频对象分割方法，其特征在于，主要包括利用共享基础网络(VGG)进行特征提取(一)；语义选择和语义传播(二)；使用条件分类器集成网络中的层(三)；训练和推论(四)。2.基于权利要求书1所述的利用共享基础网络(VGG)进行特征提取(一)，其特征在于，共享基础网络(VGG)作为特征提取器，共同学习了三个像素分类器；第一个分类器，第一轮前景估计，是原始单次视频对象分割开端，它以外观为基础，并产生了第一个前景估计；该分类器的结果和来自外部语义实例分割系统的信息在语义选择和传播步骤中组合，产生语义先验的顶级匹配实例；条件分类器中的另外两个分类器对公共基本网络和语义先验的特征进行操作，并且彼此依赖：一个对具有前景的像素负责，而另一个用于后台；最后，将两组预测融入最终预测。3.基于权利要求书1所述的语义选择和语义传播(二)，其特征在于，利用语义实例分割算法作为输入来估计待分割对象的语义；选择多任务网络级联或完全卷积实例感知语义分割作为输入实例分割算法，通过多任务网络级联使用最新和更好的完全卷积实例感知语义分割，可以显著提升视频对象分割的效率。4.基于权利要求书3所述的任务网络级联和完全卷积实例感知语义分割，其特征在于，任务网络级联和完全卷积实例感知语义分割都是由三个主要组件组成的多阶段网络：共享卷积层、区域提议网络(RPN)和感兴趣区域(ROI)分类器；使用两种算法的可用模型分别进行预先训练；实例分割算法的输出给定为一组二进制掩码、掩码的类别以及它们作为实际对象的置信度；在最有把握的掩码池中搜索感兴趣的对象，在整个视频中找到一个具有一致语义的掩码子集作为语义先验。5.基于权利要求书4所述的实例分割算法，其特征在于，该过程可以分为语义选择和语义传播两个阶段；语义选择发生在第一帧中，根据给定的标定好的真实数据的掩码来选择匹配对象的掩码；实例数量及其类别在整个视频中实现一致性；有两种语义选择可能失败的情况：(1)感兴趣的对象不是实例分割器语义词汇的一部分；(2)通过此步骤选择错误的实例；结果表明，分类器对这种故障很稳定，在这两种情况下仍能保持高质量的输出；因此，用于选择实例的快速贪婪搜索足以保持高性能。6.基于权利要求书1所述的使用条件分类器集成网络中的层(三)，其特征在于，使用完全卷积网络的密集标注通常表达为每像素分类问题；因此，可以理解为在整个图像上滑动的全局分类器，并且根据单片外观模型将前景或背景标签分配给每个像素；将最终分类之前的语义合并，这将作为当前框架中最好的实例(或一组实例)的掩码；如果语义实例分割完美，可以直接选择外观模型的最佳匹配实例，但实际上结果并不完美；因此，只能使用实例分割掩码作为该实例的限制指导或猜测，仍然需要执行细化步骤；并入该掩模但...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44