利用光流指导特征融合的物体实例分割方法技术

本发明专利技术提供了一种利用光流指导特征融合的物体实例分割方法，对视频帧使用深度神经网络进行光流动作信息提取和特征提取，利用光流携带的动作信息对特征进行融合，对速度精度进行权衡应用。在融合之后，通过后续网络生成类别信息、定位框、分割掩膜信息，进行比对定位框实现追踪。在实际应用中无需先验信息和人工标注，能够对追踪目标进行特定分割淹没标注追踪，分割级别提供了追踪目标更多的信息，最终通过视频中的实例分割技术能够有效解决视频中的物品追踪和定位问题。

Object instance segmentation method based on feature fusion guided by optical flow

【技术实现步骤摘要】
利用光流指导特征融合的物体实例分割方法
本专利技术涉及计算机视觉领域，具体地，涉及一种利用光流指导特征融合的物体实例分割方法，尤其是涉及一种无需人工标注等先验信息对视频进行分析，利用携带动作信息的光流指导特征融合的，利用特定分割掩膜标记从而实现物体追踪识别的物体实例分割方法。
技术介绍
随着深度学习技术的不断突破，深度学习广泛的在生活中得到了应用。处理视频早先都是人工监视，耗时耗力，还常常因为人为疏忽导致频繁出错。而且在互联网发达的如今，视频数量过于繁多，人们无法高效率的获取视频当中的信息。深度学习可以很好的解决视频当中的图像任务。因为视频可以分解为单帧图片，所有视频处理的方法是基于图片级别的技术突破的。自从2012年提出的Alexnet神经网络赢得了当年图像识别大赛ImageNet的冠军，开启了神经网络的应用热潮，使深度神经网络成为在图像分类的核心算法模型，计算机识别在图片级别的任务上取得了不断的突破，并且最终把识别率提高到了超过人类的程度。借助人工智能的方法，计算机视觉得到了很大的进步，图像分类、图像识别、图像分割都借助深度学习得到了很高的准确率。从分类一整张图的层面上给出一个类本文档来自技高网...

【技术保护点】
1.一种利用光流指导特征融合的物体实例分割方法，其特征在于，包括：特征图提取步骤：对输入的待检索视频帧，使用深度神经网络提取固定大小的浮点数，由所述浮点数组成特征图；光流图提取步骤：对输入的待检索视频帧，使用深度神经网络提取光流动作信息；光流指导变换步骤：通过光流动作信息的指导，对特征图进行双线性变换，得到融合特征图；特征解码步骤：对融合特征图进行解码，得到类别信息、定位框、掩膜信息；跟踪步骤：对邻近的待检索视频帧的定位框进行重合度比对，得到重合度数值，若重合度数值大于设定阈值，则将物体归为一个追踪对象，对同一个追踪对象的掩膜信息用同一种颜色进行标记，得到一个追踪对象的轨迹掩膜，否则，则将物体...

【技术特征摘要】
1.一种利用光流指导特征融合的物体实例分割方法，其特征在于，包括：特征图提取步骤：对输入的待检索视频帧，使用深度神经网络提取固定大小的浮点数，由所述浮点数组成特征图；光流图提取步骤：对输入的待检索视频帧，使用深度神经网络提取光流动作信息；光流指导变换步骤：通过光流动作信息的指导，对特征图进行双线性变换，得到融合特征图；特征解码步骤：对融合特征图进行解码，得到类别信息、定位框、掩膜信息；跟踪步骤：对邻近的待检索视频帧的定位框进行重合度比对，得到重合度数值，若重合度数值大于设定阈值，则将物体归为一个追踪对象，对同一个追踪对象的掩膜信息用同一种颜色进行标记，得到一个追踪对象的轨迹掩膜，否则，则将物体归为两个追踪对象。2.根据权利要求1所述的利用光流指导特征融合的物体实例分割方法，其特征在于，所述提取光流动作信息能够将带有动作信息的光流提取并用来指导特征图空间变换重组，以修复或预测邻近帧的丢失信息。3.根据权利要求1所述的利用光流指导特征融合的物体实例分割方法，其特征在于，采用无监督测试方法，在进行视频处理之前，不需要有任何先验的...

【专利技术属性】
技术研发人员：王延峰，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31