物体分割方法、装置、设备、存储介质及程序制造方法及图纸

本申请实施方式公开了一种物体分割方法、装置、电子设备、计算机可读存储介质以及计算机程序，其中的物体分割方法主要包括：确定视频序列中的包含有目标物体的扩展起点帧；获取所述扩展起点帧中的第一特征块以及所述扩展起点帧的光流指导变形信息，其中，所述第一特征块为扩展起点帧中的目标物体特征块；根据所述光流指导变形信息获得所述目标物体在所述扩展起点帧的相邻帧中的第二特征块；根据所述目标物体在所述相邻帧中的注意力信息、第一特征块以及第二特征块，获得相邻帧的目标物体掩膜，所述目标物体掩膜用于得到所述视频序列的分割结果。

Object segmentation method, device, device, storage medium and program

An object segmentation method, a device, an electronic device, a computer readable storage medium and a computer program are disclosed in the application. The object segmentation method mainly includes: determining the extended starting frame containing the target object in the video sequence, obtaining the first feature block in the expanded starting frame and the first feature block. The first feature block is the target object feature block in the extended starting frame, the first feature block is the target object feature block in the extended starting frame, and the second feature blocks of the target object in the adjacent frame of the extended starting frame are obtained according to the optical flow guiding the deformation information; The target object mask is obtained by the meaning force information, the first feature block and the second feature block, and the target object mask is used to obtain the segmentation result of the video sequence.

【技术实现步骤摘要】
物体分割方法、装置、设备、存储介质及程序
本申请涉及计算机视觉技术，尤其是涉及一种物体分割方法、物体分割装置、电子设备、计算机可读存储介质以及计算机程序。
技术介绍
物体分割也被称为图像分割。利用物体分割技术，可以从图像中提取出感兴趣的目标。物体分割技术可以被应用于智能视频分析、安防监控以及自动驾驶等领域中。在物体分割过程中，物体的姿态往往会发生变化，而且还会发生物体被遮挡等现象。由于这些现象往往会导致匹配失败或者物体混淆或者丢失目标等问题，因此，在容易导致物体分割失败。如何尽可能的避免物体分割失败的现象，以提高物体分割的准确性，是计算机视觉领域中一个值得关注的技术问题。
技术实现思路
本申请实施方式提供一种物体分割的技术方案。根据本申请实施方式其中一个方面，提供一种物体分割方法，所述方法包括：确定视频序列中的包含有目标物体的扩展起点帧；获取所述扩展起点帧中的第一特征块以及所述扩展起点帧的光流指导变形信息，其中，所述第一特征块为扩展起点帧中的目标物体特征块；根据所述光流指导变形信息获得所述目标物体在所述扩展起点帧的相邻帧中的第二特征块；根据所述目标物体在所述相邻帧中的注意力信息、第一特征块以及第二特征块，获得相邻帧的目标物体掩膜，所述目标物体掩膜用于得到所述视频序列的分割结果。在本申请一实施方式中，所述确定视频序列中的包含有目标物体的扩展起点帧包括：将包含有与目标物体模板的相似度满足预定相似度要求的候选框的视频帧作为扩展起点帧。在本申请又一实施方式中，所述目标物体模板包括：目标物体初始模板；或者，所述目标物体模板包括：目标物体扩展模板；其中，所述目标物体扩展模板包括：所述获得的相邻帧的目标物体掩膜中的置信度满足预定置信度要求的相邻帧的目标物体掩膜。在本申请再一实施方式中，所述方法在获得相邻帧的目标物体掩膜之后，还包括下述步骤：计算当前获得的各相邻帧的目标物体掩膜的置信度；选取出置信度满足预定置信度要求的相邻帧的目标物体掩膜；根据所述选取出的相邻帧的目标物体掩膜所对应的第二特征块获得掩膜特征；其中，所述获得的掩膜特征被作为所述目标物体扩展模板的掩膜特征。在本申请再一实施方式中，所述确定视频序列中的包含有目标物体的扩展起点帧包括：获取所述视频序列的各视频帧的各候选框的掩膜特征；计算各掩膜特征分别与目标物体初始模板的掩膜特征之间的距离；将距离小于预定距离的掩膜特征所在的视频帧作为扩展起点帧。在本申请再一实施方式中，所述确定视频序列中的包含有目标物体的扩展起点帧包括：计算视频序列的未被作为扩展起点帧的各视频帧中的各候选框的掩膜特征，分别与目标物体扩展模板的掩膜特征之间的距离；将距离小于预定距离的掩膜特征所在的视频帧作为扩展起点帧。在本申请再一实施方式中，所述根据所述光流指导变形信息获得所述目标物体在所述扩展起点帧的相邻帧中的第二特征块包括：根据所述光流指导变形信息将扩展起点帧中的目标物体掩膜映射在所述相邻帧特征图中；根据映射后的目标物体掩膜的覆盖区域获取目标物体在所述相邻帧中的第二特征块。在本申请再一实施方式中，所述目标物体在所述相邻帧中的注意力信息通过下述步骤包括：根据所述第一特征块以及所述光流指导变形信息确定所述目标物体在所述相邻帧中的注意力信息。在本申请再一实施方式中，所述根据所述第一特征块以及所述光流指导变形信息确定所述目标物体在所述相邻帧中的注意力信息包括：将所述第一特征块，基于所述光流指导变形信息，而映射在所述相邻帧特征图中所形成的特征块，提供给用于提取注意力信息的卷积神经网络，以利用该卷积神经网络获得所述目标物体在所述相邻帧中的注意力信息。在本申请再一实施方式中，所述根据所述目标物体在所述相邻帧中的注意力信息、第一特征块以及第二特征块，获得相邻帧的目标物体掩膜包括：将所述第一特征块，基于所述光流指导变形信息，而映射在所述相邻帧特征图中所形成的特征块，与所述第二特征块，相加，获得第三特征块；将所述第三特征块提供给用于获得目标物体特征的卷积神经网络，以获得第四特征块；将所述目标物体在所述相邻帧中的注意力信息，与所述第四特征块相乘，以获得第五特征块；将所述第五特征块提供给用于提取掩膜的卷积神经网络，以利用该卷积神经网络获得所述相邻帧的目标物体掩膜。在本申请再一实施方式中，所述相邻帧包括：在视频序列中，与所述扩展起点帧相邻，且未曾被作为扩展起点帧的视频帧。在本申请再一实施方式中，在成功获得相邻帧的目标物体掩膜的情况下，所述确定视频序列中的包含有目标物体的扩展起点帧包括：将所述相邻帧作为扩展起点帧。在本申请再一实施方式中，所述相邻帧的目标物体掩膜用于与所述扩展起点帧的目标物体掩膜相串接，形成分割片段；所述方法还包括：将多个分割片段串接为所述视频序列的分割结果。在本申请再一实施方式中，所述将多个分割片段串接为所述视频序列的分割结果包括：利用条件随机场或者贪心算法，将多个分割片段串接为所述视频序列的分割结果。根据本申请实施方式其中另一个方面，提供一种物体分割装置，所述装置包括：确定扩展起点帧模块，用于确定视频序列中的包含有目标物体的扩展起点帧；第一获取模块，用于获取所述扩展起点帧中的第一特征块以及所述扩展起点帧的光流指导变形信息，其中，所述第一特征块为扩展起点帧中的目标物体特征块；第二获取模块，用于根据所述光流指导变形信息获得所述目标物体在所述扩展起点帧的相邻帧中的第二特征块；第三获取模块，用于根据所述目标物体在所述相邻帧中的注意力信息、第一特征块以及第二特征块，获得相邻帧的目标物体掩膜，所述目标物体掩膜用于得到所述视频序列的分割结果。在本申请一实施方式中，所述确定扩展起点帧模块具体用于：将包含有与目标物体模板的相似度满足预定相似度要求的候选框的视频帧作为扩展起点帧。在本申请又一实施方式中，所述目标物体模板包括：目标物体初始模板；或者，所述目标物体模板包括：目标物体扩展模板；其中，所述目标物体扩展模板包括：所述获得的相邻帧的目标物体掩膜中的置信度满足预定置信度要求的相邻帧的目标物体掩膜。在本申请再一实施方式中，所述装置还包括：第四获取模块，用于计算当前获得的各相邻帧的目标物体掩膜的置信度，选取出置信度满足预定置信度要求的相邻帧的目标物体掩膜，根据所述选取出的相邻帧的目标物体掩膜所对应的第二特征块获得掩膜特征；其中，所述获得的掩膜特征被作为所述目标物体扩展模板的掩膜特征。在本申请再一实施方式中，所述确定扩展起点帧模块具体用于：获取所述视频序列的各视频帧的各候选框的掩膜特征；计算各掩膜特征分别与目标物体初始模板的掩膜特征之间的距离；将距离小于预定距离的掩膜特征所在的视频帧作为扩展起点帧。在本申请再一实施方式中，所述确定扩展起点帧模块具体用于：计算视频序列的未被作为扩展起点帧的各视频帧中的各候选框的掩膜特征，分别与目标物体扩展模板的掩膜特征之间的距离；将距离小于预定距离的掩膜特征所在的视频帧作为扩展起点帧。在本申请再一实施方式中，所述第二获取模块具体用于：根据所述光流指导变形信息将扩展起点帧中的目标物体掩膜映射在所述相邻帧特征图中；根据映射后的目标物体掩膜的覆盖区域获取目标物体在所述相邻帧中的第二特征块。在本申请再一实施方式中，所述装置还包括：获取注意力模块，用于根据所述第一特征块以及所述光流指导变形信息本文档来自技高网...

【技术保护点】
1.一种物体分割方法，其特征在于，包括：确定视频序列中的包含有目标物体的扩展起点帧；获取所述扩展起点帧中的第一特征块以及所述扩展起点帧的光流指导变形信息，其中，所述第一特征块为扩展起点帧中的目标物体特征块；根据所述光流指导变形信息获得所述目标物体在所述扩展起点帧的相邻帧中的第二特征块；根据所述目标物体在所述相邻帧中的注意力信息、第一特征块以及第二特征块，获得相邻帧的目标物体掩膜，所述目标物体掩膜用于得到所述视频序列的分割结果。

【技术特征摘要】
1.一种物体分割方法，其特征在于，包括：确定视频序列中的包含有目标物体的扩展起点帧；获取所述扩展起点帧中的第一特征块以及所述扩展起点帧的光流指导变形信息，其中，所述第一特征块为扩展起点帧中的目标物体特征块；根据所述光流指导变形信息获得所述目标物体在所述扩展起点帧的相邻帧中的第二特征块；根据所述目标物体在所述相邻帧中的注意力信息、第一特征块以及第二特征块，获得相邻帧的目标物体掩膜，所述目标物体掩膜用于得到所述视频序列的分割结果。2.根据权利要求1所述的方法，其特征在于，所述确定视频序列中的包含有目标物体的扩展起点帧包括：将包含有与目标物体模板的相似度满足预定相似度要求的候选框的视频帧作为扩展起点帧。3.根据权利要求2所述的方法，其特征在于：所述目标物体模板包括：目标物体初始模板；或者所述目标物体模板包括：目标物体扩展模板；其中，所述目标物体扩展模板包括：所述获得的相邻帧的目标物体掩膜中的置信度满足预定置信度要求的相邻帧的目标物体掩膜。4.根据权利要求3所述的方法，其特征在于，所述方法在获得相邻帧的目标物体掩膜之后，还包括下述步骤：计算当前获得的各相邻帧的目标物体掩膜的置信度；选取出置信度满足预定置信度要求的相邻帧的目标物体掩膜；根据所述选取出的相邻帧的目标物体掩膜所对应的第二特征块获得掩膜特征；其中，所述获得的掩膜特征被作为所述目标物体扩展模板的掩膜特征。5.根据权利要求3至4中任一项所述的方法，其特征在于，所述确定视频序列中的包含有目标物体的扩展起点帧包括：获取所述视频序列的各视频帧的各候选...

【专利技术属性】
技术研发人员：李晓潇，吕健勤，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11