一种图像实例分割方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术提供一种图像实例分割方法、装置、电子设备及存储介质，将待分割图像输入目标SOLOV2模型，通过目标SOLOV2模型对待分割图像进行图像分割，得到最终实例分割图；目标SOLOV2模型包括ResNext101网络、FPN网络、预测网络和ARM模块，通过目标SOLOV2模型对待分割图像进行图像分割的过程为：通过FPN网络对通过ResNext101网络对待分割图像进行特征提取，得到的目标浅层特征和目标深层特征进行融合处理，得到目标高分辨率掩码特征；通过ARM模块利用高分辨率掩码特征和通过预测网络对目标高分辨率掩码特征进行实例分割处理得到的初始实例分割图，进行边界信息增强处理得到最终实例分割图。实例分割图。实例分割图。

【技术实现步骤摘要】
一种图像实例分割方法、装置、电子设备及存储介质


[0001]本专利技术涉及图像分割
，更具体地说，涉及一种图像实例分割方法、装置、电子设备及存储介质。

技术介绍

[0002]弹幕是指一种在观看视频时，大量以字幕形式呈现的评论，且将评论与视频一同呈现给观众，但是当弹幕内容过多时，会对视频图像造成严重遮挡，影响视频观看体验，若选择直接关闭弹幕，观看体验不佳，而设定弹幕顶部显示，在弹幕数量过多时，会短时导致弹幕与直播内容不相关。因此，绝大多数视频网站都采用基于实例分割方式对弹幕进行智能人物防遮挡处理。
[0003]现有的图像实例分割方法，一般分为两阶段方法和一阶段方法，两阶段的方法通常遵循经典的“先检测后分割”策略。首先检测图像中的对象，并进一步每个检测到的边界框执行二值化分割，它的优点是定位精度高，但预测时延高，达不到实时，实例分割结果受物体检测框的影响。
[0004]一阶段方法将实例分割分为两个并行的子任务，采用单阶段的网络结构，使网络计算量尽量小，其中代表性的SOLO系列法经过不断的优化，在精度和预测速度的性价比方面达到了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像实例分割方法，其特征在于，所述方法包括：获取待分割图像；将所述待分割图像输入目标SOLOV2模型，并通过所述目标SOLOV2模型对所述待分割图像进行图像分割，得到最终实例分割图；其中，所述目标SOLOV2模型是利用实例分割数据集对待训练的SOLOV2模型进行训练得到；所述目标SOLOV2模型包括ResNext101网络、FPN网络、预测网络和ARM模块，所述通过所述目标SOLOV2模型对所述待分割图像进行图像分割的过程为：通过所述ResNext101网络对所述待分割图像进行特征提取，得到目标浅层特征和目标深层特征；通过所述FPN网络将所述目标浅层特征和所述目标深层特征进行融合处理，得到目标高分辨率掩码特征；通过所述预测网络对所述目标高分辨率掩码特征进行实例分割处理，得到初始实例分割图，并将所述目标高分辨率掩码特征和所述初始实例分割图输入所述ARM模块；通过所述ARM模块利用所述高分辨率掩码特征和所述初始实例分割图进行边界信息增强处理，得到最终实例分割图。2.根据权利要求1所述的方法，其特征在于，所述待训练的SOLOV2模型包括待训练的ResNext101网络、待训练的FPN网络，以及待训练的预测网络，所述利用实例分割数据集对待训练的SOLOV2模型进行训练，得到目标SOLOV2模型，包括：获取实例分割数据集，其中，所述实例分割数据集包括多个实例分割数据；针对每个所述实例分割数据而言，将所述实例分割数据输入待训练的SOLOV2模型，以使所述待训练的SOLOV2模型对所述实例分割数据进行实例分割，得到第一训练实例分割图，利用所述第一训练实例分割图与对应的目标实例分割图构造第一损失函数，并利用所述第一损失函数对所述待训练的ResNext101网络、所述待训练的FPN网络，以及所述待训练的预测网络的参数进行调整，直至所述待训练的SOLOV2模型达到收敛，得到初始SOLOV2模型；利用所述初始SOLOV2模型和ARM模块构建SOLOV2模型；针对每个所述实例分割数据而言，将所述实例分割数据输入所述SOLOV2模型；通过所述SOLOV2模型中的ResNext101网络对所述实例分割数据进行特征提取，得到浅层特征和深层特征；通过所述FPN网络将所述浅层特征和所述深层特征进行融合处理，得到高分辨率掩码特征；通过所述SOLOV2模型中的预测网络对所述高分辨率掩码特征进行实例分割处理，得到第二训练实例分割图，并将所述高分辨率掩码特征和所述第二训练实例分割图输入所述SOLOV2模型中的所述ARM模块；通过所述SOLOV2模型中所述ARM模块的利用所述高分辨率掩码特征对所述第二训练实例分割图进行增强处理，得到第三训练实例分割图；利用所述第三训练实例分割图与对应的目标实例分割图构造第二损失函数，并利用所述第二损失函数对所述SOLOV2模型中的预测网络和ARM模块的参数进行调整，直至所述SOLOV2模型达到收敛，得到目标SOLOV2模型。
3.根据权利要求2所述的方法，其特征在于，所述预测网络包括类别分支和掩码分支，所述通过所述预测网络对所述目标高分辨率掩码特征进行实例分割处理，得到初始实例分割图，包括：通过所述类别分支对所述高分辨率掩码图进行类别预测，得到至少一个目标类别特征图；通过所述掩码分支对每个所述目标类别特征图进行分割处理，得到初始实例分割图。4.根据权利要求1所述的方法，其特征在于，所述通过所述ARM模块利用所述高分辨率掩码特征和所述初始实例分割图进行边界信息增强处理，得到最终实例分割图，包括：通过所述ARM模块采用预设算法对所述目标高分辨率掩码特征进行预测，得到目标实例边缘特征，并利用所述目标实例边缘特征对所述初始实例分割图进行边界信息增强处理，得到最终实例分割图。5.一种图像实例分割装置，其特征在于，所述装置包括：待分割图像获取单元，用于获取待分割图像；目标SOLOV2模型，对输入的所述待分割图像进行图像分割，得到最终实例分割图；其中，所述目标SOLOV2模型是基于预训练单元利用实例分割数据集对待训练的SOLOV2模型进行训练得到...

【专利技术属性】
技术研发人员：刘聪，
申请(专利权)人：飞狐信息技术天津有限公司，
类型：发明
国别省市：