一种实例分割的方法及装置制造方法及图纸

本申请涉及人工智能领域中的计算机视觉技术领域，公开了一种实例分割的方法及装置，用以提出一种实例分割的方式。待训练的分割网络对被标记实例的像素的样本原始图像中的每个实例组进行如下处理，每个实例组包括被标记的至少一个实例：预测至少两个不同的第一基础特征图，以及每个第一基础特征图分别对应的第一注意力特征图；将至少两个第一基础特征图和分别对应的第一注意力特征图的像素值进行加权处理得到第一特征融合图；根据第一特征融合图和样本原始图像，对待训练的分割网络进行训练；第一注意力特征图中的每个像素的像素值表示其对应的第一基础特征图中对应位置的像素的权重值。分割模型可以精确地确定出原始图像中的实例像素。

A method and device of case segmentation

【技术实现步骤摘要】
一种实例分割的方法及装置
本申请实施例涉及计算机视觉
，尤其涉及一种实例分割的方法及装置。
技术介绍
图像分割(imagesegmentation)技术是图像语义理解的重要一环。目前的图像分割任务主要有：语义分割(semanticsegmentation)和实例分割(instancesegmentation)。语义分割是将图像中的实例划分出对应的类别，如：人、猫、狗等类别，不区分属于相同类别的不同实例。例如，当图像中有多只猫时，语义分割会将多只猫整体的所有像素点预测为“猫”这个类别。实例分割还需在具体类别的基础上区别不同的实例，例如区分出哪些像素点属于第一只猫、哪些像素点属于第二只猫。随着移动端的视频及图像应用越来越广泛，实例分割的必要性越来越得到凸显，在人像拍照、视频特效、AR场景中是不可或缺的重要技术。如何精确地进行实例分割，是急需解决的技术问题。
技术实现思路
本申请实施例提供一种实例分割的方法及装置，用以提出一种实例分割的方式。第一方面，提供了一种实例分割的方法，终端预先训练出实例的分割网络，当本文档来自技高网...

【技术保护点】
1.一种实例分割的方法，其特征在于，所述方法包括：/n获取原始图像；/n将所述原始图像输入到训练完成的分割网络中，得到所述原始图像对应的至少一个特征融合图，所述特征融合图用于标记所述原始图像包括的实例的像素，每个特征融合图中包括至少一个实例；/n其中，所述分割网络根据如下方式进行训练：/n待训练的分割网络对被标记实例的像素的样本原始图像中的每个实例组进行如下处理，其中，每个实例组包括至少一个被标记的实例：/n预测至少两个不同的第一基础特征图，以及每个第一基础特征图分别对应的第一注意力特征图；将所述至少两个第一基础特征图和分别对应的所述第一注意力特征图的像素值进行加权处理，预测出第一特征融合图；...

【技术特征摘要】
1.一种实例分割的方法，其特征在于，所述方法包括：
获取原始图像；
将所述原始图像输入到训练完成的分割网络中，得到所述原始图像对应的至少一个特征融合图，所述特征融合图用于标记所述原始图像包括的实例的像素，每个特征融合图中包括至少一个实例；
其中，所述分割网络根据如下方式进行训练：
待训练的分割网络对被标记实例的像素的样本原始图像中的每个实例组进行如下处理，其中，每个实例组包括至少一个被标记的实例：
预测至少两个不同的第一基础特征图，以及每个第一基础特征图分别对应的第一注意力特征图；将所述至少两个第一基础特征图和分别对应的所述第一注意力特征图的像素值进行加权处理，预测出第一特征融合图；根据所述第一特征融合图和所述样本原始图像，对所述待训练的分割网络进行训练；
所述第一注意力特征图与所述第一基础特征图的尺寸相同，所述第一注意力特征图中的每个像素的像素值表示其对应的第一基础特征图中对应位置的像素的权重值，所述第一注意力特征图中存在像素值不同的像素。


2.如权利要求1所述的方法，其特征在于，所述第一注意力特征图中的像素值的取值范围为0-1之间。


3.如权利要求1所述的方法，其特征在于，所述样本原始图像还被标记检测框，所述检测框用于标识实例；
在得到所述原始图像对应的至少一个特征融合图时，还包括：
得到所述原始图像包括的实例的检测框。


4.如权利要求3所述的方法，其特征在于，所述第一基础特征图为所述实例组对应的检测框图像的基础特征图；
根据所述第一特征融合图和所述样本原始图像，对所述待训练的分割网络进行训练，包括：
根据所述第一特征融合图和所述检测框图像，对所述待训练的分割网络进行训练。


5.如权利要求1-4任一项所述的方法，其特征在于，在将所述原始图像输入到训练完成的分割网络中之前，还包括：
将所述原始图像缩放至所述分割网络中预设的尺寸。


6.如权利要求1-4任一项所述的方法，其特征在于，所述第一基础特征图的尺寸、所述第一注意力特征图的尺寸，以及所述第一特征融合图的尺寸均为所述待训练的分割网络中预设的尺寸；
在根据所述第一特征融合图和所述样本原始图像，对所述待训练的分割网络进行训练之前，还包括：
对所述第一特征融合图的尺寸和/或所述样本原始图像的尺寸进行缩放处理，使所述第一特征融合图的尺寸与所述样本原始图像的尺寸相同。


7.一种实例分割的方法，其特征在于，所述方法包括：
获取原始图像；
确定所述原始图像包括的每个实例的检测框；
针对每个检测框图像，确定至少两个不同的基础特征图，以及每个基础特征图分别对应的注意力特征图；将所述至少两个基础特征图和分别对应的所述注意力特征图的像素值进行加权处理，得到所述检测框图像对应的特征融合图，所述特征融合图用于标记所述检测框图像包括的实例的像素；
所述注意力特征图与所述基础特征图的尺寸相同，所述注意力特征图中的每个像素的像素值表示其对应的基础特征图中对应位置的像素的权重值，所述注意力特征图中存在像素值不同的像素。


8.一种实例分割的装置，其特征在于，所述装置包括：
存储模块，用于存储训练完成的分割网络；
处理模块，用于获取原始图像；并将所述原始图像输入到训练完成的分割网络中，得到所述原始图像对应的至少一个特征融合图，所述特征融合图用于标记所述原始图像包括的实例的像素，每个特征融合图中包括至少一个实例；
所述处理模块，还用于根据如下方式进行训练所述分割网络：
待训练的分割网络对被标记实例的像素的样本原始图像中的每个...

【专利技术属性】
技术研发人员：孙昆阳，陈昊，沈春华，颜友亮，邵滨，许松岑，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44