图像实例分割方法和装置制造方法及图纸

本说明书一个实施例提供了一种图像实例分割方法和装置，其中方法，包括：获取待分割图像输入至图像实例分割模型，通过图像实例分割模型中的图像特征提取模块，提取待分割图像的特征并生成第一特征图像和第二特征图像；通过图像实例分割模型中的分类定位模块，根据第一特征图像确定待分割图像中的实例对象，并确定实例对象的类别和位置；通过图像实例分割模型中的第一掩码图像生成模块，根据第二特征图像生成实例对象对应的背景掩码图像、前景掩码图像和过渡带掩码图像；通过图像实例分割模型中的第二掩码图像生成模块，根据第二特征图像、背景掩码图像、前景掩码图像和过渡带掩码图像，生成实例对象对应的实例分割掩码图像。

Image instance segmentation method and device

【技术实现步骤摘要】
图像实例分割方法和装置
本文件涉及图像处理领域，尤其涉及一种图像实例分割方法和装置。
技术介绍
现有技术中，可以通过各种已有的图像实例分割模型对图像进行实例分割，实例分割是指在图像中识别出各个实例对象的类别、位置和所占的像素范围，然后在图像中将该实例对象提取出来，其中，实例对象包括但不限于人物、物品等。然而，通过现有的图像实例分割模型对图像进行实例分割时，由于通过实例分割模型只能够提取实例对象对应的前景掩码图像和背景掩码图像，没能关注到实例对象的背景和前景之间的过渡区域，因此往往具有分割轮廓不够精准的问题。
技术实现思路
本说明书一个实施例的目的是提供一种图像实例分割方法和装置，以解决通过现有的图像实例分割模型对图像进行实例分割时分割轮廓不够精准的问题。为解决上述技术问题，本说明书一个实施例是这样实现的：第一方面，本说明书一个实施例提供了一种图像实例分割方法，包括：获取待分割图像，将所述待分割图像输入至图像实例分割模型，通过所述图像实例分割模型中的图像特征提取模块，提取所述待分割图像的本文档来自技高网...

【技术保护点】
1.一种图像实例分割方法，其特征在于，包括：/n获取待分割图像，将所述待分割图像输入至图像实例分割模型，通过所述图像实例分割模型中的图像特征提取模块，提取所述待分割图像的特征并生成第一特征图像和第二特征图像；/n通过所述图像实例分割模型中的分类定位模块，根据所述第一特征图像确定所述待分割图像中的实例对象，并确定所述实例对象的类别和位置；/n通过所述图像实例分割模型中的第一掩码图像生成模块，根据所述第二特征图像生成所述实例对象对应的背景掩码图像、前景掩码图像和所述实例对象的背景和前景之间的过渡带掩码图像；/n通过所述图像实例分割模型中的第二掩码图像生成模块，根据所述第二特征图像、所述背景掩码图像...

【技术特征摘要】
1.一种图像实例分割方法，其特征在于，包括：
获取待分割图像，将所述待分割图像输入至图像实例分割模型，通过所述图像实例分割模型中的图像特征提取模块，提取所述待分割图像的特征并生成第一特征图像和第二特征图像；
通过所述图像实例分割模型中的分类定位模块，根据所述第一特征图像确定所述待分割图像中的实例对象，并确定所述实例对象的类别和位置；
通过所述图像实例分割模型中的第一掩码图像生成模块，根据所述第二特征图像生成所述实例对象对应的背景掩码图像、前景掩码图像和所述实例对象的背景和前景之间的过渡带掩码图像；
通过所述图像实例分割模型中的第二掩码图像生成模块，根据所述第二特征图像、所述背景掩码图像、所述前景掩码图像和所述过渡带掩码图像，生成所述实例对象对应的实例分割掩码图像；其中，所述实例对象的类别、位置和所述实例分割掩码图像用于在所述待分割图像中提取所述实例对象。


2.根据权利要求1所述的方法，其特征在于，通过所述图像实例分割模型中的第一掩码图像生成模块，根据所述第二特征图像生成所述实例对象对应的背景掩码图像、前景掩码图像和所述实例对象的背景和前景之间的过渡带掩码图像，包括：
通过RoiAlign结构将所述第二特征图像输入至所述第一掩码图像生成模块，通过所述第一掩码图像生成模块对所述第二特征图像进行卷积运算，得到所述背景掩码图像、所述前景掩码图像和所述过渡带掩码图像；
其中，所述第一掩码图像生成模块根据预定的第一训练样本图像和所述第一训练样本图像对应的期望前景掩码图像、期望背景掩码图像、期望过渡带掩码图像训练得到。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在训练所述第一掩码图像生成模块时，获取所述第一掩码图像生成模块基于所述第一训练样本图像生成的样本前景掩码图像、样本背景掩码图像和样本过渡带掩码图像，以及，获取所述第一训练样本图像对应的期望前景掩码图像、期望背景掩码图像、期望过渡带掩码图像；
利用预设的第一损失函数，根据所述样本前景掩码图像、所述期望前景掩码图像、所述样本背景掩码图像、所述期望背景掩码图像、所述样本过渡带掩码图像、所述期望过渡带掩码图像，计算所述第一掩码图像生成模块对应的训练误差值；
根据所述第一掩码图像生成模块对应的训练误差值，调节所述第一掩码图像生成模块中的计算参数，以训练所述第一掩码图像生成模块。


4.根据权利要求3所述的方法，其特征在于，利用预设的第一损失函数，根据所述样本前景掩码图像、所述期望前景掩码图像、所述样本背景掩码图像、所述期望背景掩码图像、所述样本过渡带掩码图像、所述期望过渡带掩码图像，计算所述第一掩码图像生成模块对应的训练误差值，包括：
利用预设的第一损失函数，计算所述样本前景掩码图像和所述期望前景掩码图像之间的第一距离值；
利用预设的第一损失函数，计算所述样本背景掩码图像和所述期望背景掩码图像之间的第二距离值；
利用预设的第一损失函数，计算所述样本过渡带掩码图像和所述期望过渡带掩码图像之间的第三距离值；
根据所述第一距离值、所述第二距离值和所述第三距离值，确定所述第一掩码图像生成模块对应的训练误差值；
其中，所述第一距离值、所述第二距离值和所述第三距离值均为临近算法KNN中的L2距离值。


5.根据权利要求1所述的方法，其特征在于，通过所述图像实例分割模型中的第二掩码图像生成模块，根据所述第二特征图像、所述背景掩码图像、所述前景掩码图像和所述过渡带掩码图像，生成所述实例对象对应的实例分割掩码图像，包括：
通过所述第二掩码图像生成模块中的级联单元，将所述第二特征图像、所述背景掩码图像、所述前景掩码图像和所述过渡带掩码图像进行级联；
通过所述第二掩码图像生成模块中的图像尺寸恢复单元，将级联后得到的图像的尺寸恢复至与所述待分割图像的尺寸一致；
通过所述第二掩码图像生成模块中的图像生成单元，根据尺寸恢复后得到的图像、所述前景掩码图像和所述过渡带掩码图像，生成所述实例分割掩码图像；
其中，所述第二掩码图像生成模块根据预定的第二训练样本图像和所述第二训练样本图像对应的实例分割期望掩码图像训练得到。


6.根据权利要求5所述的方法，其特征在于，所述方法还包括：
在训练所述第二掩码图像生成模块时，获取所述第二掩码图像生成模块基于所述第二训练样本图像生成的实例分割样本掩码图像，以及，获取所述第二训练样本图像对应的实例分割期望掩码图像；
利用预设的第二损失函数，根据所述实例分割样本掩码图像和所述实例分割期望掩码图像，计算所述第二掩码图像生成模块对应的训练误差值；
根据所述第二掩码图像生成模块对应的训练误差值，调节所述第二掩码图像生成模块中的计算参数，以训练所述第二掩码图像生成模块。


7.根据权利要求6所述的方法，其特征在于，利用预设的第二损失函数，根据所述实例分割样本掩码图像和所述实例分割期望掩码图像，计算所述第二掩码图像生成模块对应的训练误差值，包括：
利用预设的第二损失函数，计算所述实例分割样本掩码图像和所述实例分割期望掩码图像之间的距离值，该距离值为临近算法KNN中的L1距离值；
根据该距离值，确定所述第二掩码图像生成模块对应的训练误差值。

...

【专利技术属性】
技术研发人员：李涛，
申请(专利权)人：郑州阿帕斯科技有限公司，
类型：发明
国别省市：河南;41