模型训练与实例分割方法、装置和系统及存储介质制造方法及图纸

本发明专利技术实施例提供一种模型训练方法、装置和系统以及存储介质。网络训练方法包括：获取训练图像和训练图像遮罩；将训练图像输入实例分割模型中的前端模型结构，以获得目标区域对齐特征图，其中，目标区域对齐特征图为与用于指示训练图像中的目标对象所在位置的第一目标区域相对应的、经对齐操作的特征图；将目标区域对齐特征图输入实例分割模型中的遮罩生成器，以获得与目标区域对齐特征图对应的生成分割遮罩；基于训练图像遮罩确定与目标区域对齐特征图对应的真实分割遮罩；以及利用目标区域对齐特征图、生成分割遮罩和真实分割遮罩对遮罩生成器和判别器进行对抗训练。上述方法可以有效解决遮罩生成器受图像多峰性质影响的问题。

Model Training and Case Segmentation Methods, Devices and Systems and Storage Media

The embodiment of the present invention provides a model training method, device, system and storage medium. Network training methods include: acquiring training images and training image masks; input training images into the front-end model structure of the case segmentation model to obtain the alignment feature map of the target area, where the alignment feature map of the target area is relative to the first target area used to indicate the location of the target object in the training image. Corresponding and aligned feature maps; input the aligned feature map of the target area into the mask generator of the instance segmentation model to obtain the generated segmentation mask corresponding to the aligned feature map of the target area; determine the true segmentation mask corresponding to the aligned feature map of the target area based on the training image mask; and utilize the target area. Domain alignment feature map, generation of segmentation mask and real segmentation mask are used to train the mask generator and discriminator. The method mentioned above can effectively solve the problem that the mask generator is affected by the multi-peak property of the image.

【技术实现步骤摘要】
模型训练与实例分割方法、装置和系统及存储介质
本专利技术涉及图像识别领域，更具体地涉及一种模型训练方法、装置和系统以及一种实例分割方法、装置和系统以及存储介质。
技术介绍
实例分割一直是计算机视觉领域十分重要且备受关注的问题与技术方法，其目标是给定一张图像，通过算法给出图像中所有目标对象的分割遮罩(SegmentationMask)和类别信息。当下实例分割的主流框架是遮罩区域卷积神经网络(Mask-RCNN)框架。在Mask-RCNN中，先通过区域提议网络(RPN)对每一张图像给出若干目标区域(简称RoI，也可以称为感兴趣区域)，再对RoI进行RoI对齐得到RoI对齐特征图，最后可以将RoI对齐特征图输入遮罩生成器得到分割遮罩。当下遮罩生成器的训练方法无法很好处理图像的多峰问题，即当某个RoI中含有多个物体时，模型输出的分割遮罩无法与其中任何一个物体较好匹配。
技术实现思路
考虑到上述问题而提出了本专利技术。本专利技术提供了一种模型训练方法、装置和系统以及一种实例分割方法、装置和系统以及存储介质。根据本专利技术一方面，提供了一种模型训练方法。该方法包括：获取训练图像和训练图像遮罩；将训练图像输入实例分割模型中的前端模型结构，以获得目标区域对齐特征图，其中，目标区域对齐特征图为与用于指示训练图像中的目标对象所在位置的第一目标区域相对应的、经对齐操作的特征图；将目标区域对齐特征图输入实例分割模型中的遮罩生成器，以获得与目标区域对齐特征图对应的生成分割遮罩；基于训练图像遮罩确定与目标区域对齐特征图对应的真实分割遮罩；以及利用目标区域对齐特征图、生成分割遮罩和真实分割遮罩对遮罩生成器和判别器进行对抗训练。示例性地，利用目标区域对齐特征图、生成分割遮罩和真实分割遮罩对遮罩生成器和判别器进行对抗训练包括：将目标区域对齐特征图和生成分割遮罩作为生成数据对，将目标区域对齐特征图和真实分割遮罩作为真实数据对，将生成数据对和真实数据对输入判别器，以获得判别结果；基于判别结果计算生成器损失和判别器损失；以及根据生成器损失和判别器损失优化遮罩生成器和判别器，以获得经训练的遮罩生成器。示例性地，前端模型结构包括区域提议网络，用于输出用于指示训练图像中的目标对象所在位置的第二目标区域的目标区域信息，第一目标区域基于第二目标区域过滤获得，实例分割模型还包括包围框回归器和分类器，方法还包括：将目标区域对齐特征图输入包围框回归器，以获得与目标区域对齐特征图相对应的、用于指示训练图像中的目标对象所在位置的包围框的包围框信息；将目标区域对齐特征图输入分类器，以获得目标区域对齐特征图所对应的包围框中所包含对象的对象分类信息；获取训练图像中的目标对象的标注位置信息和标注分类信息；基于标注位置信息和目标区域信息计算区域提议网络的区域提议网络回归损失；基于标注位置信息和包围框信息计算包围框回归器的包围框回归器损失；基于标注分类信息和对象分类信息计算分类器的分类器损失；根据生成器损失和判别器损失优化遮罩生成器和判别器，以获得经训练的遮罩生成器包括：交替优化实例分割模型和判别器以最小化模型损失和判别器损失直至收敛，以获得经训练的实例分割模型，其中，经训练的实例分割模型包括经训练的遮罩生成器，模型损失包括生成器损失、区域提议网络回归损失、包围框回归器损失和分类器损失。示例性地，将目标区域对齐特征图输入实例分割模型中的遮罩生成器，以获得与目标区域对齐特征图对应的生成分割遮罩包括：将目标区域对齐特征图和第一预定噪声输入遮罩生成器，以获得生成分割遮罩。示例性地，在将目标区域对齐特征图和第一预定噪声输入遮罩生成器，以获得生成分割遮罩之前，方法还包括：从预定义均匀分布中随机抽样，以获得第一预定噪声。示例性地，基于训练图像遮罩确定与目标区域对齐特征图对应的真实分割遮罩包括：基于目标区域对齐特征图所对应的第一目标区域的位置对训练图像遮罩进行裁剪和/或缩放，以获得真实分割遮罩。示例性地，实例分割模型为遮罩区域卷积神经网络，前端模型结构依次包括卷积神经网络、区域提议网络和目标区域对齐模型，目标区域对齐特征图由目标区域对齐模型输出。示例性地，实例分割模型为遮罩区域卷积神经网络，前端模型结构依次包括卷积神经网络、区域提议网络和目标区域对齐模型，目标区域对齐特征图由目标区域对齐模型输出，遮罩区域卷积神经网络还包括在目标区域对齐模型之后连接的包围框回归器，方法还包括：获取至少一个测试图像和与至少一个测试图像分别对应的测试图像遮罩；对于至少一个测试图像中的每个测试图像，将该测试图像输入遮罩区域卷积神经网络，以获得卷积神经网络输出的初始特征图以及包围框回归器输出的、用于指示该测试图像中的目标对象所在位置的包围框的包围框信息；对包围框信息所表示的包围框进行过滤；基于过滤后的包围框确定第三目标区域；将第三目标区域和初始特征图输入目标区域对齐模型，以获得测试区域对齐特征图；将所述测试区域对齐特征图输入所述遮罩生成器，以获得测试分割遮罩；基于图像分割遮罩以及与该测试图像相对应的测试图像遮罩计算平均图像分割精度；基于至少一个测试图像的平均图像分割精度计算遮罩区域卷积神经网络的平均分割精度。示例性地，对于至少一个测试图像中的每个测试图像，将测试区域对齐特征图输入遮罩生成器，以获得测试分割遮罩包括：对于至少一个测试图像中的每个测试图像，将测试区域对齐特征图和第二预定噪声输入遮罩生成器，以获得测试分割遮罩，其中，第一预定噪声和第二预定噪声来自相同的预定义均匀分布。示例性地，对于至少一个测试图像中的每个测试图像，对包围框信息所表示的包围框进行过滤包括：对于至少一个测试图像中的每个测试图像，通过非极大值抑制方法对包围框信息所表示的包围框进行过滤。根据本专利技术另一方面，提供了一种实例分割方法，包括：获取待处理图像；利用实例分割模型处理待处理图像，以获得与待处理图像中的目标对象相对应的实例分割遮罩；其中，实例分割模型中的遮罩生成器利用上述模型训练方法训练获得。根据本专利技术另一方面，提供了一种模型训练装置，包括：训练数据获取模块，用于获取训练图像和训练图像遮罩；第一输入模块，用于将训练图像输入实例分割模型中的前端模型结构，以获得目标区域对齐特征图，其中，目标区域对齐特征图为与用于指示训练图像中的目标对象所在位置的第一目标区域相对应的、经对齐操作的特征图；第二输入模块，用于将目标区域对齐特征图输入实例分割模型中的遮罩生成器，以获得与目标区域对齐特征图对应的生成分割遮罩；遮罩确定模块，用于基于训练图像遮罩确定与目标区域对齐特征图对应的真实分割遮罩；以及训练模块，用于利用目标区域对齐特征图、生成分割遮罩和真实分割遮罩对遮罩生成器和判别器进行对抗训练。根据本专利技术另一方面，提供了一种实例分割装置，包括：图像获取模块，用于获取待处理图像；处理模块，用于利用实例分割模型处理待处理图像，以获得与待处理图像中的目标对象相对应的实例分割遮罩；其中，实例分割模型中的遮罩生成器利用上述模型训练方法训练获得。根据本专利技术另一方面，提供了一种模型训练系统，包括处理器和存储器，其中，所述存储器中存储有计算机程序指令，所述计算机程序指令被所述处理器运行时用于执行上述模型训练方法。根据本专利技术另一方面，提供了一种实例分割系统，包括处理器和存储器，其中，所本文档来自技高网...

【技术保护点】
1.一种模型训练方法，包括：获取训练图像和训练图像遮罩；将所述训练图像输入实例分割模型中的前端模型结构，以获得目标区域对齐特征图，其中，所述目标区域对齐特征图为与用于指示所述训练图像中的目标对象所在位置的第一目标区域相对应的、经对齐操作的特征图；将所述目标区域对齐特征图输入所述实例分割模型中的遮罩生成器，以获得与所述目标区域对齐特征图对应的生成分割遮罩；基于所述训练图像遮罩确定与所述目标区域对齐特征图对应的真实分割遮罩；以及利用所述目标区域对齐特征图、所述生成分割遮罩和所述真实分割遮罩对所述遮罩生成器和判别器进行对抗训练。

【技术特征摘要】
1.一种模型训练方法，包括：获取训练图像和训练图像遮罩；将所述训练图像输入实例分割模型中的前端模型结构，以获得目标区域对齐特征图，其中，所述目标区域对齐特征图为与用于指示所述训练图像中的目标对象所在位置的第一目标区域相对应的、经对齐操作的特征图；将所述目标区域对齐特征图输入所述实例分割模型中的遮罩生成器，以获得与所述目标区域对齐特征图对应的生成分割遮罩；基于所述训练图像遮罩确定与所述目标区域对齐特征图对应的真实分割遮罩；以及利用所述目标区域对齐特征图、所述生成分割遮罩和所述真实分割遮罩对所述遮罩生成器和判别器进行对抗训练。2.如权利要求1所述的方法，其中，所述利用所述目标区域对齐特征图、所述生成分割遮罩和所述真实分割遮罩对所述遮罩生成器和判别器进行对抗训练包括：将所述目标区域对齐特征图和所述生成分割遮罩作为生成数据对，将所述目标区域对齐特征图和所述真实分割遮罩作为真实数据对，将所述生成数据对和所述真实数据对输入所述判别器，以获得判别结果；基于所述判别结果计算生成器损失和判别器损失；以及根据所述生成器损失和所述判别器损失优化所述遮罩生成器和所述判别器，以获得经训练的所述遮罩生成器。3.如权利要求2所述的方法，其中，所述前端模型结构包括区域提议网络，用于输出用于指示所述训练图像中的目标对象所在位置的第二目标区域的目标区域信息，所述第一目标区域基于所述第二目标区域过滤获得，所述实例分割模型还包括包围框回归器和分类器，所述方法还包括：将所述目标区域对齐特征图输入所述包围框回归器，以获得与所述目标区域对齐特征图相对应的、用于指示所述训练图像中的目标对象所在位置的包围框的包围框信息；将所述目标区域对齐特征图输入所述分类器，以获得所述目标区域对齐特征图所对应的包围框中所包含对象的对象分类信息；获取所述训练图像中的目标对象的标注位置信息和标注分类信息；基于所述标注位置信息和所述目标区域信息计算所述区域提议网络的区域提议网络回归损失；基于所述标注位置信息和所述包围框信息计算所述包围框回归器的包围框回归器损失；基于所述标注分类信息和所述对象分类信息计算所述分类器的分类器损失；所述根据所述生成器损失和所述判别器损失优化所述遮罩生成器和所述判别器，以获得经训练的所述遮罩生成器包括：交替优化所述实例分割模型和所述判别器以最小化模型损失和所述判别器损失直至收敛，以获得经训练的所述实例分割模型，其中，所述经训练的所述实例分割模型包括所述经训练的所述遮罩生成器，所述模型损失包括所述生成器损失、所述区域提议网络回归损失、所述包围框回归器损失和所述分类器损失。4.如权利要求1所述的方法，其中，所述将所述目标区域对齐特征图输入所述实例分割模型中的遮罩生成器，以获得与所述目标区域对齐特征图对应的生成分割遮罩包括：将所述目标区域对齐特征图和第一预定噪声输入所述遮罩生成器，以获得所述生成分割遮罩。5.如权利要求4所述的方法，其中，在所述将所述目标区域对齐特征图和第一预定噪声输入所述遮罩生成器，以获得所述生成分割遮罩之前，所述方法还包括：从预定义均匀分布中随机抽样，以获得所述第一预定噪声。6.如权利要求1所述的方法，其中，所述基于所述训练图像遮罩确定与所述目标区域对齐特征图对应的真实分割遮罩包括：基于所述目标区域对齐特征图所对应的第一目标区域的位置对所述训练图像遮罩进行裁剪和/或缩放，以获得所述真实分割遮罩。7.如权利要求1至6任一项所述的方法，其中，所述实例分割模型为遮罩区域卷积神经网络，所述前端模型结构依次包括卷积神经网络、区域提议网络和目标区域对齐模型，所述目标区域对齐特征图由所述目标区域对齐模型输出。8.如权利要求1至6任一项所述的方法，其中，所述实例分割模型为遮罩区域卷积神经网络，所述前端模型结构依次包括卷积神经网络、区域提议网络和目标区域对齐模型，所述目标区域对齐特征图由所述目标区域对齐模型输出，所述遮罩区域卷积神经网络还包括在所述目标区域对齐模型之后连接的包围框回归器，所述方法还包括：获取至少...

【专利技术属性】
技术研发人员：程大治，张祥雨，
申请(专利权)人：北京旷视科技有限公司，
类型：发明
国别省市：北京,11