模型生成、图像分割方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种模型生成、图像分割方法、装置、电子设备及存储介质。该模型生成方法包括：将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量；根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，并且根据分类向量和针对于已知目标的分类标签确定分类损失函数；将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型。本发明专利技术实施例的技术方案，可以生成能够进行精细并且完整分割的图像分割模型，达到了增强弱监督分割模型的分割性能的效果。

【技术实现步骤摘要】
模型生成、图像分割方法、装置、电子设备及存储介质
本专利技术实施例涉及图像处理
，尤其涉及一种模型生成、图像分割方法、装置、电子设备及存储介质。
技术介绍
基于深度学习模型对医学图像上的感兴趣点进行分割时，需要大量的人力和时间进行分割标记，该感兴趣点可以作为医护人员定位病灶点的参考因素。在国内，三甲医院普遍人满为患，专业医生是很难有时间为深度学习模型提供大量精细的分割标记，用于分割感兴趣点的深度学习模型需要更为简单的标注数据进行训练。据此，基于图像级别的分类标签进行像素级别的分割训练后得到的弱监督分割模型应运而生。但是，上述弱监督分割模型的分割结果过于粗糙，只能达到感兴趣点所在的感兴趣区域定位的效果，距离精细的感兴趣点分割仍是存在相当大的差距。
技术实现思路
本专利技术实施例提供了一种模型生成、图像分割方法、装置、电子设备及存储介质，解决了现有的弱监督分割模型的分割性能较差的问题。第一方面，本专利技术实施例提供了一种模型生成方法，可以包括：将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量；根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，且根据分类向量和针对于已知目标的分类标签确定分类损失函数；将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型；其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。第二方面，本专利技术实施例还提供了一种图像分割方法，可以包括：获取待分割图像和按照本专利技术任意实施例提供的方法生成的图像分割模型；将待分割图像输入至图像分割模型中，并根据图像分割模型的输出结果，得到待分割图像中待分割目标的目标分割图像。第三方面，本专利技术实施例还提供了一种模型生成装置，可以包括：特征图处理模块，用于将获取到的样本图像输入至原始分割模型中，根据原始分割模型输出的分割特征图确定增强特征图和分类向量；损失函数确定模块，用于根据增强特征图中的第三特征图和第四特征图确定相似性损失函数，并且根据分类向量和针对于已知目标的分类标签确定分类损失函数；模型生成模块，用于将分类损失函数和相似性损失函数反向输入到原始分割模型，调节原始分割模型的网络参数，生成图像分割模型；其中，第三特征图中的目标信息多于分割特征图中与样本图像中的第一图像对应的第一特征图，且第四特征图中的目标信息多于分割特征图中与样本图像中的第二图像对应的第二特征图，第二图像是对第一图像进行降维后得到的图像。第四方面，本专利技术实施例还提供了一种图像分割装置，可以包括：数据获取模块，用于获取待分割图像和和按照本专利技术任意实施例所提供的方法生成的图像分割模型；图像分割模块，用于将待分割图像输入至图像分割模型中，根据图像分割模型的输出结果，得到待分割图像中待分割目标的目标分割图像。第五方面，本专利技术实施例还提供了一种电子设备，可以包括：一个或多个处理器；存储器，用于存储一个或多个程序；当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现本专利技术任意实施例所提供的模型生成方法或是图像分割方法。第六方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本专利技术任意实施例所提供的模型生成方法或是图像分割方法。本专利技术实施例的技术方案，通过将获取到的样本图像输入至原始分割模型，根据原始分割模型输出的分割特征图确定增强特征图和分类向量，其中，样本图像包括第一图像和对第一图像进行降维后得到的第二图像，高低不同分辨率的两个图像相互配合，将它们结合到后续步骤后可以同时关注到更细小的已知目标并且完整分割出已知目标；由于增强特征图中的目标信息多于分割特征图，那么基于通过增强特征图中的与第一图像对应的第三特征图和与第二图像对应的第四特征图确定的相似性损失函数调节原始分割模型中的网络参数后，可以得到更加关注目标信息的分割特征图，另外，基于通过分类向量和针对于已知目标的分类标签确定的分类损失函数调节原始分割模型中的网络参数后，可以得到与分类更相关的分割特征图，两部分相互结合，可以生成能够分割出精细且完整的已知目标的图像分割模型。上述技术方案，可以生成能够进行精细且完整分割的图像分割模型，达到了增强弱监督分割模型的分割性能的效果。附图说明图1是本专利技术实施例中的一种模型生成方法的流程图；图2是本专利技术实施例中的一种模型生成方法中可选示例的示意图；图3是本专利技术实施例中的一种模型生成方法的流程图；图4是本专利技术实施例中的一种模型生成方法中可选示例的示意图；图5是本专利技术实施例中的一种模型生成方法的流程图；图6是本专利技术实施例中的一种图像分割方法的流程图；图7是本专利技术实施例中的一种模型生成装置的结构框图；图8是本专利技术实施例中的一种图像分割装置的结构框图；图9是本专利技术实施例中的一种电子设备的结构示意图。具体实施方式下面结合附图和实施例对本专利技术作进一步详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。在介绍本专利技术实施例之前，先对本专利技术实施例的应用场景进行示例性说明：由于数据标注成本较高，很多分割任务很难获得如全部真值标签这样的强监督信息，因此，基于弱监督信息对深度学习模型进行训练的技术应运而生，比如
技术介绍
所言的基于图像级别的分类标签进行像素级别的分割训练的技术，其是根据整张图像的分类标签对该图像中的各像素点进行分割的技术，具体来说是根据整张图像中是否存在感兴趣点判断该图像中的各像素点是否为感兴趣点的技术。接下来以这种技术中的分类激活图(ClassActivationMapping，CAM)为例对该技术进行示例性地说明。原始分割模型可以包括多个可用于分割的分割网络，该分割网络可以具有多种选择，比如残差网络(Resnet)、Densenet、Resnext、Se-resnet、Se-resnext等等，在此以包括38层的残差网络(ResNet38)的原始分割模型为例进行说明。将某图像输入至ResNet38，得到该图像的分割特征图(在此以维度是c*h*w的分割特征图为例进行阐述，其中h是高，w是宽并且c是分类类别数，即每个分类类别均具有一个分割结果)，该分割特征图可以理解为ResNet38中的最后1个Resblock提取出的特征图；对该分割特征图进行全局求均值(即全局池化)操作，得到c*1*1的分类向量(即分类结果)，每个维度上的数据可以表示上述图像属于该维度对应的分类类别的概率；根据该图像的分类标签对该分类结果进行损本文档来自技高网...

【技术保护点】
1.一种模型生成方法，其特征在于，包括：/n将获取到的样本图像输入至原始分割模型中，根据所述原始分割模型输出的分割特征图确定增强特征图和分类向量；/n根据所述增强特征图中的第三特征图和第四特征图确定相似性损失函数，且根据所述分类向量和针对于已知目标的分类标签确定分类损失函数；/n将所述分类损失函数和所述相似性损失函数反向输入到所述原始分割模型，调节所述原始分割模型的网络参数，生成图像分割模型；/n其中，所述第三特征图中的目标信息多于所述分割特征图中与所述样本图像中的第一图像对应的第一特征图，且所述第四特征图中的所述目标信息多于所述分割特征图中与所述样本图像中的第二图像对应的第二特征图，所述第二图像是对所述第一图像进行降维后得到的图像。/n

【技术特征摘要】
1.一种模型生成方法，其特征在于，包括：
将获取到的样本图像输入至原始分割模型中，根据所述原始分割模型输出的分割特征图确定增强特征图和分类向量；
根据所述增强特征图中的第三特征图和第四特征图确定相似性损失函数，且根据所述分类向量和针对于已知目标的分类标签确定分类损失函数；
将所述分类损失函数和所述相似性损失函数反向输入到所述原始分割模型，调节所述原始分割模型的网络参数，生成图像分割模型；
其中，所述第三特征图中的目标信息多于所述分割特征图中与所述样本图像中的第一图像对应的第一特征图，且所述第四特征图中的所述目标信息多于所述分割特征图中与所述样本图像中的第二图像对应的第二特征图，所述第二图像是对所述第一图像进行降维后得到的图像。


2.根据权利要求1所述的方法，其特征在于，所述根据所述原始分割模型输出的分割特征图确定增强特征图，包括：
获取所述原始分割模型输出的分割特征图、以及包含所述目标信息的信息特征图，其中，所述信息特征图包括下述中的至少一个：所述样本图像、在将所述样本图像输入至所述原始分割模型之后，经由所述原始分割模型内各分割网络中的预设分割网络输出的特征图、及将所述样本图像和所述预设分割网络输出的特征图进行拼接后得到的特征图；
根据所述信息特征图和所述分割特征图确定全局注意力图，并根据所述全局注意力图和所述分割特征图得到增强特征图。


3.根据权利要求1所述的方法，其特征在于，所述根据所述增强特征图中的第三特征图和第四特征图确定相似性损失函数，包括：
根据所述增强特征图中的第三特征图和第四特征图确定第一损失函数；和/或，根据所述第一特征图和所述第四特征图确定第二损失函数，并且根据所述第二特征图和所述第三特征图确定第三损失函数；
相应的，所述将所述分类损失函数和所述相似性损失函数反向输入到所述原始分割模型，包括：
将所述分类损失函数和所述第一损失函数、或是所述分类损失函数、所述第二损失函数和所述第三损失函数、或所述分类损失函数、所述第一损失函数、所述第二损失函数和所述第三损失函数反向输入到所述原始分割模型中。


4.根据权利要求1所述的方法，其特征在于，还包括：
针对所述分割特征图中的每个目标像素点，从所述分割特征图中分别获取所述目标像素点的目标分割向量和与所述目标像素点临近的临近像素点的临近分割向量，并根据所述目标分割向量和所述临近分割向量确定分割损失函数；
将各所述分割损失函数反向输入到所述原始分割模型。


5.根据权利要求4所述的方法，其特征在于，所述目标像素点是所述分割特征图中满足预设分割策略的分割概率对应的像素点，且所述目标像素点包括目标前景点或是目标背景点；
所述临近像素点是所述分割特征图中以所述目标像素点为中心的预设范围内的满足所述预设分割策略的所述分割概率对应的像素点，且所述临近像素点包括临近前景点或是临近背景点；
所述根据所述目标分割向量和所述临近分割向量确定分割损失函数，包括：
确定所述目标像素点和所述临近像素点的像素点类别是否一致，根据确定结果、所述目标分割向量和所述临近分割向量确定分割损失函数。


6.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：唐雯，张荣国，李新阳，陈宽，王少康，
申请(专利权)人：推想医疗科技股份有限公司，
类型：发明
国别省市：北京;11