一种图像处理方法、装置以及电子医疗设备制造方法及图纸

本申请实施例公开了一种图像处理方法、装置以及电子医疗设备，方法包括：获取包含目标对象的属于第一图像领域的第一样本图像，基于样本图像识别模型提取第一样本图像的第一样本特征；获取包含目标对象的属于第二图像领域的第二样本图像，基于样本图像识别模型提取第二样本图像的第二样本特征；对第一样本特征和第二样本特征进行对抗训练，得到对抗训练结果；根据第一样本图像、第二样本图像、目标对象在第二样本图像中的样本对象类型以及对抗训练结果训练样本图像识别模型，得到图像识别模型。采用本申请，可以提高模型预测图像中的内容所属的类别的准确率。

An image processing method, device and electronic medical equipment

【技术实现步骤摘要】
一种图像处理方法、装置以及电子医疗设备
本申请涉及计算机
，尤其涉及一种图像处理方法、装置、计算机设备、电子医疗设备以及存储介质。
技术介绍
随着信息社会的到来，人们越来越多的接触到大量的图像信息，识别图像中的内容所属的类别具有重要的实际意义。目前，为了识别属于某个领域的图像中的内容所属的类别所采用的技术手段是基于深度学习训练一个图像识别模型，训练好的图像识别模型可以自动识别属于该领域的图像中的内容所属的类别。但训练图像识别模型需要属于该领域，且携带标签的样本图像数据，样本图像数据的数量会直接决定模型的识别准确性。基于少量属于该领域，且携带标签的样本图像数据(或者属于该领域，但不携带标签的图像数据)是无法训练得到识别准确度较高的图像识别模型，导致图像识别模型的识别准确率低下。
技术实现思路
本申请实施例提供一种图像处理方法、装置以及相关设备，可以提高模型预测图像中的内容所属的类别的准确率。本申请实施例一方面提供了一种图像处理方法，包括：获取包含目标对象的属于第一图像领域的第一样本图像，基于样本图像识别模型提取所述第一样本图像的第一样本特征；获取包含所述目标对象的属于第二图像领域的第二样本图像，基于所述样本图像识别模型提取所述第二样本图像的第二样本特征；对所述第一样本特征和所述第二样本特征进行对抗训练，得到对抗训练结果；所述对抗训练结果是用于使所述样本图像识别模型提取的第一样本图像的特征和所述第二样本图像的特征之间无领域差；根据所述第一样本图像、所述第二样本图像、所述目标对象在所述第二样本图像中的样本对象类型以及所述对抗训练结果训练所述样本图像识别模型，得到图像识别模型；所述图像识别模型是用于识别属于所述第一图像领域的图像中的所述目标对象的对象类型。其中，所述对所述第一样本特征和所述第二样本特征进行对抗训练，得到对抗训练结果，包括：获取样本领域判别单位模型；根据属于所述第一图像领域的第一样本特征，以及属于所述第二图像领域的第二样本特征，训练所述样本领域判别单位模型，得到用于识别特征领域类型的领域判别单位模型；将所述领域判别单位模型确定为所述对抗训练结果。其中，所述根据属于所述第一图像领域的第一样本特征，以及属于所述第二图像领域的第二样本特征，训练所述样本领域判别单位模型，得到用于识别特征领域类型的领域判别单位模型，包括：获取与所述样本领域判别单位模型对应的样本领域判别函数；根据所述第一样本特征、所述第二样本特征和所述样本领域判别函数，生成特征领域损失函数；基于梯度下降规则确定所述特征领域损失函数中的模型变量参数的参数值，作为第一参数值；根据所述第一参数值更新所述样本领域判别单位模型中的模型变量参数，得到用于识别特征领域类型的所述领域判别单位模型。其中，所述样本图像识别模型包括样本特征生成单位模型和样本图像分类单位模型；所述样本特征生成单位模型和所述样本领域判别单位模型属于样本生成对抗网络；所述根据所述第一样本图像、所述第二样本图像、所述目标对象在所述第二样本图像中的样本对象类型以及所述对抗训练结果训练所述样本图像识别模型，得到图像识别模型，包括：获取与所述样本特征生成单位模型对应的特征生成函数、与所述样本图像分类单位模型对应的类型判别函数，以及与所述对抗训练结果对应的领域判别函数；根据所述第一样本图像、所述第二样本图像、所述特征生成函数和所述领域判别函数，确定特征生成损失函数；根据所述第二样本图像、所述特征生成函数、所述类型判别函数和所述样本对象类型，确定类型判别损失函数；将所述特征生成损失函数和所述类型判别损失函数组合为目标损失函数；基于梯度下降规则确定所述目标损失函数中的模型变量参数的参数值，作为第二参数值；根据所述第二参数值更新所述样本特征生成单位模型中的模型变量参数和所述样本图像分类单位模型中的模型变量参数；当更新后的样本特征生成单位模型以及更新后的样本图像分类单位模型均满足模型收敛条件时，将更新后的样本特征生成单位模型以及更新后的样本图像分类单位模型组合为所述图像识别模型。其中，还包括：获取原始图像识别模型；基于所述第二样本图像和所述样本对象类型，训练所述原始图像识别模型，得到所述样本图像识别模型；所述样本图像识别模型是用于识别属于所述第二图像领域的图像中的所述目标对象的对象类型。其中，还包括：获取包含所述目标对象的属于所述第一图像领域的目标图像；基于所述图像识别模型中的特征生成单位模型，提取所述目标图像的无领域特征信息；基于所述图像识别模型中的图像分类单位模型，识别所述无领域特征信息与所述图像分类单位模型中多种对象类型之间的匹配概率；将具有最大匹配概率的对象类型作为所述目标图像中的所述目标对象的对象类型。其中，所述目标对象是生物组织；所述第一图像领域是显微镜图像领域；所述第一样本图像是显微镜图像；所述第二图像领域是全视野数字切片领域；所述第二样本图像是全视野数字切片。本申请实施例另一方面提供了一种图像处理方法，包括：获取包含目标对象的属于第一图像领域的目标图像，获取图像识别模型；基于所述图像识别模型识别所述目标图像中的所述目标对象的对象类型；所述图像识别模型是采用上述图像处理方法训练得到的。其中，所述图像识别模型包括特征生成单位模型和图像分类单位模型；所述基于所述图像识别模型识别所述目标图像中的所述目标对象的对象类型，包括：基于所述特征生成单位模型，对所述目标图像进行卷积，生成所述目标图像的无领域差的卷积特征信息；基于所述图像分类单位模型，识别与所述无领域差的卷积特征信息对应的对象类型，作为所述目标图像中的目标对象的对象类型。其中，所述基于所述特征生成单位模型，对所述目标图像进行卷积，生成所述目标图像的无领域差的卷积特征信息，包括：基于所述特征生成单位模型对应的第一卷积函数，对所述目标图像进行深度卷积，生成第一卷积特征信息；所述第一卷积特征信息包括N个通道的第一特征图；所述N是大于0的正整数；所述第一卷积特征信息的通道数和所述目标图像的通道数相同；基于所述特征生成单位模型对应的第二卷积函数，对所述N个通道的第一特征图进行逐点卷积，生成M个通道的第二特征图；每个通道的第一特征图的尺寸和每个通道的第二特征图的尺寸相同；所述M是大于0的正整数；对所述M个通道的第二特征图进行标准化，生成所述无领域差的卷积特征信息。其中，所述基于所述图像分类单位模型，识别与所述无领域差的卷积特征信息对应的对象类型，作为所述目标图像中的目标对象的对象类型，包括：基于所述图像分类单位模型中的全连接函数和归一化函数，识别所述无领域差的卷积特征信息与所述图像分类单位模型中多种对象类型之间的匹配概率；将具有最大匹配概率的对象类型作为所述目标图像中的目标对象的对象类型。...

【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取包含目标对象的属于第一图像领域的第一样本图像，基于样本图像识别模型提取所述第一样本图像的第一样本特征；/n获取包含所述目标对象的属于第二图像领域的第二样本图像，基于所述样本图像识别模型提取所述第二样本图像的第二样本特征；/n对所述第一样本特征和所述第二样本特征进行对抗训练，得到对抗训练结果；所述对抗训练结果是用于使所述样本图像识别模型提取的第一样本图像的特征和所述第二样本图像的特征之间无领域差；/n根据所述第一样本图像、所述第二样本图像、所述目标对象在所述第二样本图像中的样本对象类型以及所述对抗训练结果训练所述样本图像识别模型，得到图像识别模型；所述图像识别模型是用于识别属于所述第一图像领域的图像中的所述目标对象的对象类型。/n

【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：
获取包含目标对象的属于第一图像领域的第一样本图像，基于样本图像识别模型提取所述第一样本图像的第一样本特征；
获取包含所述目标对象的属于第二图像领域的第二样本图像，基于所述样本图像识别模型提取所述第二样本图像的第二样本特征；
对所述第一样本特征和所述第二样本特征进行对抗训练，得到对抗训练结果；所述对抗训练结果是用于使所述样本图像识别模型提取的第一样本图像的特征和所述第二样本图像的特征之间无领域差；
根据所述第一样本图像、所述第二样本图像、所述目标对象在所述第二样本图像中的样本对象类型以及所述对抗训练结果训练所述样本图像识别模型，得到图像识别模型；所述图像识别模型是用于识别属于所述第一图像领域的图像中的所述目标对象的对象类型。


2.根据权利要求1所述的方法，其特征在于，所述对所述第一样本特征和所述第二样本特征进行对抗训练，得到对抗训练结果，包括：
获取样本领域判别单位模型；
根据属于所述第一图像领域的第一样本特征，以及属于所述第二图像领域的第二样本特征，训练所述样本领域判别单位模型，得到用于识别特征领域类型的领域判别单位模型；
将所述领域判别单位模型确定为所述对抗训练结果。


3.根据权利要求2所述的方法，其特征在于，所述根据属于所述第一图像领域的第一样本特征，以及属于所述第二图像领域的第二样本特征，训练所述样本领域判别单位模型，得到用于识别特征领域类型的领域判别单位模型，包括：
获取与所述样本领域判别单位模型对应的样本领域判别函数；
根据所述第一样本特征、所述第二样本特征和所述样本领域判别函数，生成特征领域损失函数；
基于梯度下降规则确定所述特征领域损失函数中的模型变量参数的参数值，作为第一参数值；
根据所述第一参数值更新所述样本领域判别单位模型中的模型变量参数，得到用于识别特征领域类型的所述领域判别单位模型。


4.根据权利要求2所述的方法，其特征在于，所述样本图像识别模型包括样本特征生成单位模型和样本图像分类单位模型；所述样本特征生成单位模型和所述样本领域判别单位模型属于样本生成对抗网络；
所述根据所述第一样本图像、所述第二样本图像、所述目标对象在所述第二样本图像中的样本对象类型以及所述对抗训练结果训练所述样本图像识别模型，得到图像识别模型，包括：
获取与所述样本特征生成单位模型对应的特征生成函数、与所述样本图像分类单位模型对应的类型判别函数，以及与所述对抗训练结果对应的领域判别函数；
根据所述第一样本图像、所述第二样本图像、所述特征生成函数和所述领域判别函数，确定特征生成损失函数；
根据所述第二样本图像、所述特征生成函数、所述类型判别函数和所述样本对象类型，确定类型判别损失函数；
将所述特征生成损失函数和所述类型判别损失函数组合为目标损失函数；
基于梯度下降规则确定所述目标损失函数中的模型变量参数的参数值，作为第二参数值；
根据所述第二参数值更新所述样本特征生成单位模型中的模型变量参数和所述样本图像分类单位模型中的模型变量参数；
当更新后的样本特征生成单位模型以及更新后的样本图像分类单位模型均满足模型收敛条件时，将更新后的样本特征生成单位模型以及更新后的样本图像分类单位模型组合为所述图像识别模型。


5.根据权利要求1所述的方法，其特征在于，还包括：
获取原始图像识别模型；
基于所述第二样本图像和所述样本对象类型，训练所述原始图像识别模型，得到所述样本图像识别模型；所述样本图像识别模型是用于识别属于所述第二图像领域的图像中的所述目标对象的对象类型。


6.根据权利要求1所述的方法，其特征在于，还包括：
获取包含所述目标对象的属于所述第一图像领域的目标图像；
基于所述图像识别模型中的特征生成单位模型，提取所述目标图像的无领域特征信息；
基于所述图像识别模型中的图像分类单位模型，识别所述无领域特征信息与所述图像分类单位模型中多种对象类型之间的匹配概率；
将具有最大匹配概率的对象类型作为所述目标图像中的所述目标对象的对象类型。


7.根据权利要求1所述的方法，其特征在于，所述目标对象是生物组织；所述第一图像领域是显微镜图像领域；所述第一样本图像是显微镜图像；所述第二图像领域是全视野数字切片领域；所述第二样本图像是全视野数字切片。


8....

【专利技术属性】
技术研发人员：张一帆，魏颖，陈韩波，赵沛霖，黄俊洲，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44