一种用于医学图像分类的神经网络模型的训练方法及系统技术方案

一种用于医学图像分类的神经网络的训练方法及系统，采用改进的视觉转换器作为用于医学图像分类的神经网络模型，具有聚合功能，将基于医学图像进行编码得到的局部图像区域编码特征聚合形成全局图像区域编码特征，且将全局图像区域编码特征与局部图像区域编码特征聚合；将该视觉转换器作为编码层嵌入到对比学习网络中进行预训练，且使用了鲁棒性对比自监督损失函数(RS

【技术实现步骤摘要】
一种用于医学图像分类的神经网络模型的训练方法及系统


[0001]本申请涉及图像处理技术，特别涉及一种用于医学图像分类的神经网络的训练方法及系统。

技术介绍

[0002]近年来，基于监督学习的神经网络模型技术在人工智能领域中做出了巨大贡献，监督学习是从标记的数据，通过训练得到的神经网络模型来推断一个功能的机器学习任务。但是，在训练基于监督学习的神经网络模型时，需要大量的人工标注信息的训练数据进行训练，由于人工标注数据的有限性以及处理训练数据的能力不足，所以基于监督学习的神经网络模型技术直到前几年才逐渐开始成为商业落地的实用技术之一。基于监督学习的神经网络模型技术仅适用于有足够高质量的训练数据且可以捕获所有可能场景的情况，然而在医学图像领域，高质量精确的标注的训练数据的获取困难、获取成本高及可获取的数量少，所以无法训练得到精度很高的神经网络模型来对医学图像进行分类。
[0003]人们越来越关心如何使用海量的未标注训练数据，对神经网络模型进行训练，得到能精确对医学图像进行分类的神经网络模型，进行后续应用。在这里，医学图像包括诸如细胞图像等的组织病理学图像。因此，自监督学习(self
‑
supervised learning)技术被提出，神经网络模型直接从无标签数据中自行学习，无需标注训练数据。
[0004]自监督学习技术包括多种，其中一种为对比学习技术，其可以有效地从未标记的数据中学习得到预训练神经网络模型，将该预训练神经网络模型采用带有有限标注的训练数据进行微调后得到神经网络模型，应用于图像的分类。但是，由于医学图像是一种特殊的图像，直接将对比学习技术应用于医学图像的分类时，会存在分类质量不高的问题。因此，如何将对比学习技术有效地应用于医学图像的分类，提高分类质量，成为了一个亟待解决的问题。

技术实现思路

[0005]有鉴于此，本申请实施例提供一种用于医学图像分类的神经网络的训练方法，该方法采用对比学习技术对用于医学图像分类的神经网络模型进行预训练，从而提高神经网络模型分类医学图像的质量。
[0006]本申请实施例还提供一种用于医学图像分类的神经网络的训练系统，该系统采用对比学习技术对用于医学图像分类的神经网络模型进行预训练，从而提高神经网络模型分类医学图像的质量。
[0007]本申请实施例是这样实现的：
[0008]一种用于医学图像分类的神经网络的训练方法，所述方法包括：
[0009]a、预设具有特征聚合功能的视觉转换器，将所述视觉转换器作为编码层嵌入到对比学习网络中；
[0010]b、提供预训练用的多个医学图像，对于每个医学图像，将所述医学图像输入所述
对比学习网络中，所述对比学习网络采用不同的图像特征提取方式提取第一图像区域特征及第二图像区域特征；
[0011]c、将第一图像区域特征及第二图像区域特征分别输入到所述视觉转换器中进行多层编码，在最后编码层进行编码之前，采用特征聚合功能将多层编码得到的局部图像区域编码特征聚合形成全局图像区域编码特征，在最后编码层进行编码之后，将所述全局图像区域编码特征与最后编码层得到的局部图像区域编码特征聚合为图像区域嵌入特征，分别得到第一图像区域嵌入特征及第二图像区域嵌入特征；
[0012]d、将所述第一图像区域嵌入特征及所述第二图像区域嵌入特征，分别采用对比学习网络中的多层感知器MLP处理后，采用预设的对比损失函数计算得到两者的差异值，判断两者的差异值大于预设阈值时，对视觉转换器中的参数调整，返回执行步骤b～c的预训练过程，直到所述差异值不大于所述预设阈值为止；
[0013]e、对预训练得到的所述视觉转换器采用具有标注信息的医学图像进行训练后，得到训练好的视觉转换器，应用于医学图像的分类。
[0014]在上述方法中，所述将第一图像区域特征及第二图像区域特征分别输入到所述视觉转换器中进行多层编码包括：
[0015]所述视觉转换器包括串联的至少一采用Transformer的编码层，从第一编码层到最后编码层之前的一编码层的每层编码层中，采用对应各个所述编码层的注意权重对第一图像区域特征及第二图像区域特征分别进行编码；
[0016]对于最后编码层，在将第一编码层到最后编码层之前的一编码层的每个编码层的注意权重相乘后，得到最后编码层的注意权重，采用所述最后编码层的注意权重，对第一图像区域特征及第二图像区域特征分别进行编码。
[0017]在上述方法中，所述采用预设的对比损失函数计算得到两者的差异值时，所述对比损失函数为鲁棒性对比自监督损失函数RS
‑
InfoNCE。
[0018]在上述方法中，所述鲁棒性对比自监督损失函数包括：
[0019][0020]其中，
[0021]公式中z
i
和z
j
分别表示预训练用的同一医学图像经过所述视觉转换器进行编码及MLP处理后的第一图像区域嵌入特征及第二图像区域嵌入特征，z
k
表示预训练用的其他不同医学图像经过所述视觉转换器进行编码及MLP处理后的第一图像区域嵌入特征及第二图像区域嵌入特征，sim(z
i
,z
j
)为第一图像区域嵌入特征及第二图像区域嵌入特征之间的相似度，|z
i
|为经过特征正则化之后的第一图像区域嵌入特征，t表示超参数，初步设置的t为0.07。
[0022]在上述方法中，在分别采用对比学习网络中的多层MLP处理后，在采用预设的对比损失函数计算得到两者的差异值之前，还包括：
[0023]采用对比信息网络中的预测器分别进行预测，得到预测后的第一图像区域嵌入特征及第二图像区域嵌入特征。
[0024]一种用于医学图像分类的神经网络的训练系统，包括：预训练单元及训练单元，其
中，
[0025]所述预训练单元，用于将具有特征聚合功能的视觉转换器作为编码层嵌入到对比学习网络中；提供预训练用的多个医学图像，对于每个医学图像，将所述医学图像输入所述对比学习网络中，所述对比学习网络采用不同的图像特征提取方式提取第一图像区域特征及第二图像区域特征；将第一图像区域特征及第二图像区域特征分别输入到所述视觉转换器中进行多层编码，在最后编码层进行编码之前，采用特征聚合功能将多层编码得到的局部图像区域编码特征聚合形成全局图像区域编码特征，在最后编码层进行编码之后，将所述全局图像区域编码特征与最后编码层得到的局部图像区域编码特征聚合为图像区域嵌入特征，分别得到第一图像区域嵌入特征及第二图像区域嵌入特征；将所述第一图像区域嵌入特征及所述第二图像区域嵌入特征，分别采用对比学习网络中的MLP处理后，采用预设的对比损失函数计算得到两者的差异值，判断两者的差异值大于预设阈值时，对视觉转换器中的参数调整，返回执行预训练过程，直到所述差异值不大于所述预设阈值为止；
[0026]所述训练单元，用于对预训练得到的所述视觉转换器采用具有标注信息的医学图像进行训练后，得到训练好的视觉本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于医学图像分类的神经网络的训练方法，其特征在于，所述方法包括：a、预设具有特征聚合功能的视觉转换器，将所述视觉转换器作为编码层嵌入到对比学习网络中；b、提供预训练用的多个医学图像，对于每个医学图像，将所述医学图像输入所述对比学习网络中，所述对比学习网络采用不同的图像特征提取方式提取第一图像区域特征及第二图像区域特征；c、将第一图像区域特征及第二图像区域特征分别输入到所述视觉转换器中进行多层编码，在最后编码层进行编码之前，采用特征聚合功能将多层编码得到的局部图像区域编码特征聚合形成全局图像区域编码特征，在最后编码层进行编码之后，将所述全局图像区域编码特征与最后编码层得到的局部图像区域编码特征聚合为图像区域嵌入特征，分别得到第一图像区域嵌入特征及第二图像区域嵌入特征；d、将所述第一图像区域嵌入特征及所述第二图像区域嵌入特征，分别采用对比学习网络中的多层感知器MLP处理后，采用预设的对比损失函数计算得到两者的差异值，判断两者的差异值大于预设阈值时，对视觉转换器中的参数调整，返回执行步骤b～c的预训练过程，直到所述差异值不大于所述预设阈值为止；e、对预训练得到的所述视觉转换器采用具有标注信息的医学图像进行训练后，得到训练好的视觉转换器，应用于医学图像的分类。2.如权利要求1所述的方法，其特征在于，所述将第一图像区域特征及第二图像区域特征分别输入到所述视觉转换器中进行多层编码包括：所述视觉转换器包括串联的至少一采用Transformer的编码层，从第一编码层到最后编码层之前的一编码层的每层编码层中，采用对应各个所述编码层的注意权重对第一图像区域特征及第二图像区域特征分别进行编码；对于最后编码层，在将第一编码层到最后编码层之前的一编码层的每个编码层的注意权重相乘后，得到最后编码层的注意权重，采用所述最后编码层的注意权重，对第一图像区域特征及第二图像区域特征分别进行编码。3.如权利要求1所述的方法，其特征在于，所述采用预设的对比损失函数计算得到两者的差异值时，所述对比损失函数为鲁棒性对比自监督损失函数RS
‑
InfoNCE。4.如权利要求1所述的方法，其特征在于，所述鲁棒性对比自监督损失函数包括：其中，公式中z
i
和z
j
分别表示预训练用的同一医学图像经过所述视觉转换器进行编码及MLP处理后的第一图像区域嵌入特征及第二图像区域嵌入特征，z
k
表示预训练用的其他不同医学图像经过所述视觉转换器进行编码及MLP处理后的第一图像区域嵌入特征及第二图像区域嵌入特征，sim(z
i
,z
j
)为第一图像区域嵌入特征及第二图像区域嵌入特征之间的相似度，|z
i
|为经过特征正则化之后的第一图像区域嵌入特征，t表示超参数，初步设置的t为0.07。5.如权利要求1所述的方法，其特征在于，在分别采用对比学习网络中的多层MLP处理后，在采用预设的对比损失函数计算得到两者的差异值之前，还包括：
采用对比信息网络中的预测器分别进行预...

【专利技术属性】
技术研发人员：杨志明，
申请(专利权)人：苏州深思考人工智能科技有限公司，
类型：发明
国别省市：