基于未标记医学图像自监督信息的预训练方法技术

本发明专利技术公开了基于未标记医学图像自监督信息的预训练方法，具体为：搭建Trans

【技术实现步骤摘要】
基于未标记医学图像自监督信息的预训练方法


[0001]本专利技术属于数字图像处理方法
，具体涉及基于未标记医学图像自监督信息的预训练方法。

技术介绍

[0002]自从提出机器学习的方法以来，图像处理技术得到了快速的发展。基于神经网络的深度学习方法出现后，在图像分类、图像分割等任务上取得了超越传统方法的结果。深度学习也带动了医学图像处理方法的进步，方法的效率和精度得到了很大的提升。
[0003]目前医学图像处理的主流方法是基于半监督学习，在监督学习的方式下，标记数据越多，模型的效果越好。但是医学图像的标记工作需要专业的人员才能进行，而且部分涉及到病人的隐私。因此，在现有条件下很难通过增加可用的训练数据来增强网络模型的性能。同时医学图像处理中没有通用的预训练模型或方法。相比于随机初始化的网络模型，经过预训练后的网络模型可以取得更好的结果。

技术实现思路

[0004]本专利技术的目的是提供基于未标记医学图像自监督信息的预训练方法，能够充分利用医学图像自身信息进行预处理，提高医学图像的处理效果。
[0005]本专利技术所采用的技术方案是，基于未标记医学图像自监督信息的预训练方法，具体按照以下步骤实施：
[0006]步骤1、搭建Trans
‑
Inf
‑
Net分割网络，将医学CT图像x0放入到分割网络中进行病灶的分割，得到病灶图x
s
，作为自监督信息；
[0007]步骤2、搭建孪生神经网络，并将医学CT图像x0和病灶图x<br/>s
作为孪生神经网络的两个输入，进行信息提取，得到权重图W；
[0008]步骤3，使用高斯金字塔分解对步骤2获得权重图W进行转换，并将权重图W与医学CT图像x0和病灶图x
s
进行融合，强化医学图像的特征，并保留医学图像原始信息。
[0009]本专利技术的特点还在于，
[0010]步骤1中，具体为：
[0011]步骤1.1、Trans
‑
Inf
‑
Net分割网络是在Inf
‑
Net分割网络的基础之上，加入了transformer模块提高边缘表示，具体的网络框架为：医学CT图像首先被送入两层卷积层提取低层次的特征，然后将低层次特征f2被送入到三层卷积层提取高层次特征，利用一个平行部分解码器聚合这些特征并且得到一个全局图S
g
，将高层次特征和低层次特征f2结合在S
g
的指导下输入到反向注意力模块，最终最后一个RA的输出输入到一个Sigmoid激活函数用于医学CT图像的感染预测；
[0012]步骤1.2、将50张标注的医学CT图像和1600张未标注的医学CT图像作为训练集；将48张标注的医学CT图像作为测试集，并将所有图像的大小缩放为352
×
352；
[0013]步骤1.3、首先使用标记数据对网络进行训练，使用不同的缩放比例{0.75,1,
1.25}对训练集图像进行重新采样，然后使用重新采样的图像对Trans
‑
Inf
‑
Net分割网络进行训练，网络使用Adam优化器进行训练，将学习率设置为1e
‑
4，最后，保存训练好的模型；；
[0014]步骤1.4、使用训练好的Trans
‑
Inf
‑
Net分割网络为未标注的医学CT图像生成伪标签；图像的数量设置为5，即K＝5，构成K张伪标签数据，将伪标签图片作为训练图片扩充到标记数据集中进行网络的训练，然后将这K张图片从未标注的医学CT图像的数据集中移除。直到未标注的医学CT图像数据集为空；
[0015]步骤1.5，保存训练好的模型，将数据集COVID
‑
HSS中的医学CT图像x0放入到训练好的模型中进行病灶分割，得到病灶图x
s
。
[0016]步骤2中，具体为：
[0017]将医学CT图像x0和病灶图x
s
作为孪生神经网络的两个输入，两个图像被编码器网络f处理，编码器网络f由主干的MLP和投影的MLP头组成；编码器网络f在两个图像之间共享权重；预测MLP头h，改变图像的输出，并且将这个输出和另一个图像的输出进行匹配；将两个输出向量分别表示为和并最小化负余弦相似性，如式(1)所示：
[0018][0019]其中，||
·
||2表示为归一化向量的均方误差，尺度为2。
[0020]对称损失，如式(2)所示：
[0021][0022]将式(1)修改为式(3)：
[0023][0024]将式(2)修改为式(4)：
[0025][0026]编码器网络为ResNet
‑
50，基础学习率为0.05，权重衰减为0.0001，SGD动量为0.9，批处理大小为4。
[0027]步骤3中，具体为：
[0028]步骤3.1、使用高斯金字塔分解对权重图W进行转换以获得G{W}；
[0029]步骤3.2，使用拉普拉斯金字塔，将医学CT图像x0和病灶图x
s
进行拉普拉斯变换分别得到L{x
s
}和L{x0}，然后将得到的G{W}和L{x
s
}、L{x0}分别进行融合，得到L{C}和L{D}；将L{C}和L{D}进行融合得到L{F}，将L{F}进行拉普拉斯反变换得到最终的融合图像x
f
。
[0030]步骤3.2中，对于每一个拉普拉斯金字塔分解层，须计算L{x
o
}和L{x
s
}的局部能量特征，如式(5)所示；
[0031][0032]其中，L{x
o
}
l
和L{x
s
}
l
表示第l层的拉普拉斯金字塔图；；和分别表示第l层的中心位置为(x,y)的图像x
o
和图像x
s
的局部区域能量；
[0033]融合模式测定中的相似性度量表示为式(6)：
[0034][0035]其范围在[
‑
1,1]区间内，t是融合模式确定的阈值，如果S
l
(x,y)≥t，以下公式用于加权平均融合：
[0036][0037]如果S
l
(x,y)＜t，则在融合中通过以下方式选择比较的局部能量：
[0038][0039]本专利技术的有益效果是：首次研究了预训练模型的自监督信息，以有效克服医学图像上的人工标记负担，使用简单的孪生网络提取未标记图像的自身特征，提高医学图像的处理效果。
附图说明
[0040]图1是本专利技术基于未标记医学图像自监督信息的预训练方法的流程图；
[0041]图2是本专利技术方法中利用孪生神经网络提取信息的流程图；
[0042]图3是本专利技术方法中图像融合过程图；
...

【技术保护点】

【技术特征摘要】
1.基于未标记医学图像自监督信息的预训练方法，其特征在于，具体按照以下步骤实施：步骤1、搭建Trans
‑
Inf
‑
Net分割网络，将医学CT图像x0放入到分割网络中进行病灶的分割，得到病灶图x
s
，作为自监督信息；步骤2、搭建孪生神经网络，并将医学CT图像x0和病灶图x
s
作为孪生神经网络的两个输入，进行信息提取，得到权重图W；步骤3，使用高斯金字塔分解对步骤2获得权重图W进行转换，并将权重图W与医学CT图像x0和病灶图x
s
进行融合，强化医学图像的特征，并保留医学图像原始信息。2.根据权利要求1所述的基于未标记医学图像自监督信息的预训练方法，其特征在于，所述步骤1中，具体为：步骤1.1、Trans
‑
Inf
‑
Net分割网络是在Inf
‑
Net分割网络的基础之上，加入了transformer模块提高边缘表示，具体的网络框架为：医学CT图像首先被送入两层卷积层提取低层次的特征，然后将低层次特征f2被送入到三层卷积层提取高层次特征，利用一个平行部分解码器聚合这些特征并且得到一个全局图S
g
，将高层次特征和低层次特征f2结合在S
g
的指导下输入到反向注意力模块，最终最后一个RA的输出输入到一个Sigmoid激活函数用于医学CT图像的感染预测；步骤1.2、将50张标注的医学CT图像和1600张未标注的医学CT图像作为训练集；将48张标注的医学CT图像作为测试集，并将所有图像的大小缩放为352
×
352；步骤1.3、首先使用标记数据对网络进行训练，使用不同的缩放比例{0.75,1,1.25}对训练集图像进行重新采样，然后使用重新采样的图像对Trans
‑
Inf
‑
Net分割网络进行训练，网络使用Adam优化器进行训练，将学习率设置为1e
‑
4，最后，保存训练好的模型；；步骤1.4、使用训练好的Trans
‑
Inf
‑
Net分割网络为未标注的医学CT图像生成伪标签；图像的数量设置为5，即K＝5，构成K张伪标签数据，将伪标签图片作为训练图片扩充到标记数据集中进行网络的训练，然后将这K张图片从未标注的医学CT图像的数据集中移除；直到未标注的医学CT图像数据集为空；步骤1.5，保存训练好的模型，将数据集COVID
‑
HSS中的医学CT图像x0放入到训练好的模型中进行病灶分割，得到病...

【专利技术属性】
技术研发人员：张鑫，张杰，王静宜，汪远红，康孟飞，潘志庚，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：