医学影像编码网络的预训练方法、装置、设备及存储介质制造方法及图纸

技术编号:37347514 阅读:29 留言:0更新日期:2023-04-22 21:43
本申请实施例公开了医学影像编码网络的预训练方法、装置、设备及存储介质,其包括:获取被划分为多个图像块的医学影像;在多个图像块中选择待掩盖图像块;使用掩码图像块掩盖待掩盖图像块得到被掩盖图像;分别利用编码网络和动量平均网络得到查询特征和平均特征,编码网络和动量平均网络的结构相同,查询特征和平均特征中一个为被掩盖图像的全局特征,一个为掩码图像块的局部特征;基于查询特征和平均特征计算对比损失并根据对比损失更新编码网络的模型参数;根据编码网络更新后的模型参数更新动量平均网络的模型参数;继续进行训练,直到编码网络满足预训练停止条件。采用上述方法可以解决相关技术中缺少针对于医学影像的预训练模型的技术问题。训练模型的技术问题。训练模型的技术问题。

【技术实现步骤摘要】
医学影像编码网络的预训练方法、装置、设备及存储介质


[0001]本申请实施例涉及神经网络
,尤其涉及一种医学影像编码网络的预训练方法、装置、设备及存储介质。

技术介绍

[0002]深度学习(Deep Learning,DL)是指学习样本数据的内在规律和表示层次,以让机器能够像人一样具有分析学习能力。随着深度学习技术的发展,深度学习模型被广泛应用在医学影像处理方向。例如,通过磁共振检查(Magnetic Resonance,MR)拍摄脑部医学影像,并利用深度学习模型对脑部医学影像中的脑胶质瘤进行分割,以实现辅助检测脑胶质瘤。再如,利用电子计算机断层扫描(Computed Tomography,CT)得到肺部医学影像,并利用深度学习模型检测肺部医学影像中的肺部结节,以实现辅助检测肺部结节。还如,利用直接数字化X射线摄影系统(DR)拍摄胸部医学影像,并利用深度学习模型检测胸部异常,以实现辅助检测胸部。
[0003]然而,相比于深度学习模型对自然图像(如人脸图像)的处理任务,深度学习模型对医学影像的处理任务中,缺少大数据集上的预训练模型。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医学影像编码网络的预训练方法,其特征在于,包括:获取三维的医学影像,所述医学影像被划分为多个尺寸相同的图像块;在多个所述图像块中,选择待掩盖图像块;使用掩码图像块对所述医学影像中的所述待掩盖图像块进行掩盖,得到被掩盖图像;分别利用编码网络和动量平均网络得到查询特征和平均特征,所述查询特征为所述掩码图像块的第一局部特征时,所述平均特征为所述被掩盖图像的第二全局特征,所述查询特征为所述被掩盖图像的第一全局特征时,所述平均特征为所述掩码图像块的第二局部特征,所述编码网络和所述动量平均网络的结构相同;基于所述查询特征和所述平均特征计算对比损失,并根据所述对比损失更新所述编码网络的模型参数;根据所述编码网络更新后的模型参数,更新所述动量平均网络的模型参数;继续获取三维的医学影像,并返回执行选择待掩盖图像块的操作,直到所述编码网络满足预训练停止条件。2.根据权利要求1所述的预训练方法,其特征在于,所述基于所述查询特征和所述平均特征计算对比损失包括:将当前得到的所述平均特征加入动态字典,所述动态字典中还记录其他被掩盖图像的平均特征;将属于同一被掩盖图像的平均特征和查询特征作为正样本对,将属于不同被掩盖图像的平均特征和查询特征作为负样本对;通过所述正样本对和所述负样本对计算对比损失。3.根据权利要求1或2所述的预训练方法,其特征在于,还包括:根据所述第一局部特征或所述第二局部特征,重建出低分辨率图像块;对所述待掩盖图像块进行下采样,得到下采样图像块;根据所述低分辨率图像块和所述下采样图像块计算重建损失;所述根据所述对比损失更新所述编码网络的模型参数包括:根据所述对比损失和所述重建损失更新所述编码网络的模型参数。4.根据权利要求3所述的预训练方法,其特征在于,所述重建损失通过Smooth

L1损失函数计算得到。5.根据权利要求1所述的预训练方法,其特征在于,所述编码网络由特征编码器、第一池化层、投影器、第二池化层和预测器组成,利用编码网络得到查询特征包括:由所述特征编码器对所述被掩盖图像进行特征提取,得到三维特征图;由第一池化层在所述三维特征图中获取所述掩码图像块的掩码特征以及所述被掩盖图像中其他图像块的图像特征,每个所述图像块对应一个图像特征;由所述投影器分别对所述掩码特征和各所述图像特征进行映射投影,以得到各隔离特征;利用所述第二池化层融合全部所述隔离特征,得到所述被掩盖图像的第一全局特征;由所述预测器对所述掩码图像块对应的隔离特征进行预测,得到所述掩码图像块对应的第一局部特征。
6.根据权利要求5所述的预训练方法,其特征在于,所述特征编码器采用非对称的3D卷积网络,所述投影器采用第一多层感知机网络,所述预测器采用第二多层感知机网络。7.根据权利要求5所述的预训练方法,其特征在于,所述特征编码器的下采样比例小于或等于所述图像...

【专利技术属性】
技术研发人员:黎安伟
申请(专利权)人:广州视源人工智能创新研究院有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1