基于多视角自监督深度学习乳腺钼靶图像分割方法及系统技术方案

本发明专利技术属于医学影像分析领域，提供了一种基于多视角自监督深度学习乳腺钼靶图像分割方法及系统，包括：获取乳腺钼靶图像并进行预处理；基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像分割网络进行乳腺钼靶图像肿块分割；其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型；该方法对数据集差异及下游任务差异有比较好的鲁棒性。好的鲁棒性。好的鲁棒性。

【技术实现步骤摘要】
基于多视角自监督深度学习乳腺钼靶图像分割方法及系统


[0001]本专利技术属于医学影像分析
，具体涉及一种基于多视角自监督深度学习乳腺钼靶图像分割方法及系统。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术。
[0003]乳腺钼靶检查具有低剂量、灵敏度高、简单方便等优点，已经作为一种经济有效的乳腺癌早期检测方法被广泛应用。乳腺癌是女性发病率最高的癌症，研究表明，乳腺癌占女性癌症发病率的29％和癌症死亡率的15％，乳腺癌的早期诊断对患者的生存至关重要。为了减轻致密乳房中组织重叠和性能损失的问题，标准的数字乳腺钼靶检查需要为每个乳房拍摄两个低剂量x线投影视图，一个颅尾侧位(CC)视图和一个中侧斜位(MLO)视图，放射科医生在诊断乳腺癌时通常使用所有视图，可以通过结合CC片和MLO片进行同侧分析交叉检查病变部位，利用双侧同位片分析的对称性信息来提高决策的准确性。肿块是乳腺癌的重要标志之一，基于乳腺钼靶x光片确定肿块位置，以及进一步对乳腺良恶性分级(BMC)被认为是早期诊断乳腺癌的有效方法，同时肿块轮廓的详细勾画对于后续治疗也有很大意义。
[0004]基于乳腺钼靶的计算机辅助诊断技术(CAD)的研究从未间断，特别是基于深度学习技术的应用，提高了乳腺癌诊断的整体效率和准确性。为了提高CAD识别和评估病变的能力，就像传统医生诊断流程，多视角(CC和MLO)包含的信息早已经被纳入CAD算法开发的流程里。如Engeland和Karssemeijer开发了一种算法来检测和评估同一乳房的两个视图中的病变，Wang等人提出了检测两个乳房相应视图的不对称性的算法，结果如预期的那样提高了CAD算法的性能。从Krizhevsky等人在2012年利用卷积神经网络(CNN)以压倒性优势取得了ImageNet大规模视觉识别挑战赛，CNN在过去几年被广泛应用在视觉分析的各个领域，包括在乳腺钼靶等医学图像上的诸多应用。例如，Lotter等人开发了一种两阶段算法，其中有两个不同的多尺度CNN，一个用于肿块，另一个用于钙化，用于扫描和分析图像块。也有直接通过图像级进行分类及肿块分割的工作，它不涉及单独分析图像以搜索软组织病变与钙化区域，从而获得良好的性能。但是值得注意的时，基于CNN监督训练的方式，需要大量像素级别或者图像块级别的标注训练集，需要专业的医生对病变区域进行精细勾画或者裁剪出包含有病变的图像块，这无疑增大了构建训练数据集的难度，因此最小化训练算法所需要的训练数据集的数据量时有意义的。实现这一目标的一种有效方法是迁移学习，迁移学习涉及使用已经训练过的深度学习模型，保持大部分模型内部参数值不变，并且仅针对新应用微调网络部分的参数，特别适合医疗小数据的场景，有加快收敛且提高精度的效果，作为一种范式，已经被广泛应用在视觉分析的各个场景。
[0005]迁移学习的预训练模型可以通过有标签的上游大数据集通过监督学习训练得到，也可以通过设计半监督，或者自监督学习任务来获取。有监督预训练如Samala等人从预训练的深度学习AlexNet模型开始，成功地对网络进行了微调，用于仅有1500个乳腺钼靶病变
图像块的分类任务，考虑到AlexNet的原始训练数据集包括使用超过120万张自然(非医学)图像，迁移学习的效果非常显着。而有相关研究在乳腺钼靶肿块检测任务上构建自监督学习方法(SSL)，降低了下游任务对于标签的依赖。同时自监督预训练方法的有效性已经逐步超越有监督的预训练方法，考虑到自监督不需要人为的标签，在医学图像领域也逐步得到应用，给医学CAD的算法发展提供高效且持续的助力。
[0006]乳腺钼靶的多视角(CC和MLO)分析符合医生的诊断标准和流程，而目前同时利用两个视角的深度学习研究往往缺乏合理有效的模型预训练方法，不能充分在医学小数据集上利用迁移学习的巨大优势，同时现有的基于自监督迁移学习的深度学习模型在乳腺钼靶上的应用，又忽略了乳腺钼靶多视角的信息分布。因此，针对乳腺钼靶多视角的特点，设计合理的自监督预训练方法来实现迁移学习，有限降低下游任务对于精细标注量的需求，进一步提高深度学习的CAD算法基于乳腺钼靶的癌症筛查有效性，就显得尤为关键。
[0007]现有的深度学习应用于乳腺钼靶的算法，未能针对乳腺钼靶多视角的特点设计合理的自监督预训练方法，在如乳腺肿块检测分割及乳腺良恶性分级的任务里，目前的方法往往采用随机或者大型有标签数据集监督预训练的方式来初始化模型参数，导致训练收敛慢、对上游标注数据依赖严重及小数据集效果不佳等问题，从而导致下游任务乳腺钼靶肿块分割中对于精细标注量的需求不能满足，无法精准的分割乳腺肿块。

技术实现思路

[0008]为了解决上述问题，本专利技术提出了一种基于多视角自监督深度学习乳腺钼靶图像分割方法及系统，本专利技术利用多视角自监督预训练的方法，可以有效降低下游任务标签数据量的需求，即少量标签数据情况下达到和原来等量标签情况下相媲美的算法性能。
[0009]根据一些实施例，本专利技术的第一方案提供了一种基于多视角自监督深度学习乳腺钼靶图像分割方法，采用如下技术方案：
[0010]基于多视角自监督深度学习乳腺钼靶图像分割方法，包括：
[0011]获取乳腺钼靶图像并进行预处理；
[0012]基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像分割网络进行乳腺钼靶图像肿块分割；
[0013]其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：
[0014]获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；
[0015]获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；
[0016]基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型。
[0017]进一步地，所述获取乳腺钼靶图像并进行预处理，包括：
[0018]获取患者不同视角的的乳腺钼靶图像；
[0019]采用Min
‑
Max的规范化方法对患者不同视角的的乳腺钼靶图像进行规范化，得到预处理后的乳腺钼靶图像。
[0020]进一步地，基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型，包括：
[0021]选取主干网络；
[0022]在训练过程中，控制每个批次的正样本对和负样本对的比例，训练主干网络；
[0023]得到预训练模型。
[0024]进一步地，所述自监督训练的过程中，当该批次的输入都通过主干网络的前向过程，采用InfoNCE损失函数，具体为：
[0025][0026]其中，q*k是模型预测的概率，t是一个温度超参数，k是数据集里类别的数量，i表示每批次第几个样本。
[0027]进一步地，所述主干网络采用50层残差卷积神经网络ResNet
‑
50，是由卷积层、批归一化层、激活层和残差连接组成单元堆积而成。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，包括：获取乳腺钼靶图像并进行预处理；基于预处理后的乳腺钼靶图像，利用预先训练好的多视角自监督图像分割网络进行乳腺钼靶图像肿块分割；其中，训练多视角自监督图像分割网络的过程包括自监督预训练阶段和下游任务迁移训练阶段，所述自监督预训练阶段，具体为：获取同一患者的同侧乳腺钼靶不同视角的乳腺钼靶图像作为自监督正样本；获取同一患者的非同侧乳腺钼靶图像及不同患者的乳腺钼靶图像作为自监督负样本；基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型。2.如权利要求1所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，所述获取乳腺钼靶图像并进行预处理，包括：获取患者不同视角的的乳腺钼靶图像；采用Min
‑
Max的规范化方法对患者不同视角的的乳腺钼靶图像进行规范化，得到预处理后的乳腺钼靶图像。3.如权利要求1所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，基于自监督正样本和自监督负样本进行自监督预训练，得到预训练模型，包括：选取主干网络；在训练过程中，控制每个批次的正样本对和负样本对的比例，训练主干网络；得到预训练模型。4.如权利要求3所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，所述自监督训练的过程中，当该批次的输入都通过主干网络的前向过程，采用InfoNCE损失函数，具体为：其中，q*k是模型预测的概率，t是一个温度超参数，k是数据集里类别的数量，i表示每批次第几个样本。5.如权利要求3所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在于，所述主干网络采用50层残差卷积神经网络ResNet
‑
50，是由卷积层、批归一化层、激活层和残差连接组成单元堆积而成。6.如权利要求1所述的基于多视角自监督深度学习乳腺钼靶图像分割方法，其特征在...

【专利技术属性】
技术研发人员：刘斌，孙辉，
申请(专利权)人：山东建筑大学，
类型：发明
国别省市：