一种融合全局和局部信息的乳腺癌辅助检测方法技术

本发明专利技术公开了一种融合全局和局部信息的乳腺癌辅助检测方法，先通过图像处理技术去除影像中的噪声、裁剪无关背景，得到只包含乳腺区域的图像；然后将图像送入全局网络提取全局信息，得到全局显著性图；接着通过全局显著性图选出若干个可能包含良性/恶性肿瘤的高危区域，将这些高危区域送入局部网络进一步提取局部细节特征；最后通过融合网络融合全局信息和局部细节特征，自动判别输入影像是否存在良性/恶性肿瘤，对存在肿瘤的影像，进一步检测出肿瘤的区域。本方法对乳腺钼靶图像进行由粗到精的分析，能够较快速地自动检测到不同设备采集的乳腺钼靶图像中的良性、恶性肿瘤分布区域，为医生提供辅助诊断信息并提高工作效率。为医生提供辅助诊断信息并提高工作效率。为医生提供辅助诊断信息并提高工作效率。

【技术实现步骤摘要】
一种融合全局和局部信息的乳腺癌辅助检测方法


[0001]本专利技术属于模式识别与计算机视觉领域，具体涉及一种融合全局和局部信息的乳腺癌辅助检测方法。

技术介绍

[0002]乳腺癌是女性群体中最常见的一种癌症。2020年最新数据显示，全球乳腺癌新增人数达226万，乳腺癌已经取代肺癌成为全球发病率第一的癌症。乳腺癌筛查是检测和早期诊断乳腺癌的重要手段之一，其目的在于在未出现症状的情况下发现和诊断癌症。乳腺癌筛查不仅可降低乳腺癌死亡风险，还可促进早期治疗。乳腺X射线钼靶影像是目前临床最常用，也最有效的乳腺癌筛查方式。将机器学习(深度学习)、计算机视觉技术和乳腺钼靶影像结合起来，对乳腺钼靶影像进行分析，将有效辅助医疗专家提高诊断准确性和效率。
[0003]目前采用机器学习(深度学习)技术进行自动乳腺钼靶影像诊断的方法大体可以分为两类：基于全局信息的方法和基于局部信息的方法。基于全局信息的方法将整张乳腺钼靶图像送入模型进行分析，提取全局特征进行分类。由于乳腺钼靶图像分辨率很高(通常有几千万个像素)，因此模型要有一定的深度，同时为减少计算量，通常会对原始图像进行降采样以减少像素数量。由于降采样后图像的细节受到损失，影响了全局特征的判别能力，因此这种方法的分类准确率和对肿瘤区域的定位精度有限。基于局部信息的方法需要人工从乳腺钼靶图像中获取大量肿瘤区域子块和正常区域子块，作为正负样本来训练模型。由于肿瘤区域和正常组织的细节信息被很好地保留下来，因此能得到较高的分类准确率和肿瘤定位精度。但这种方法的缺点在于需要专业知识进行像素级的标注，标注成本很高。

技术实现思路

[0004]针对现存方法的一些缺点，如计算量大，分类准确率低，标注成本高等，本专利技术公开了一种高效、准确的融合全局和局部信息的乳腺癌辅助检测方法。本方法首先通过图像处理技术去除影像中的噪声、裁剪无关背景，得到只包含乳腺区域的图像。将图像送入全局网络提取全局信息，得到全局显著性图。通过全局显著性图选出若干个可能包含良性/恶性肿瘤的高危区域，将这些高危区域送入局部网络进一步提取局部细节特征。最后通过融合网络融合全局信息和局部细节特征，自动判别输入影像是否存在良性/恶性肿瘤，对存在肿瘤的影像，进一步检测出肿瘤的区域。本方法适用于不同设备上得到的乳腺钼靶影像，可以快速准确地判断输入影像中不同性质肿瘤的位置。本方法在模型训练时只需提供图像级标签。
[0005]为达到上述目的，本专利技术的技术方案如下：
[0006]一种融合全局和局部信息的乳腺癌辅助检测方法，包括如下步骤：
[0007](1)获取乳腺钼靶图像；
[0008](2)对图像进行阈值分割得到包含乳腺区域的最小外接矩形、用该矩形裁剪图像得到乳腺图像；
[0009](3)对步骤(2)处理获得的图像进行全局扫描，提取全局信息，得到全局显著性图；
[0010](4)根据步骤(3)得到的全局信息，获得可能包含良性/恶性肿瘤的高危区域，提取高危区域的局部特征；
[0011](5)融合步骤(3)和(4)得到的全局和局部信息，进行良性/恶性肿瘤检测，得到输入图像中良性/恶性肿瘤区域。
[0012]进一步，在步骤(2)中，若图像中有噪声，则进行高斯模糊或中值滤波去除噪声，再进行背景剪切，得到只包括乳腺区域的图像。具体步骤如下：
[0013](2
‑
1)对输入图像或去噪以后的图像I，采用OTSU阈值分割法对I进行二值分割，得到前景乳腺区域二值图Binary
breast
[0014][0015](2
‑
2)由Binary
breast
得到包含前景区域的最小外接矩阵，并由最小外接矩阵生成乳腺区域掩模图Mask
binary
[0016][0017](2
‑
3)对原始输入图像I，保留其在Mask
binary
中值为1的像素点，去掉其在Mask
binary
中值为0的像素点，得到只包括乳腺区域的图像x。
[0018]进一步，在步骤(3)中，需要计算输入图像x的全局显著性图A,将全局显著性图映射成基于全图信息的类别标签：
[0019](3
‑
1)将输入图像x送入全局网络f
g
,得到变换结果h
g
[0020]h
g
＝f
g
(x)
[0021]其中，f
g
是ResNet22网络；
[0022](3
‑
2)将h
g
送入带sigmoid激励函数的1x1卷积层，计算得到全局显著性图A
[0023]A＝sigmoid(conv1×1(h
g
))
[0024]其中，A＝[A
b
,A
m
],c∈{b,m}表示图像中某个点(i,j)是良性(b)或恶性(m)肿瘤组织的概率；
[0025](3
‑
3)采用全局平均池化法(Global average pooling)，将全局显著性图A映射成基于整图特征的类别标签预测
[0026][0027]其中，W与H分别为输入图像x的宽度和高度。
[0028]进一步，步骤(4)中，从全局显著性图中选出K个高危区域(ROI)，并计算这K个ROI的局部特征和注意力权重：
[0029](4
‑
1)用大小为w
c
×
h
c
的网格将全局显著性图A分成L个子块，计算每个子块中全局显著性图A的均值
[0030][0031]其中，|l|表示第l个子块中的像素数。
[0032]从所有L个子块中选择K个具有最大均值的子块，作为良性/恶性肿瘤的高危区域(ROI)，进行局部特征提取。这里w
c
＝h
c
＝256，K＝6。
[0033](4
‑
2)将(4
‑
1)中得到的K个ROI子块送入局部网络f
l
,提取ROI子块的局部特征
[0034][0035]其中，f
l
为ResNet18网络。
[0036](4
‑
3)对(4
‑
2)中得到的k个ROI子块的局部特征计算其注意力权重，计算公式如下
[0037][0038]其中，
⊙
为逐个元素相乘，为算法参数，可以通过训练得到。L和M分别设为512和128。
[0039](4
‑
4)根据每个ROI子块的局部特征及其注意力权重α
k
,将其送入带sigmoid函数的全连接层，计算得到基于局部特征的类别标签预测计算方法如下
[0040][0041][0042]其中，为算法参数，可通过训练得到。
[0043]进一步，步骤(5)中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种融合全局和局部信息的乳腺癌辅助检测方法，其特征在于，该方法包括如下步骤：(1)获取乳腺钼靶图像；(2)对图像进行阈值分割得到包含乳腺区域的最小外接矩形、用该矩形裁剪图像得到乳腺图像；(3)对步骤(2)处理获得的图像进行全局扫描，提取全局信息，得到全局显著性图；(4)根据步骤(3)得到的全局信息，获得可能包含良性/恶性肿瘤的高危区域，提取高危区域的局部特征；(5)融合步骤(3)和(4)得到的全局和局部信息，进行良性/恶性肿瘤检测，得到输入图像中良性/恶性肿瘤区域。2.根据权利要求1所述的一种融合全局和局部信息的乳腺癌辅助检测方法，其特征在于，在步骤(2)中，若有图像中有噪声，则进行高斯模糊或中值滤波去除噪声，再进行背景剪切，得到只包括乳腺区域的图像，具体步骤如下：(2
‑
1)对输入图像或去噪以后的图像I，采用OTSU阈值分割法对I进行二值分割，得到前景乳腺区域二值图Binary
breast
(2
‑
2)由Binary
breast
得到包含前景区域的最小外接矩阵，并由最小外接矩阵生成乳腺区域掩模图Mask
binary
(2
‑
3)对原始输入图像I，保留其在Mask
binary
中值为1的像素点，去掉其在Mask
binary
中值为0的像素点，得到只包括乳腺区域的图像x。3.根据权利要求1或2所述的一种融合全局和局部信息的乳腺癌辅助检测方法，其特征在于，在步骤(3)中，需要计算输入图像x的全局显著性图A,将全局显著性图映射成基于全图信息的类别标签：(3
‑
1)将输入图像x送入全局网络f
g
,得到变换结果h
g
h
g
＝f
g
(x)其中，f
g
是ResNet22网络；(3
‑
2)将h
g
送入带sigmoid激励函数的1x1卷积层，计算得到全局显著性图AA＝sigmoid(conv1×1(h
g
))其中，A＝[A
b
,A
m
],表示图像中某个点(i,j)是良性(b)或恶性(m)肿瘤组织的概率；(3
‑
3)采用全局平均池化法
‑
Global average pooling，将全局显著...

【专利技术属性】
技术研发人员：潘泓，朱亚平，夏思宇，
申请(专利权)人：东南大学，
类型：发明
国别省市：