一种跨模态乳腺断层影像特征生成方法技术

本发明专利技术公开了一种一种跨模态乳腺断层影像特征生成方法，包括：采集乳腺癌钼靶影像，进行病灶区域分割；对病灶区域利用训练好的卷积神经网络提取病灶特征；基于钼靶影像特征，生成乳腺断层影像特征；对生成的乳腺断层影像进行乳腺癌良恶性分类。相较于传统的直接使用钼靶影像的良恶性分方法，本发明专利技术生成的乳腺断层影像特征具有更好的AUC值，相对于基于乳腺断层影像的良恶性分类，本发明专利技术输入影像使用更为广泛，是一种更加精确且普遍的诊断方法。是一种更加精确且普遍的诊断方法。是一种更加精确且普遍的诊断方法。

【技术实现步骤摘要】
一种跨模态乳腺断层影像特征生成方法


[0001]本专利技术属于图像处理
，特别是涉及跨模态乳腺断层影像特征生成方法。

技术介绍

[0002]乳腺癌严重威胁人类生命健康。乳腺癌早期筛查能够有效的降低乳腺癌的死亡率。乳腺钼靶X线摄影(Mammography，MG)具有拍摄方便、无创伤性及费用性低等特点，是目前我国乳腺癌早期诊断最常用的影像之一。但MG影像对致密性腺体的病变判断能力较差。数字乳腺断层摄影(Digital Breast Tomosynthesis，DBT)从不同影像断层提供乳房的结构信息，提供更多的病灶信息。研究表明，医生在诊断中使用DBT影像相比MG影像能够获得更低的误诊率。但受限于我国DBT影像拍摄条件，在早期筛查中无法得到广泛推广。
[0003]因此本专利技术以提升MG影像乳腺癌早期诊断价值为目标，设计生成对抗网络模型生成信息含量更高的DBT影像特征，借助信息量高的DBT影像提升MG影像的分类价值，对于推广其在乳腺癌筛查上的应用，降低就医成本具有重要实用价值和意义。

技术实现思路

[0004]本专利技术的目的是提出一种跨模态乳腺断层影像特征生成方法，以提升MG影像乳腺癌早期诊断价值为目标，设计生成对抗网络模型生成信息含量更高的DBT影像特征，借助信息量高的DBT影像提升MG影像的分类价值，对于推广其在乳腺癌筛查上的应用，降低就医成本。
[0005]本专利技术提供了一种跨模态乳腺断层影像特征生成方法包括以下步骤：
[0006]步骤1：构建乳腺癌数据集，包含DBT影像，MG影像，乳腺癌良恶性标签。
[0007]步骤2：对乳腺癌影像进行数据预处理，针对乳腺癌影像，利用医生标注信息提取病灶区域并进行常规数据扩充，提取病灶区域步骤如下：
[0008]步骤A1：生成与影像原始形状大小完全相同的全零矩阵
[0009]步骤A2：根据标注信息将病灶区域内的全零矩阵全部设置为1
[0010]步骤A3：利用矩形查找边界，找到沿x轴或y轴最长的边作为正方形的边长
[0011]步骤A4：将整个矩形沿短边进行调整，保证正方型掩膜中心仍为原矩形掩膜中心
[0012]步骤A5：将矩形区域内全零矩阵全部设置为1
[0013]步骤A6：最终将生成的掩膜矩阵保存为npy格式文件，得到掩膜矩阵。
[0014]步骤A7：掩膜矩阵与原始影像进行点乘积，得到只包含病灶区域矩形图像。
[0015]步骤3：将原始数据集按照7：3比例分为训练集和测试集。
[0016]步骤4：使用卷积神经网络提取训练集病灶区域特征，作为优选，MG影像选择ResNet作为影像特征提取器，DBT影像选择多尺度注意力机制网络作为影像特征提取器。全连接层作为各自网络的分类器。使用交叉熵损失(Cross Entropy Loss)作为网络的损失函数。使用Adam优化器进行参数更新。Adam优化器能自然的实现补偿退火过程，即自动改变学习率。使用AUC作为分类模型的评价指标。
[0017]步骤5：利用步骤4分类训练方法，基于DBT影像，训练DBT影像网络，获得最优的DBT影像特征提取器和分类器。
[0018]步骤6：利用步骤4分类训练方法，基于MG影像，训练MG影像网络，获得最优的MG影像特征提取器和分类器。
[0019]步骤7：使用步骤5和步骤6训练好的特征提取器提取DBT影像与MG影像特征。
[0020]步骤8：将MG影像特征输入自编码器进行训练，自编码器由编码器与解码器组成，自编码器损失函数为
[0021]loss
AE
＝MSE(x,Dec(Enc(x)))
[0022]其中MSE为均方误差，Dec为解码器网络，Enc为编码器网络，x为MG的特征。利用Adam优化器对自编码器网络的参数进行更新，MG影像特征经编码器生成具有更高表达性能的隐变量z。
[0023]步骤9：利用隐变量z与DBT影像特征输入生成对抗网络，其中生成器的损失函数为：
[0024][0025]判别器损失函数为：
[0026][0027]式中MAE为平均绝对误差，x
f
为生成DBT特征，x
r
为真实DBT特征。生成器与判别器通过对抗学习使生成DBT特征分布靠近真实DBT特征分布。
[0028]步骤10：不断重复步骤8和步骤9，直至自编码器与生成对抗网络中的参数收敛并不再更新，网络模型训练完成。
[0029]步骤11：再测试集上，测试生成DBT影像的良恶性分类性能。
[0030]本专利技术有益效果：为了进一步提升MG影像的分类性能，本专利技术设计了跨模态DBT影像特征生成模型，输入卷积神经网络提取出的MG、DBT影像特征，利用生成对抗网络使MG特征靠近DBT影像特征，方法在应用阶段仅输入信息量较低的MG影像，提取获得影像特征，通过跨模态生成模型生成信息量更高的DBT影像特征用于良恶性分类，较传统基于MG影像的良恶性诊断方法相比，具更好的分类性能。研究对使用MG影像进行早期辅助诊断，具有重要意义。
附图说明
[0031]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为本专利技术的结构框架图。
[0033]图2为本专利技术中训练阶段网络结构流程图。
[0034]图3为本专利技术中测试阶段网络结构流程图。
[0035]图4为本专利技术中良恶性诊断ROC曲线，CNN代表对应影像的神经网络，GAN代表输入
为对应影像的特征生成模型。
具体实施方式
[0036]为了令本专利技术的目的、特征、优点更加明显易懂，下面结合附图中涉及的具体实施方式对本专利技术的实施例进行清楚、完整地描述。基于本专利技术的实施例，本领域技术人员在未进行创造性劳动前提下获得的所有其它实施例，如只改变用途而不改变权利要求涉及基本原理的实施，都属于本专利技术保护的范围。
[0037]本专利技术提供了一种跨模态乳腺断层影像特征生成方法，如图1所示，跨模态乳腺断层影像特征生成方法共包含四个模块，分别为：数据处理模块1、特征提取模块2、特征生成模块3和影像分类模块4。
[0038]数据处理模块1，分别对MG影像及DBT影像进行数据预处理，将初始影像根据医生标注进行病灶区域提取，并对图像进行指定角度(90
°
,180
°
,270
°
)的旋转、上下翻转及左右翻转。扩充数据集，保证数据分布不会过度倾斜。
[0039]特征提取模块2，以良恶性分类为例，对预处理后的MG影像及DBT影像使用各自在良恶性分类性能表现好的卷积神经网络对特征进行提取。最终保留卷积神经网络部分，去除全连接层部分即为特征提取网络。
[004本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种跨模态乳腺断层影像特征生成方法，其特征在于，包括以下步骤：步骤1、构建乳腺癌影像的数据集，所述数据集包含DBT影像，MG影像，乳腺癌良恶性标签，将数据集划分为训练集和测试集，并对数据集进行预处理；步骤2、使用卷积神经网络提取训练集病灶区域特征；步骤3、使用训练集训练卷积神经网络，得到训练好的特征提取器；步骤4、使用步骤3训练好的特征提取器提取DBT影像与MG影像特征；步骤5、将MG影像特征输入自编码器进行训练，自编码器由编码器与解码器组成，自编码器损失函数为loss
AE
＝MSE(x,Dec(Enc(x)))其中MSE为均方误差，Dec为解码器网络，Enc为编码器网络，x为MG的特征，利用Adam优化器对自编码器网络的参数进行更新，MG影像特征经编码器生成具有更高表达性能的隐变量z；步骤6、利用隐变量z与DBT影像特征输入生成对抗网络，其中生成对抗网络的生成器的损失函数为：生成对抗网络的判别器损失函数为：式中MAE为平均绝对误差，x
f
为生成DBT特征，x
r
为真实DBT特征，生成器与判别器通过对抗学习使生成DBT特征分布靠近真实DBT特征分布；步骤7、不断重复步骤5和步骤6，直至自编码器与生成对抗网络中的参数收敛并不再更新，网络模型训练完成；步骤8、使用测试集上，测试生成DBT影像的良恶性分类性能。2.根据权利要求1所述的跨模态乳腺断层影像特征生成方法，其特征在于，所述数据集按7...

【专利技术属性】
技术研发人员：范明，王锦，厉力华，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：