一种基于自监督的乳腺癌疾病分类方法技术

本发明专利技术涉及医学技术领域，且公开了一种基于自监督的乳腺癌疾病分类方法，包括以下步骤：S1：图像采集与数据集制作：采集不同模态的对比增强能谱图像、多模态的对比增强能谱乳腺摄影图像；S2：数据预处理：对多模态对比增强能谱乳腺摄影图像进行数据预处理，并裁剪图像、对图像进行像素均值化；S3：图像特征提取：采用Vision Transformer模型提取图像特征并给出图像的类别预测；S4：损失计算：计算预测分类结果的扭曲熵及两个能谱图像的分类分支产生的类别置信度之间的信息熵损失。本发明专利技术在保证精度的前提下提升速度，平衡准确率与效率两者之间的关系，提出精度高、速度快、鲁棒性强、适应能力好的乳腺癌图像分类模型。能力好的乳腺癌图像分类模型。能力好的乳腺癌图像分类模型。

【技术实现步骤摘要】
一种基于自监督的乳腺癌疾病分类方法


[0001]本专利技术涉及医学
，具体为一种基于自监督的乳腺癌疾病分类方法。

技术介绍

[0002]乳腺癌是全球妇女死亡的第二大原因，在其他类型的癌症中，它被认为是大多数国家妇女死亡的主要原因，乳腺癌检查的措施主要有乳腺X射线摄影、乳腺超声检查、乳腺MRI和对比增强能谱乳腺摄影等。对比增强能谱乳腺摄影(又称乳腺对比增强摄影)是一种新兴的乳腺癌检测技术，使用该技术通过双能乳腺对比增强摄影设备来采集图像。该设备的原型是乳腺X射线摄影系统，经过改造后可实现双能曝光。这种方法可以同时得到多个模态的乳腺图像，所以能够获得肿瘤不同形态的特征。同时它克服了乳腺造影中的组织重叠现象，提供了高图像分辨率的肿瘤信息，是一种很有前景的成像技术。
[0003]对比增强能谱乳腺摄影检查在检测乳腺癌的方法中非常有效，在临床实践中，临床专家对乳腺图像的检测一般都是人工操作，耗时耗力、成本高。此外，放射科医生可能会因为致密组织的重叠或肿块形状、大小、边界的变化而遗漏原发病变区域。基于机器学习的图像分析方法可以提高乳腺癌检测的准确性，可以作为“第二意见”来提高放射科医生的工作水平。目前，该领域已积累了一定的研究基础，大多利用机器学习与深度学习两个方向的技术方法。其中，基于机器学习的识别方法通常伴随预处理、特征选择等操作，不能实现端到端的检测流程，且识别效果容易受到自然环境下各种干扰的影响。基于深度学习的识别方法，虽然在精度上有了显著提升，且能够实现端到端的检测流程，但由于卷积神经网络模型对感兴趣区域相对依赖，会出现忽略图像整体特征的缺点。并且现有的基于人工智能的方法大部分是将处理自然图像的方法直接用在医学图像中，而没有考虑到医学图像的具体特征目标乳腺癌图像的识别，通常伴随肿块遮挡、乳腺癌图像重叠、拍摄光照变化等干扰，识别难度急剧攀升，进而降低了各类自动化分类技术的识别效果。
[0004]因此迫切需要一个有效的分类器，准确地帮助医生来预测这一慢性疾病。通过人工智能的方式实现乳腺能谱图像的疾病分类为未来医疗的必然趋势，而乳腺能谱图像的分类，作为其中的重要环节，对癌症的识别、分类等应用的真正实现，都具有重要的推动意义。

技术实现思路

[0005](一)解决的技术问题
[0006]针对现有技术的不足，本专利技术提供了一种基于自监督的乳腺癌疾病分类方法，解决了上述
技术介绍
中所提出的问题。
[0007](二)技术方案
[0008]为实现上述目的，本专利技术提供如下技术方案：一种基于自监督的乳腺癌疾病分类方法，包括以下步骤：
[0009]S1：图像采集与数据集制作
[0010]采集不同模态的对比增强能谱图像、多模态的对比增强能谱乳腺摄影图像；
[0011]S2：数据预处理
[0012]对多模态对比增强能谱乳腺摄影图像进行数据预处理，并裁剪图像、对图像进行像素均值化；
[0013]S3：图像特征提取
[0014]采用Vision Transformer模型提取图像特征并给出图像的类别预测；
[0015]S4：损失计算
[0016]计算预测分类结果的扭曲熵及两个能谱图像的分类分支产生的类别置信度之间的信息熵损失；
[0017]S5：模型训练
[0018]根据扭曲熵的计算结果，通过梯度反向传播及模型的迭代训练，拟合训练数据，得到最优模型；
[0019]S6：产生预测结果
[0020]将多模态的对比增强能谱乳腺摄影图像输入到分类器中，输出图像分类结果。
[0021]优选的，S1步骤中的多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像。
[0022]优选的，S1步骤的具体过程包括：S1.1：给定一个未标记的低能谱乳腺摄影图像训练集S1和一个未标记的对比增强乳腺能谱摄影图像训练集S2，我们随机抽取一批大小为B的能谱图像以及随机抽取一批大小同样为B的图像
[0023]优选的，S2步骤的具体过程包括：S2.1：对采集到的乳腺能谱图像进行裁剪：首先将能谱图像转成灰度图，再利用坐标匹配技术将目标图像的感兴趣区域分割成子图像，然后对子图像进行逐行扫描，通过遍历的方法判断某一列是不是为空，即计算这一列中的像素值是否是全黑色背景，乳腺能谱图像中，只要有非全黑像素点，即认为该图像区域是需要识别学习的有效区域，在灰度图里，纯黑色像素的灰度值为0，白色像素的代表值为255，故在实际操作中，设置一个接近0的阀值：若当前像素的灰度值低于该阀值，即可判定该像素为黑色，若某行像素全部为黑色，即可删掉该列；
[0024]S2.2：对乳腺能谱图像进行图像增强和均值化处理：通过对图像的平移、旋转、翻转、增加噪声操作来增加图像的数量，防止网络发生过拟合，同时增强分类网络的鲁棒性，对增强后的乳腺能谱图像进行全局对比度归一化，具体方法为：对于M
×
N像素大小的图像，用μ表示图像所有像素的均值，σ为所有样本像素的标准差，计算每个乳腺能谱图像的平均强度
[0025]4.优选的，S3步骤的具体过程包括：
[0026]S3.1：图像特征提取：将处理后的能谱图像以一个批量为单位输出到Vision Transformer中，其中包括能谱低能图像和能谱对比增强图像，每次处理一个批量的图片，但具体进行特征提取的时候，将每张能谱图像切为不重叠的图像块，然后输入到Vision Transformer分类模型中，通过多头注意力层逐渐丰富深层特征图所包含的特征；
[0027]S3.2：以Vision Transformer为骨干架构，提取图像特征；将VIT中输出的特征图，按照横向连接的方式进行特征融合、丰富底层特征图的语义表示容量，最后对特征做出分类判断；将每张能谱图像切为不重叠的图像块，再额外设置一个和图像块大小相同的分类
块，用于学习整幅图像的信息，初始参数进行随机初始化，然后对各图像块进行位置编码与图像信息编码，然后将位置编码和图像编码的信息融合，得到一个向量矩阵，将这个向量矩阵层标准化，再将输出的各向量特征输入到多头自注意力模块中，在Vision Transformer自注意力模块中，设每个图像块输入分别为X
i
，整幅图像的输入为各图像块的输入X
i
组成的矩阵X，经过线性变换得到Q、K以及V矩阵，然后通过如下方式执行自注意力操作，得到各图像块的信息表示：
[0028]各图像块输出的特征输出为特征图，按照横向连接的方式进行特征融合，全部融合到分类块中，丰富底层特征图的语义表示容量，通过分类块学习到所有图像块对这幅图片的特征表示，使分类块具有与整幅图片相同水平的语义容量；最后将分类块输入多层感知机，再将输出结果输入到sigmoid激活函数中得到类别分布。
[0029]5.优选的，S4步骤的具体过程包括:
[0030]S4.1：
[0031]对于暹罗结构的自监督学习网络，随机初始化其模型参数，并将不同模态的对比增强能谱乳腺摄本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督的乳腺癌疾病分类方法，其特征在于，包括以下步骤：S1：图像采集与数据集制作采集不同模态的对比增强能谱图像、多模态的对比增强能谱乳腺摄影图像；S2：数据预处理对多模态对比增强能谱乳腺摄影图像进行数据预处理，并裁剪图像、对图像进行像素均值化；S3：图像特征提取采用Vision Transformer模型提取图像特征并给出图像的类别预测；S4：损失计算计算预测分类结果的扭曲熵及两个能谱图像的分类分支产生的类别置信度之间的信息熵损失；S5：模型训练根据扭曲熵的计算结果，通过梯度反向传播及模型的迭代训练，拟合训练数据，得到最优模型；S6：产生预测结果将多模态的对比增强能谱乳腺摄影图像输入到分类器中，输出图像分类结果。2.根据权利要求1所述的一种基于自监督的乳腺癌疾病分类方法，其特征在于，S1步骤中的多模态的对比增强能谱乳腺摄影图像包括能谱低能图像和能谱对比增强图像。3.根据权利要求1所述的一种基于自监督的乳腺癌疾病分类方法，其特征在于，S1步骤的具体过程包括：S1.1：给定一个未标记的低能谱乳腺摄影图像训练集S1和一个未标记的对比增强乳腺能谱摄影图像训练集S2，我们随机抽取一批大小为B的能谱图像，我们随机抽取一批大小为B的能谱图像以及随机抽取一批大小同样为B的图像4.根据权利要求1所述的一种基于自监督的乳腺癌疾病分类方法，其特征在于，S2步骤的具体过程包括：S2.1：对采集到的乳腺能谱图像进行裁剪：首先将能谱图像转成灰度图，再利用坐标匹配技术将目标图像的感兴趣区域分割成子图像，然后对子图像进行逐行扫描，通过遍历的方法判断某一列是不是为空，即计算这一列中的像素值是否是全黑色背景，乳腺能谱图像中，只要有非全黑像素点，即认为该图像区域是需要识别学习的有效区域，在灰度图里，纯黑色像素的灰度值为0，白色像素的代表值为255，故在实际操作中，设置一个接近0的阀值：若当前像素的灰度值低于该阀值，即可判定该像素为黑色，若某行像素全部为黑色，即可删掉该列；S2.2：对乳腺能谱图像进行图像增强和均值化处理：通过对图像的平移、旋转、翻转、增加噪声操作来增加图像的数量，防止网络发生过拟合，同时增强分类网络的鲁棒性，对增强后的乳腺能谱图像进行全局对比度归一化，具体方法为：对于M
×
N像素大小的图像，用μ表示图
像所有像素的均值，σ为所有样本像素的标准差，计算每个乳腺能谱图像的平均强度5.根据权利要求1所述的一种基于自监督的乳腺癌疾病分类方法，其特征在于，S3步骤的具体过程包括：S3.1：图像特征提取：将处理后的能谱图像以一个批量为单位输出到Vision Transformer中，其中包括能谱低能图像和能谱对比增强图像，每次处理一个批量的图片，但具体进行特征提取的时候，将每张能谱图像切为不重叠的图像块，然后输入到Vision Transformer分类模型中，通过多头注意力层逐渐丰富深层特征图所包含的特征；S3.2：以Vision Transformer为骨干架构，提取图像特征；将VIT中输出的特征图，按照横向连接的方式进行特征融合、丰富底层特征图的语义表示容量，最后对特征做出分类判断；将每张能谱图像切为不重叠的图像块，再额外设置一个和图像块大小相同的分类块，用于学习整幅图像的信息，初始参数进行随机初始化，然后对各图像块进行位置编码与图像信息编码，然后将位置编码和图像编码的信息融合，得到一个向量矩阵，将这个向量矩阵层标准化，再将输出的各向量特征输入到多头自注意力模块中，在Visi...

【专利技术属性】
技术研发人员：郑元杰，陈思羽，王军霞，王静，宋景琦，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：