【技术实现步骤摘要】
本专利技术涉及乳腺肿瘤影像处理，具体涉及一种基于深度学习的双模态乳腺超声互补特征注意力多分类方法。
技术介绍
1、乳腺癌是常见于女性的一种恶性肿瘤，近年来乳腺癌的发病率呈逐年上升、快速增长的趋势。乳腺恶性肿瘤本身并不致命，但乳腺内部连接较为松散，所形成的乳腺肿瘤也容易脱落，尤其是恶性肿瘤容易形成转移，进而威胁人体中其他组织甚至危及生命。腋窝淋巴结是乳腺恶性肿瘤转移的第一站，几乎所有转移性乳腺癌都有腋窝淋巴结转移。因此一旦确诊乳腺癌，判断腋窝淋巴结转移情况对专业医生选择合适的手术方案非常关键。对于乳腺癌早期患者而言，淋巴结活检、清扫作为有创的评估和治疗方法都有过度治疗的风险，给患者的生活带来负担并极大降低了生活质量。因此，非侵入性的医学影像检查仍是目前临床上评估淋巴结转移的主要手段。
2、超声成像具有无辐射、实时、短期内可重复检查、价格低廉、分辨率高等优势，在乳腺癌筛查、术前分级等方面广泛运用。超声评估主要有两种方式：一种是b型超声，其主要依据形态学特征来检测肿块；另一种超声是剪切波弹性成像(shear wave elastography,swe)技术，通过测量组织硬度，可以在形态变化不明显的情况下实时可视化乳腺组织的弹性属性，定量评估乳腺及状态。到目前为止，得益于公开的数据集使得相关工作对b模态超声的研究较多，利用深度学习模型解决肿瘤良恶性识别、部位分割、转移预测等。例如中国专利申请cn202310099624.2公开了一种基于深度学习的b模态乳腺超声影像病灶定位方法和系统，提高了定位精度。中国专利申请cn20231
3、swe弹性超声和b模态超声是同时获取的，且弹性超声丰富的通道信息与b模态提供的空间信息互补，既能够避免弹性超声覆盖在肿瘤轮廓上导致的不稳定性，又能够增加有助于分类的信息量。然而现有联合使用两个模态的工作非常少。在现有的深度学习辅助诊断方法中，misra等人使用集成学习和迁移学习等方法，将多模态结合用于乳腺肿瘤良恶性分类(misra s,yoon c,kim k j,et al.deep learning-based multimodal fusionnetwork for segmentation and classification of breast cancers using b-modeand elastography ultrasound images[j].bioengineering&translational medicine,2022:e10480)。然而这种末端融合方法没有针对性地考虑两模态特征维度的互补特性，且容易在模型训练中产生梯度爆炸等问题。
4、除此之外，医学图像处理中常见的类别不平衡问题也是阻碍计算机辅助诊断发展的关键。类别不平衡主要体现在两个方面：分类类别样本数的不平衡和类别混淆问题。样本数的不平衡可以通过数据扩增和合理的深度学习模型训练方法解决。类别混淆体现在同一个标签内(类内)样本之间差异大和不同标签间(类间)样本的相似度高，影响深度学习模型的判断与分类，对病人诊断和治疗指导的可信度降低。
技术实现思路
1、为解决上述问题，本专利技术公开了一种基于深度学习的双模态乳腺超声互补特征注意力多分类方法。利用乳腺b模态超声和swe弹性超声两个同时获得的超声影像，将肿瘤良恶性二分类任务和腋窝淋巴结转移预测二分类任务结合成一个三分类任务(区分良性肿瘤、恶性肿瘤但无腋窝淋巴结转移，以及恶性肿瘤伴有腋窝淋巴结转移)。该方法可以一站式地给出辅助诊断和指导，无需提供腋窝淋巴结处的医学影像，也避免了有创的检查腋窝淋巴部位的方法。
2、本专利技术采用的具体方案如下：
3、一种基于深度学习的双模态乳腺超声互补特征注意力多分类方法，其步骤如下：
4、1、从原始数据集中获得多个标签明确、图像质量达标的超声图像数据，将同时获得的b模态超声和swe模态弹性超声通过opencv库提供的像素维度图像截取方法和像素维度逻辑相减提取到有效的图像对；并对每组有效的图像对做数据的扩增操作。根据标签不同在不同分类任务中可归属到不同类别。
5、2、通过改进深度可分离卷积和多尺度卷积，分别对b模态超声的空间特征和swe弹性模态超声的通道特征进行提取；通过将全局响应归一化引入到瓶颈结构实现信息汇聚。
6、3、通过特征弱化，对来自b模态超声的空间特征从显著到广泛地关注，以弱化的形式施加到同阶段同尺寸的swe弹性模态超声的通道特征图，实现本方法对肿瘤结构和通道信息的双重关注。
7、4、使用类别注意力，为每个类别分配相同数量的通道数，使得分类受到类别内多样和类别间相似的影响减弱，对最终分类结果起积极作用。
8、进一步地，具体步骤实现具体方式如下：
9、步骤1：首先，从医院获得的原始超声数据中提取标签明确、质量达标的图像组成超声图像数据集。将同时获得的b模态超声和swe模态弹性超声通过opencv库提供的图像像素维截取和逻辑相减运算方法提取有效图像对。其中，首先截取采样的图像对，包括两模态共有的b模态背景部分和肿瘤区域部分；在此基础上继续截取图像对，去除了两个模态共有的b模态背景部分，只保留肿瘤区域部分。值得注意的是，现有商业超声成像设备无法将肿瘤区域的swe弹性模态与背景b模态分开，因此使用opencv库的像素维度逻辑减法，将swe弹性模态从背景b模态提取出，b模态图像则保持不变。
10、然后，针对有效图像对数据集中不同类别标签样本数量少，数据不平衡的问题，使用图像处理中常规的数据扩增方法，包括旋转、镜像和双线性插值方法进行扩增。在商业超声成像设备中，同一个样本的b模态超声和swe模态弹性模态超声图像同时、成对地获取，因此也应保证扩增本文档来自技高网...
【技术保护点】
1.一种基于深度学习的双模态乳腺超声互补特征注意力多分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤1中，提取有效图像对的过程如下：首先截取采样的图像对，包括两模态共有的B模态背景部分和肿瘤区域部分；在此基础上继续截取图像对，去除了两个模态共有的B模态背景部分，只保留肿瘤区域部分；使用OpenCV库的像素维度逻辑减法，将SWE弹性模态从背景B模态提取出，B模态图像则保持不变。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤1中，同一标签在不同分类任务中可以归属到不同类别，样本的标签分为三类：1)良性乳腺肿瘤；2)恶性乳腺肿瘤但无腋窝淋巴结转移；3)恶性乳腺肿瘤且伴有腋窝淋巴结转移；在乳腺良恶性分类任务中，第2)、3)类样本可以合并成一类，即恶性肿瘤样本；在有无腋窝淋巴结预测任务中，第1)、2)类样本可以合并成一类，即无转移样本。
4.根据权利要求1或2所述的方法，其特征在于，所述步骤3中，具体使用两个3×3的卷积核代替一个5×5大小的卷积，用三个3×3的卷积核代替一个7×7的卷积操作，以进一步减少
5.根据权利要求3所述的方法，其特征在于，所述步骤3中，具体使用两个3×3的卷积核代替一个5×5大小的卷积，用三个3×3的卷积核代替一个7×7的卷积操作，以进一步减少参数量。
6.根据权利要求1、2或5所述的方法，其特征在于，所述步骤4中，GRN层分为三个步骤：
7.根据权利要求3所述的方法，其特征在于，所述步骤4中，GRN层分为三个步骤：
8.根据权利要求4所述的方法，其特征在于，所述步骤4中，GRN层分为三个步骤：
9.根据权利要求1、2、5、7或8所述的方法，其特征在于，所述步骤6中，α取0.4，β取0.6。
10.根据权利要求6所述的方法，其特征在于，所述步骤6中，α取0.4，β取0.6。
...【技术特征摘要】
1.一种基于深度学习的双模态乳腺超声互补特征注意力多分类方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤1中，提取有效图像对的过程如下：首先截取采样的图像对，包括两模态共有的b模态背景部分和肿瘤区域部分；在此基础上继续截取图像对，去除了两个模态共有的b模态背景部分，只保留肿瘤区域部分；使用opencv库的像素维度逻辑减法，将swe弹性模态从背景b模态提取出，b模态图像则保持不变。
3.根据权利要求1或2所述的方法，其特征在于，所述步骤1中，同一标签在不同分类任务中可以归属到不同类别，样本的标签分为三类：1)良性乳腺肿瘤；2)恶性乳腺肿瘤但无腋窝淋巴结转移；3)恶性乳腺肿瘤且伴有腋窝淋巴结转移；在乳腺良恶性分类任务中，第2)、3)类样本可以合并成一类，即恶性肿瘤样本；在有无腋窝淋巴结预测任务中，第1)、2)类样本可以合并成一类，即无转移样本。
4.根据权利要求...
【专利技术属性】
技术研发人员：葛宏伟，蔡馨阅，潘晓芳，孙飞一，
申请(专利权)人：大连理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。