一种基于多尺度特征融合的甲状腺结节分类方法技术

本发明专利技术涉及一种基于多尺度特征融合的甲状腺结节分类方法，其特征在于：所述方法的步骤为：1)获取原始甲状腺超声影像数据集，并对每一张超声影像进行处理；2)清洗原始超声影像数据集，去除不符合要求的影像，得到一个含有2000张高质量甲状腺结节超声影像的数据集；3)基于残差网络的甲状腺结节超声影像分类网络构建；4)将残差模块替换为多尺度融合模块；5)在残差网络的基础上，添加一个高分辨率通道；6)对基于多尺度特征融合与高分辨率通道的网络模型的分类效果进行分析。本发明专利技术设计科学合理，设计了多尺度特征和高分辨率通道相结合机制，提升网络性能。

A method of thyroid nodule classification based on multi-scale feature fusion

【技术实现步骤摘要】
一种基于多尺度特征融合的甲状腺结节分类方法
本专利技术属于深度学习和医疗影像处理领域，涉及甲状腺结节超声影像数据集的数据清洗技术、卷积神经网络技术，尤其涉及一种基于多尺度特征融合的甲状腺结节分类方法。
技术介绍
甲状腺结节是内分泌系统常见的疾病，18％的成年人身上携带甲状腺结节。尽管绝大多数的甲状腺结节都是良性的，但10％的病人长有恶性甲状腺结节，主要是甲状腺癌。近年来，甲状腺癌发病率快速上涨，目前位居全国癌症发病率的第七位。超声诊断是检查甲状腺结节良恶性的常见手段。但是，由于医生一般依赖于主观判断，缺乏客观标准，容易出现错误。深度学习，特别是卷积神经网络，在医疗影像上取得的突破证明了它在解决实际影像学问题上的有效性。一方面，卷积神经网络可以通过多层网络能够从医学影像提取特征，并利用这些特征在相关医学问题上得到远超其他方法的准确率；另一方面，基于医疗影像的深度学习方法可以高效地辅助影像科医生，大幅减轻医生的工作负担。前人的工作大多是利用卷积神经网络进行特征提取或者是在ImageNet上对进行微调。以上这些方法忽视了端到端训练的重要性，且没有针对甲状腺结节超声影像的特点设计网络结构。另外，受于数据保密的问题，大部分研究人员的超声影像是非公开的，急需要公开的大型甲状腺结节超声影像数据集共研究人员使用。通过对公开专利文献的检索，并未发现与本专利申请相似的公开专利文献。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于多尺度特征融合的甲状腺结节分类方法，该方法设计了多尺度特征和高分辨率通道相结合机制，提升网络性能。本专利技术解决其技术问题是通过以下技术方案实现的：一种基于多尺度特征融合的甲状腺结节分类方法，其特征在于：所述方法的步骤为：1)获取原始甲状腺超声影像数据集，并对每一张超声影像进行处理；2)清洗原始超声影像数据集，去除不符合要求的影像，得到一个含有2000张高质量甲状腺结节超声影像的数据集；3)基于残差网络的甲状腺结节超声影像分类网络构建；4)将残差模块替换为多尺度融合模块；5)在残差网络的基础上，添加一个高分辨率通道；6)对基于多尺度特征融合与高分辨率通道的网络模型的分类效果进行分析。而且，所述步骤1)中原始超声影像中的四周边界区域中包含隐私信息，裁剪掉边界区域。而且，所述步骤1)中原始超声影像中的四周边界区域中包含隐私信息，裁剪掉边界区所述步骤2)中原始超声影像数据集中存在彩色多普勒血流影像，需要使用彩色算子将彩色多普勒血流影像筛选出来并将数据集划分为训练集和测试集。而且，所述步骤1)中原始超声影像中的四周边界区域中包含隐私信息，裁剪掉边界区所述步骤3)使用步骤2)的数据集，端到端的训练基于残差网络的网络模型。而且，所述步骤1)中原始超声影像中的四周边界区域中包含隐私信息，裁剪掉边界区所述步骤4)在步骤3)的残差网络中，将残差模块替换为多尺度信息融合模块，该模块使用空洞卷积和实例正则化进行信息融合。而且，所述步骤1)中原始超声影像中的四周边界区域中包含隐私信息，裁剪掉边界区所述步骤5)在步骤3)的残差网络基础上，添加一个高分辨率通道，该高分辨率通道内部由多尺度信息融合模块构成。本专利技术的优点和有益效果为：1、本专利技术一种基于多尺度特征融合的甲状腺结节分类方法，提出一个全新的高分辨率甲状腺结节超声影像数据集，能够极大程度上帮助研究人员进行网络模型的搭建，有利于研究人员对于工作有一个直观的评价。2、本专利技术一种基于多尺度特征融合的甲状腺结节分类方法，通过端到端的训练方法，无须特征提取或者特征工程，极大降低了训练的难度；本专利技术提出多尺度信息融合模块，不仅能用于提取网络浅层中与影像风格和外形无关的全局性特征。对网络的域适应性和鲁棒性有着一定的提高；同时，结合批正则化共同提取特征，提高了网络的分类性能。3、本专利技术一种基于多尺度特征融合的甲状腺结节分类方法，在模块中并行使用多个不同空洞率的空洞卷积，在提升网络感受野的同时，捕获更多的多尺度上下文信息，通过信息融合机制，融合多种多尺度信息，在不大幅提高网络参数的基础上，提高了网络新能。4、本专利技术一种基于多尺度特征融合的甲状腺结节分类方法，在残差网络的基础上设计了一种高分辨率通道来保持高分辨率信息，同时结合多尺度特征融合模块，可以获得更加丰富的多尺度特征信息，大幅高网络的性能。附图说明图1为本专利技术分类方法的流程图；图2为本专利技术多尺度特征融合模块图；图3为本专利技术高分辨率通道示意图。具体实施方式下面通过具体实施例对本专利技术作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本专利技术的保护范围。一种基于多尺度特征融合的甲状腺结节分类方法，其特征在于：所述方法的步骤为：1)获取原始甲状腺超声影像数据集，并对每一张超声影像进行处理；2)去除甲状腺超声图像边界的额外标记，例如机器型号、诊断时间、超声探头发射频率、医院名称等额外的与结节诊断无关的标记与结节诊断无关，避免超声影像周边信息对甲状腺结节的良恶性判别造成影响；3)清洗原始超声影像数据集，去除不符合要求的影像，得到一个含有2000张高质量甲状腺结节超声影像的数据集；4)对于一张含有N个像素点的超声影像，假设其中的像素点P(i，j)的R、G、B三通道值分别为和则像素点P(i，j)的R、G、B三通道值的方差σ2的计算公式为：为了进一步求出彩色算子C，根据方差σ2取值的大小设定阈值η，依据以下公式来对像素点P(i，j)进行二值化处理；4)在彩色算子C中，像素值为255的点是感兴趣的区域。一般而言，一张图中的255的点的总数越多，它含有彩色多普勒血流成像的概率就越高。假设一张二值彩色算子图中的像素点总数为N，像素值为255的点的总数为K，那么当N/K≥0.01时就认为这张图中包含彩色多普勒血流成像。5)人工筛选出其余无关影像，然后构成数据集；6)构建基于残差网络的甲状腺结节超声影像分类模型：残差网络总共包含50层，其中第一次是卷积核大小7×7，步长为2的卷积；紧接着是一个2×2的最大池化层；然后网络由4个残差组组成，分别含有3、4、6、3个残差模块，每个残差模块由1×1、3×3、1×1的卷积层组成，同时每个残差模块都含有恒等变换，最后一个全连接层输出预测结果。7)多尺度特征融合模块如图2所示。假设在特征映射经过第一层1×1的卷积层后得到输出特征映射为X，将X分别进行批正则化和实例正则化。以下为批正则化及实例正则化的公式：XBN＝BN(X)XIN＝IN(X)8)XBN与XIN均并行进行3×3的普通卷积计算公式为：XBN1＝Fr＝1(XBN)XIN1＝Fr＝1(XIN)9)将XBN与XIN同XBN1与XIN1特征融合后，进行空洞率为2的3×3空洞卷积，计算公式为：<本文档来自技高网...

【技术保护点】
1.一种基于多尺度特征融合的甲状腺结节分类方法，其特征在于：所述方法的步骤为：/n1)获取原始甲状腺超声影像数据集，并对每一张超声影像进行处理；/n2)清洗原始超声影像数据集，去除不符合要求的影像，得到一个含有2000张高质量甲状腺结节超声影像的数据集；/n3)基于残差网络的甲状腺结节超声影像分类网络构建；/n4)将残差模块替换为多尺度融合模块；/n5)在残差网络的基础上，添加一个高分辨率通道；/n6)对基于多尺度特征融合与高分辨率通道的网络模型的分类效果进行分析。/n

【技术特征摘要】
1.一种基于多尺度特征融合的甲状腺结节分类方法，其特征在于：所述方法的步骤为：
1)获取原始甲状腺超声影像数据集，并对每一张超声影像进行处理；
2)清洗原始超声影像数据集，去除不符合要求的影像，得到一个含有2000张高质量甲状腺结节超声影像的数据集；
3)基于残差网络的甲状腺结节超声影像分类网络构建；
4)将残差模块替换为多尺度融合模块；
5)在残差网络的基础上，添加一个高分辨率通道；
6)对基于多尺度特征融合与高分辨率通道的网络模型的分类效果进行分析。


2.根据权利要求1所述的基于多尺度特征融合的甲状腺结节分类方法，其特征在于：所述步骤1)中原始超声影像中的四周边界区域中包含隐私信息，裁剪掉边界区域。


3.根据权利要求1所述的基于多尺度特征融合的甲状腺结节...

【专利技术属性】
技术研发人员：于瑞国，刘树培，刘志强，高洁，于健，李雪威，喻梅，
申请(专利权)人：天津大学，
类型：发明
国别省市：天津;12