基于SwinTransformer改进的乳腺影像病灶检测方法技术

本发明专利技术公开了一种基于Swin Transformer改进的乳腺影像病灶检测方法，包括以下步骤：收集乳腺影像数据；将数据集划分为训练集和测试集，并对图像进行预处理及标注；构建以Swin Transformer为主干，Mask RCNN为目标检测算法的病灶检测模型，并借鉴堆叠和级联的思想加以改进；将处理后的图像输入模型进行训练，选用最优配置参数完成模型，进行乳腺影像的病灶检测。本发明专利技术选用Swin Transformer作为主干网络进行特征提取，并利用其层次化结构与BiFPN结合进行特征融合，兼顾了各特征层级的语义信息，最后通过级联结构的Mask RCNN同时完成乳腺病灶的分类、定位和分割工作，较之前的方法准确度大幅提升。准确度大幅提升。准确度大幅提升。

【技术实现步骤摘要】
基于Swin Transformer改进的乳腺影像病灶检测方法


[0001]本专利技术属于深度学习医学影像检测领域，具体涉及一种基于Swin Transformer改进的乳腺影像病灶检测方法。

技术介绍

[0002]计算机辅助检测(computer aided detection,CADe)系统正逐渐应用到医学影像检测任务中，协助医生进行快速诊断。早诊断、早治疗能够提高乳腺癌患者生存率，乳腺病灶的准确检测便是至关重要的一步，不仅可以标记影像中的病灶区域，有效减轻医生的工作负担，提升医疗服务质量，还可以为后续的乳腺癌分子分型、预后评估等提供数据基础。此外，CADe系统还可以对经验不足的医生起到提示参考的作用，在一定程度上能解决偏远地区医疗资源匮乏的问题。
[0003]传统乳腺癌检测方法主要包括阈值法、区域生长法、活动轮廓模型、聚类法、概率图模型以及其他机器学习方法等，侧重于人工设计与乳腺癌最相关的特征，其优势是不需要大量数据进行训练就能实现快速准确的检测，结合临床先验知识，结果可解释性强，运行过程明确。但又有以下缺点：使用数据量过少，导致模型的鲁棒性较差，泛化能力弱；人工设计的特征对边界清晰、与周围组织灰度对比明显的病灶具有很好的检测效果，但是对边界模糊不规则的病灶检测效果较差，具有一定的局限性；小体积肿瘤难以被检测，主要原因是小体积肿瘤携带的信息较少，由此导致特征表达能力偏弱。
[0004]近年来，深度学习技术飞速发展，不仅在图像分类任务中表现优秀，在目标检测和分割任务中也发挥出强大的性能。而在基于深度学习的乳腺影像病灶检测领域，检测和分割任务几乎融为了一体，是近年来研究的重点之一。目前广泛应用于医疗图像分割领域的方法主要是基于U
‑
Net网络的图像分割方法，其相关的改进算法有很多，也取得了较好的分割精度，但在目标定位的精度上稍有欠缺。而当前主流的医学影像目标检测往往以ResNet系列等网络为主干，结合二阶段检测算法如Fast RCNN、提出区域建议网络(Region Proposal Network，RPN)的Faster RCNN、通过全卷积网络对目标进行分割的Mask RCNN等，其中只有Mask RCNN既能完成定位，也能完成分割任务。

技术实现思路

[0005]为了解决现有技术存在的不足，本专利技术提供了一种基于Swin Transformer改进的乳腺影像病灶检测方法，针对现有医学影像检测和分割网络存在对小物体预测不准、准确度低以及局部信息丢失等问题，本专利技术以Swin Transformer为主干网络提取特征，并利用其层次化结构与BiFPN结合进行特征融合，兼顾了各特征层级的语义信息，最后通过级联结构的Mask RCNN同时完成乳腺病灶的分类、定位和分割工作，较之前的方法准确度大幅提升。
[0006]为了实现上述专利技术目的，本专利技术提供了一种基于Swin Transformer改进的乳腺影像病灶检测方法，包括如下步骤：
[0007]步骤一，制作乳腺影像数据集，对图像进行预处理及标注，并通过数据集预处理程序，调整参数，划分出不同比例的训练集、测试集和验证集；
[0008]步骤二，构建以Swin Transformer为主干，Mask RCNN为目标检测算法的病灶检测模型，并借鉴堆叠和级联的思想加以改进；用步骤一中划分得到的训练集对网络模型进行训练，所述划分获得的训练集、测试集以及验证集的比例为8：1：1。将resize后统一大小的乳腺影像输入，首先利用Swin Transformer提取特征，得到不同层级的语义特征，借鉴堆叠的思想引入BiFPN结构，其为一种加权的双向特征金字塔网络，旨在追求更高效的多尺度信息融合，允许堆叠多次，具体次数可依据数据和任务类型选择。
[0009]步骤三，将RPN所生成候选框映射到中间几层特征层，经RoIAlign后分别输入class、box分支和mask分支，并将其视作一个stage；当前stage会接受RPN(第一个stage)或者上一个stage的box分支输出作为输入，然后预测新的box和mask。
[0010]步骤四，使用训练阶段得到的权重参数文件对验证集进行验证，依据其评估结果调整超参数，最后用测试集进行测试并对结果进行评估。
[0011]优选的，步骤一中，可以使用现有的公开医学影像数据集，比如Breast Ultrasound Images Dataset数据集、Digital Database for Screening Mammography(DDSM)数据集等；也可以和医疗机构进行合作，获取尽可能多的高像素乳腺影像，并通过专业的医生或专家进行手动分割标注，再通过数据处理程序制作成数据集。
[0012]优选的，步骤二中，借鉴堆叠的思想将BiFPN进行堆叠，旨在追求更高效的多尺度信息融合，依照经验堆叠次数通常取2或3。但需要注意的是对于某些不注重浅层信息的任务，这未必是有益的。此外，在构建BiFPN结构时，往往不选择过浅的特征层，并且如果一个节点只有一个输入边且没有进行特征融合，那么它将对旨在融合不同特征的特征网络贡献较小，建议去除。如果原始输入和输出节点处于同一层级，则在原始输入和输出节点之间额外添加一条跳跃连接，以便在不增加成本的情况下融合更多特征。
[0013]优选的，步骤三中，使用到的级联结构依照经验阶段数选择3效果最优，其IoU依次取高，如0.5、0.6、0.7。
[0014]与现有技术相比，本专利技术的有益技术效果：
[0015]本专利技术设计了一种基于Swin Transformer改进的乳腺影像病灶检测方法，将此算法可直接应用于医学影像检测领域，实现了乳腺影像的分类、定位和分割任务，提高了精确度和正确率。在辅助专业医生进行诊断时提供了便捷性和可靠度，减少误诊漏诊概率，提高诊断效率，在医疗领域具有良好的发展前景。
附图说明
[0016]图1为本专利技术的流程图；
[0017]图2为本专利技术的整体网络结构的示意图；
[0018]图3为本专利技术的级联目标检测算法示意图；
[0019]图4为本专利技术的识别结果的示意图。
具体实施方式
[0020]为使本专利技术要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具
体实施例进行详细描述。实施本专利技术的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本专利技术没有特别限制内容。
[0021]基于Swin Transformer改进的乳腺影像病灶检测方法流程分为：准备COCO格式的分割数据集、将图像进行特征提取、定位分割出目标部分、对模型进行训练及评估(图1)。
[0022]本专利技术的方法为基于神经网络的目标检测方法，通过基于Swin Transformer改进的检测算法对于乳腺影像中的病灶进行定位和分割，将图片输入到Swin Transformer主干网络，利用其层次化结构与BiFPN结合进行特征融合，兼顾了各特征层级的特征信息，最后通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于Swin Transformer改进的乳腺影像病灶检测方法，采用Mask RCNN为目标检测算法，并借鉴堆叠和级联的思想加以改进，其特征在于，包括以下步骤：步骤一，制作乳腺影像数据集，对图像进行预处理及标注，并通过数据集预处理程序，调整参数，划分出不同比例的训练集、测试集和验证集；步骤二，构建以Swin Transformer为主干，Mask RCNN为目标检测算法的病灶检测模型，并借鉴堆叠和级联的思想加以改进；用步骤一中划分得到的训练集对网络模型进行训练，乳腺影像输入首先利用Swin Transformer提取特征，得到不同层级的特征信息，借鉴堆叠的思想引入BiFPN结构，将不同层级之间的特征信息进行融合；步骤三，进行信息融合之后的各级特征层，将由RPN生成的候选框投影获得相应的特征矩阵，再借鉴级联的思想依次经RoIAlign后分别输入class、box分支和Mask分支以完成乳腺影像的检测结果；步骤四，使用训练阶段得到的权重参数文件对验证集进行验证，依据其评估结果调整超参数，最后用测试集进行测试并对结果进行评估。2.根据权利要求1所述的基于Swin Transformer改进的乳腺影像病灶检测方法，其特征在于，所述步骤二包括：用所述步骤一中划分得到的训练集对网络模型进行训练，将大小不同的乳腺影像resize为大小相同的图片，并进行随机翻转和裁剪；随后输入到一种具有层次化结构的Transformer网络进行特征提取，得到不同层级的特征信息。3.根据权利要求1所述的基于Swin Transformer改进的乳腺影像病灶检测方法，其特征在于，所述步骤...

【专利技术属性】
技术研发人员：杨哲，宋博，
申请(专利权)人：江苏师范大学，
类型：发明
国别省市：