基于分层多尺度特征融合的儿童肺炎分类系统及方法技术方案

本发明专利技术公开了一种基于分层多尺度特征融合网络的儿童肺炎分类系统及方法，设立多个层级以提取不同尺度的特征图，在全局分支上采用基于窗口多头自注意力机制提取儿童胸片图像的全局特征图，在局部分支上采用卷积操作提取儿童胸片图像的局部特征图，在融合分支上融合每个层级提取到的全局特征图、局部特征图以及前一层级的融合后特征图，然后再进行分类，获得儿童肺炎分类结果。通过提取不同尺度的全局特征图、局部特征图，并将当前层级的全局特征图、局部特征图与上一层级的融合后特征图进行融合，使得每一层级提取的特征信息可以交互，并且通过多个层级的特征提取和交互，能够充分地提取儿童胸片图像的特征，提高分类结果的准确性。确性。确性。

【技术实现步骤摘要】
基于分层多尺度特征融合的儿童肺炎分类系统及方法


[0001]本专利技术涉及医学人工智能
，尤其涉及的是一种基于分层多尺度特征融合网络的儿童肺炎分类系统及方法。

技术介绍

[0002]儿童肺炎根据致病原因分为病毒性肺炎、细菌性肺炎、支原体肺炎等种类。胸部X线检查具有无痛、无创和辐射剂量较低的优势，所以儿童的X光胸片(简称为：儿童胸片)被视为儿科医生诊断肺炎的重要工具。但是，与成人肺炎诊断相比，儿童肺炎的人工诊断受到诸多因素的挑战。第一，5岁以下幼童的服从性和沟通能力较差，很难按照医生的指示进行正确的胸片检查；第二，儿童的骨骼和组织尚未发育完全，与成人的X光胸片相比，存在一定部位的差异；第三，不同年龄段的儿童在X光胸片上的影像学表现呈现多样化。这些因素都会导致儿童胸片的成像质量较差，从而对医生诊断的可靠性和稳定性产生较大的挑战。另外，查看和诊断X光胸片需要专业的放射科医生来完成，人工阅片耗费时间较长。因此，需要通过计算机辅助检测来分析儿童胸片，从而辅助医生迅速做出决策。
[0003]现有的肺炎分类模型在提取儿童胸片的特征时，未能充分地提取儿童胸片的特征，导致儿童肺炎分类结果不够准确。
[0004]因此，现有技术有待改进和提高。

技术实现思路

[0005]本专利技术的主要目的在于提供一种基于分层多尺度特征融合的儿童肺炎分类系统及基于分层多尺度特征融合的儿童胸片图像分类方法，旨在解决未能充分地提取儿童胸片的特征，导致儿童肺炎分类结果不够准确的问题。
[0006]为了实现上述目的，本专利技术提供了一种基于分层多尺度特征融合的儿童肺炎分类系统，所述系统包括：
[0007]胸片特征提取模块和分类模块；
[0008]所述胸片特征提取模块用于提取儿童胸片图像的特征，设有层级数相同的全局分支、局部分支和融合分支；
[0009]所述全局分支用于在不同尺度提取儿童胸片图像的全局特征，所述全局分支的每个层级设有全局特征块，所述全局特征块用于基于窗口多头自注意力机制提取儿童胸片图像的全局特征图，且所有全局特征块输出的全局特征图的尺度互不相同；
[0010]所述局部分支用于在不同尺度提取儿童胸片图像的局部特征，所述局部分支的每个层级设有局部特征块，所述局部特征块用于采用卷积操作提取儿童胸片图像的局部特征图，且同一层级的局部特征图、全局特征图的尺度相同；
[0011]所述融合分支的每个层级设有多尺度特征融合块，所述多尺度特征融合块用于融合自身所在层级的全局特征图、局部特征图以及前一层级多尺度特征融合块输出的融合后特征图；
[0012]所述分类模块用于根据所述胸片特征提取模块输出的特征获得儿童肺炎分类结果。
[0013]可选的，所述全局特征块上设有采用窗口多头自注意力机制的第一注意力模块和采用移位窗口多头自注意力机制的第二注意力模块。
[0014]可选的，所述局部特征块上设有第一卷积模块和第二卷积模块，所述第一卷积模块采用大小为3*3的深度卷积，所述第二卷积模块采用大小为1*1的分组卷积。
[0015]可选的，所述分类模块为多模态融合模块，所述多模态融合模块用于多模态融合所述胸片特征提取模块输出的儿童胸片图像的特征、血液蛋白信息的特征，获得儿童肺炎分类结果。
[0016]可选的，所述多尺度特征融合块包括融合模块和残差倒置的多层感知机模块，所述融合模块用于融合自身所在层级的全局特征块、局部特征块分别输出的全局特征图、局部特征图以及前一层级多尺度特征融合块输出的融合后特征图，并将获得的融合后特征图输入所述多层感知机模块。
[0017]可选的，所述融合模块上设有通道注意力分支、空间注意力分支，所述通道注意力分支用于采用通道注意力机制对所述全局特征块输出的全局特征图进行特征提取，所述空间注意力分支用于采用空间注意力机制对所述局部特征块输出的局部特征图进行特征提取。
[0018]可选的，所述融合模块设有第一融合单元和第二融合单元，所述第一融合单元用于连接所述全局特征块输出的全局特征图、所述局部特征块输出的局部特征图以及前一层级多尺度特征融合块输出的融合后特征图，所述第二融合单元用于连接所述通道注意力分支输出的特征、所述空间注意力分支输出的特征以及所述第一融合单元输出的特征。
[0019]可选的，所述残差倒置的多层感知机模块包括依次连接的第一卷积模块、第二卷积模块和第三卷积模块，所述第一卷积模块采用一个大小为3*3的深度卷积，所述第二卷积模块采用四个大小为1*1的深度卷积，所述第三卷积模块采用一个大小为1*1的深度卷积。
[0020]可选的，还设有数据预处理模块，用于对儿童胸片图像进行图像预处理以及对血液蛋白信息进行数据清洗。
[0021]由上述可见，本专利技术设立多个层级以用来提取不同尺度的特征图，在全局分支上采用基于窗口多头自注意力机制提取儿童胸片图像的全局特征图，在局部分支上采用卷积操作提取儿童胸片图像的局部特征图，在融合分支上融合每个层级提取到的全局特征图、局部特征图以及前一层级的融合后特征图，然后再进行分类，获得儿童肺炎分类结果。通过提取不同尺度的全局特征图、局部特征图，并将当前层级的全局特征图、局部特征图与上一层级的融合后特征图进行融合，使得每一层级提取的特征信息可以交互，并且通过多个层级的特征提取和交互，能够充分地提取儿童胸片图像的特征，提高分类结果的准确性。
[0022]为了实现上述目的，本专利技术还提供了一种基于分层多尺度特征融合的儿童胸片图像分类方法，所述分类方法包括：
[0023]在多个层级上提取儿童胸片图像的全局特征图和局部特征图，且所有层级提取的特征图的尺度互不相同，提取所述全局特征图时采用基于窗口多头自注意力机制，提取所述局部特征图时采用卷积操作；
[0024]融合每一层级的所述全局特征图、所述局部特征图和前一层级的融合后特征图，
获得各层级的融合后特征图；
[0025]对最后层级的融合后特征图进行线性分类，获得儿童胸片图像分类结果。
[0026]由上述可见，在多个层级、多个尺度提取儿童胸片图像的全局特征图和局部特征图，并将当前层级的全局特征图、局部特征图与上一层级的融合后特征图进行融合。使得每一层级提取的特征信息可以交互，并且通过多个层级的特征提取和交互，能够充分地提取儿童胸片图像的特征，提高分类结果的准确性。
附图说明
[0027]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0028]图1是本专利技术实施例提供的基于分层多尺度特征融合的儿童肺炎分类系统的架构示意图；
[0029]图2是图1实施例中多尺度特征融合块的架构示意图；
[0030]图3是图1实施例中多尺度特征融合块和ResNet、Swin Transformer、ConvN本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述系统包括：胸片特征提取模块和分类模块；所述胸片特征提取模块用于提取儿童胸片图像的特征，设有层级数相同的全局分支、局部分支和融合分支；所述全局分支用于在不同尺度提取儿童胸片图像的全局特征，所述全局分支的每个层级设有全局特征块，所述全局特征块用于基于窗口多头自注意力机制提取儿童胸片图像的全局特征图，且所有全局特征块输出的全局特征图的尺度互不相同；所述局部分支用于在不同尺度提取儿童胸片图像的局部特征，所述局部分支的每个层级设有局部特征块，所述局部特征块用于采用卷积操作提取儿童胸片图像的局部特征图，且同一层级的局部特征图、全局特征图的尺度相同；所述融合分支的每个层级设有多尺度特征融合块，所述多尺度特征融合块用于融合自身所在层级的全局特征图、局部特征图以及前一层级多尺度特征融合块输出的融合后特征图；所述分类模块用于根据所述胸片特征提取模块输出的特征获得儿童肺炎分类结果。2.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述全局特征块上设有采用窗口多头自注意力机制的第一注意力模块和采用移位窗口多头自注意力机制的第二注意力模块。3.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述局部特征块上设有第一卷积模块和第二卷积模块，所述第一卷积模块采用大小为3*3的深度卷积，所述第二卷积模块采用大小为1*1的分组卷积。4.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述分类模块为多模态融合模块，所述多模态融合模块用于多模态融合所述胸片特征提取模块输出的儿童胸片图像的特征、血液蛋白信息的特征，获得儿童肺炎分类结果。5.如权利要求1所述的基于分层多尺度特征融合的儿童肺炎分类系统，其特征在于，所述多尺度特征融合块包括融合模块和残差倒置的多层感知机模块，所述融合模块用于融合自身所在层级的全局特征块、局部特征块分别输出的全局特征图、...

【专利技术属性】
技术研发人员：雷柏英，张宇雯，汪天富，
申请(专利权)人：深圳大学，
类型：发明
国别省市：