一种基于注意力叠加与特征融合的肺炎X光片图像分析模型及分析方法技术

本发明专利技术公开了一种基于注意力叠加与特征融合的肺炎X光片图像分析模型及分析方法，使用空间注意力叠加网络，突出病灶特征，提升注意力引导精度。首先对整个的通道进行一次空间注意力值的计算，得出初始注意力分数。然后对两通道分别进行CBL和编码解码操作，得到注意力分数。最后将两注意力与初试注意力相乘。使初始注意力辅助两部分注意力的生成，并分别加强各自的特征图。此外本文提出了新的特征融合网络，通过两种不同表征能力的通道，在各自的特征上得到特有表示，能够同时提高特征的“准确性”和“多样性”。。。

【技术实现步骤摘要】
一种基于注意力叠加与特征融合的肺炎X光片图像分析模型及分析方法


[0001]本专利技术涉及图像检测
，特别是涉及一种基于注意力叠加与特征融合的肺炎X光片图像分析模型及分析方法。

技术介绍

[0002]建立图像分析模型是对X光片图像进行分析的主要手段，肺炎检测的主要工作是对输入的肺部医学影像提取特征，从而得到感兴趣区域(ROI,Region of Interest)。提取的特征通常是对CXR的完备描述，而根据提取的特征区分肺炎和非肺炎，是肺炎检测的难点。吴恩达团队提出的CheXNet，由121层的DenSenet网络组成，可以对14种肺部疾病进行分类，但该项工作无法预测病灶的位置信息，只能得到患病的概率；2019年郝冰通过Retinanet和Mask
‑
RCNN，使用单阶段和双阶段模型训练，提高了肺炎的检测性能；Dmytro Poplavskiy等人使用RetineNet SSD网络模型对肺炎进行检测，在模型中加入了全局分类输出，并对数据集进行了大幅度的扩充，虽提高了模型精度，但准确率仅24.781％。Jaiswal等人采用Mask RCNN，通过调整训练中的阈值以及融合预测结果，有效地识别并定位肺炎区域，然而训练阶段需调整阈值，导致训练过程复杂。Eunji等人通过比较输入图像和原型的特征来诊断疾病，并可以对诊断结果提供全局解释、原型和局部解释，但可解释性仍受到了一定的限制。尽管上述方法在肺炎检测中已经取得了一定的效果，但仍存在模型参数量大、训练时间长、检测准确率低等问题。
[0003]肺炎X光片图像与传统的目标检测有很大不同，传统的目标检测对象多是清晰的、彩色的，而肺炎病灶检测的对象多是模糊的、灰度的，因此应当设计一个专门的模型用于肺炎X光片图像检测，以提高模型检测的准确率。

技术实现思路

[0004]本专利技术的目的是针对现有技术中存在的技术缺陷，而提供一种基于注意力叠加与特征融合的肺炎X光片图像分析模型。
[0005]本专利技术的另一个目的是，提供一种基于注意力叠加与特征融合的肺炎X光片图像分析方法。
[0006]为实现本专利技术的目的所采用的技术方案是：
[0007]一种基于注意力叠加与特征融合的肺炎X光片图像分析模型，包括YOLOv5主干网络模型、SasNet空间注意力叠加网络模型、MfcNet多层特征融合网络模型、YOLOv5预测网络模型，其中：
[0008]所述YOLOv5主干网络模型从肺炎X光片样本数据中抽取目标的特征表示形式，得到主干网络特征；
[0009]所述SasNet空间注意力叠加网络模型包括注意力引导模块、第一通道特征计算模块、第二通道特征计算模块以及两个注意力引导叠加模块，所述注意力引导模块对所述主
干网络特征进行一次空间注意力值的计算，得出初始注意力分数a
i
，第一通道特征计算模块和第二通道特征计算模块分别进行CBL和编码解码操作，得到中间特征图，在所述注意力引导叠加模块中，中间特征图计算得到注意力分数c
i
分别与所述初始注意力分数a
i
相乘，得到注意力值a
′
i
，两组注意力值a
′
i
合并得到特征图Out；
[0010]所述MfcNet多层特征融合网络模型包括通道注意力模块与特征融合模块，先通过通道注意力模块得到每个通道的权值ω，在特征融合模块中，再根据每个通道的权值ω对最终分类结果的重要性和贡献度，把通道分割为一个积极通道和一个消极通道，消极通道经过取均值后再与积极通道特征融合，最终经过残差输出新的特征图Out
′
；
[0011]所述YOLOv5预测网络模型分类网络模型和定位回归网络模型，所述分类网络模型对所述新的特征图进行分类，所述定位回归网络模型对所述新的特征图进行定位。
[0012]在上述技术方案中，注意力引导模块将所述主干网络特征的最大值和平均值合并，得到c
i
，经过卷积和Sigmoid激活后，得到初始注意力分数a
i
，c
i
＝[max(x
i
)，mean(x
i
)]，a
i
＝S(C(c
i
))，i为位置索引，代表所有通道在位置i的向量值，max代表取最大值，mean代表取平均值，[]是拼接操作，C表示卷积操作，S代表Sigmoid操作。
[0013]在上述技术方案中，注意力引导叠加模块获得的注意力值a
′
i
可表示为：
[0014]a
′
i
＝S(C(a
i
×
c
i
))
[0015]两组注意力值合并得到特征图Out＝[a
′
i
×
o
i
，x
i
][0016]其中o
i
为第一通道特征计算模块和第二通道特征计算模块计算得到的中间特征图，x
i
为原始输入特征。
[0017]在上述技术方案中，在所述通道注意力模块中，在全局平均池化后，产生一个1
×1×
C大小的特征图y，核大小k与通道维数C成非线性比例，且γ
×
k+b为最简单的线性映射，通道维数C通常设置为2的整数次幂，故有：
[0018]C＝φ(k)＝2
(γ
×
k+b)
[0019][0020]C为通道维数，k为核大小，|t|
odd
表示选择最近的奇数，γ＝2，b＝1；
[0021]通过通道维数C，自适应确定核大小k，然后应用到一维卷积中，得到每个通道的权值ω，权值的计算公式可以表示为：
[0022]ω＝S(C1D
k
(y))
[0023]C1D代表一维卷积。S代表Sigmoid操作。
[0024]在上述技术方案中，在特征融合模块中，把特征图分为积极通道和消极通道，分割规则如下：
[0025][0026]然后把积极通道的特征值和消极通道的特征均值拼接，经过残差输出，融合公式可以表示为：
[0027][0028]其中，p为积极通道的特征值，为消极通道的特征平均值，[]代表拼接操作，x代
表原始特征。
[0029]在上述技术方案中，所述分类网络模型利用BCEclsloss做Classificition Loss的损失函数进行分类。
[0030]在上述技术方案中，BCEclsloss由公式计算，其中M为类别的数量，y
ic
为符号函数，如果样本i的真实类别等于c取1，否则取0，pic为观测样本i属于类别c的预测概率。
[0031]在上述技术方案中，所述定位回归网络模型GIOU_Loss做Bounding box的损失函数进行定位。
[0032]在上述技术方案中，GIOU_本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于注意力叠加与特征融合的肺炎X光片图像分析模型，其特征在于，包括YOLOv5主干网络模型、SasNet空间注意力叠加网络模型、MfcNet多层特征融合网络模型、YOLOv5预测网络模型，其中：所述YOLOv5主干网络模型从肺炎X光片样本数据中抽取目标的特征表示形式，得到主干网络特征；所述SasNet空间注意力叠加网络模型包括注意力引导模块、第一通道特征计算模块、第二通道特征计算模块以及两个注意力引导叠加模块，所述注意力引导模块对所述主干网络特征进行一次空间注意力值的计算，得出初始注意力分数a
i
，第一通道特征计算模块和第二通道特征计算模块分别进行CBL和编码解码操作，得到中间特征图，在所述注意力引导叠加模块中，中间特征图计算得到注意力分数c
i
分别与所述初始注意力分数a
i
相乘，得到注意力值a
′
i
，两组注意力值a
′
i
合并得到特征图Out；所述MfcNet多层特征融合网络模型包括通道注意力模块与特征融合模块，先通过通道注意力模块得到每个通道的权值ω，在特征融合模块中，再根据每个通道的权值ω对最终分类结果的重要性和贡献度，把通道分割为一个积极通道和一个消极通道，消极通道经过取均值后再与积极通道特征融合，最终经过残差输出新的特征图Out
′
；所述YOLOv5预测网络模型分类网络模型和定位回归网络模型，所述分类网络模型对所述新的特征图进行分类，所述定位回归网络模型对所述新的特征图进行定位。2.如权利要求1所述的基于注意力叠加与特征融合的肺炎X光片图像分析模型，其特征在于，注意力引导模块将所述主干网络特征的最大值和平均值合并，得到c
i
，经过卷积和Sigmoid激活后，得到初始注意力分数a
i
，c
i
＝[max(x
i
)，mean(x
i
)]，a
i
＝S(C(c
i
))，i为位置索引，代表所有通道在位置i的向量值，max代表取最大值，mean代表取平均值，[]是拼接操作，C表示卷积操作，S代表Sigmoid操作。3.如权利要求2所述的基于注意力叠加与特征融合的肺炎X光片图像分析模型，其特征在于，注意力引导叠加模块获得的注意力值a
′
i
可表示为：a
′
i
＝S(C(a
i
×
c
i
))两组注意力值合并得到特征图Out＝[a
′
i
×
o
i
，x
i
]其中o
i

【专利技术属性】
技术研发人员：姜丽芬，李康，
申请(专利权)人：天津师范大学，
类型：发明
国别省市：