基于制造技术

本发明专利技术提供一种基于

【技术实现步骤摘要】
基于Transformer并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置


[0001]本专利技术提供一种基于
Transformer
并行交叉融合模型的蜂窝肺病程周期检测评估方法及装置，属于蜂窝肺病程周期检测评估

。

技术介绍

[0002]蜂窝状肺是特发性肺纤维化
(IPF)
的主要组织病理学特征，是多种晚期肺部疾病形成的蜂窝状肺改变，据统计，蜂窝肺的年发病率为每十万人
6.8
‑
16.3
，患者初诊后，从诊断到死亡的中位生存期为2‑4年，预后不佳，患者的死亡率高，且绝大多数患者早期症状不明显，漏诊和延误诊断现象普遍，超过
50%
的患者首诊时被误诊为慢阻肺
、
哮喘和充血性心力衰竭或其他肺病，耽误了宝贵的早期诊治时间；且由于在
IPF
病情发展过程中，不同患者疾病进展情况有很大差异，目前需要医生对大量
CT
图像数据进行人工采样和分析，并根据经验判断该病例的病程周期，检测分析工作量大，且存在检测本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于
Transformer
并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：包括如下的检测评估步骤：步骤
S1
：获取蜂窝肺
CT
图像数据，进行数据预处理，将蜂窝肺
CT
图像缩放为
512*512
像素尺寸作为数据集，将数据集整理为有标注数据与无标注数据，并将其划分为训练集
、
验证集
、
测试集，并对蜂窝肺
CT
图像数据进行标注，将每个
CT
图像的类别信息转换为类别标签；步骤
S2
：搭建视觉转换器网络模型，包括输入嵌入层
、
多头注意力机制层
、
多层感知机制层
、
池化层
、
全连接层；步骤
S3
：设置视觉转换器网络模型的超参数：设置图像块大小和输入图像的通道数，将每个图像块编码为向量的维度，设置多头注意力机制头数，设置多层感知机制中的隐藏层；步骤
S4
：使用交叉熵函数定义损失函数；步骤
S5
：基于自适应矩估计优化器的自适应学习率算法，根据梯度的一阶矩估计和二阶矩估计自适应地调整学习率；步骤
S6
：通过视觉转换器分支获取到的蜂窝肺
CT
图像的全局特征，用于与残差神经网络获取的局部特征双向融合；步骤
S7
：将蜂窝肺
CT
图像输入卷积神经网络分支模块，来提取蜂窝肺的局部特征，搭建残差神经网络
‑
50
网络模型；步骤
S8
：将经过卷积操作输出的蜂窝肺特征与视觉转换器支路提取到的全局特征进行双向融合；步骤
S9
：在视觉转换器分支和残差神经网络分支之间建立双向特征融合结构，融合两个分支的特征；步骤
S10
：将两个分支提取的分类向量进行融合后计算损失，并进行逆梯度计算，调整模型参数；步骤
S11
：输出检测评估的类别标签，定义标签显示0表示正常肺，1表示轻度蜂窝肺，2表示中度蜂窝肺，3表示重度蜂窝肺
。2.
根据权利要求1所述的基于
Transformer
并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：所述步骤2中搭建视觉转换器网络模型的具体方法为：步骤
S21
：输入嵌入层：把输入的裁剪好的蜂窝肺
CT
图像切分成
32
块，设置为图像块
0~
图像块
32
，将输入图像块展开成向量，并对每个向量进行线性变换和位置编码，得到嵌入向量序列；步骤
S22
：搭建多头注意力机制层：将由蜂窝肺
CT
图像转换的嵌入向量序列划分为多个头，多头注意力机制层包括多层自注意力机制
、
残差连接
、
层归一化操作，其中自注意力机制的计算公式为：；其中，
d
是输入序列的维度或特征向量的长度；
Q
是查询矩阵，维度为
N
×
d
，用于计算注意力权重；
K
是键矩阵，维度为
N
×
d
，用于计算注意力权重；
V
是值矩阵，其维度为
N
×
d
，用于计算注意力加权和；
W
q
是查询矩阵的权重矩阵，其维度为
d
×
d
；
W
k
是键矩阵的权重矩阵，其维度为
d
×
d
；
W
v
是值矩阵的权重矩阵，其维度为
d
×
d
；
softmax(
·
)
是
softmax
函数，将注意力权重进行归一化，使其总和为1；
Attention(
·
, ·
, ·
)
是自注意力计算函数，输入为查询
、
键和值矩阵，输出为注意力加权和；并将输入的蜂窝肺
CT
图像转换成序列：；其中，表示序列中的第
i
个元素，
d
表示输入向量的维度；步骤
S23
：搭建多层感知机制层：对多头注意力机制得到的向量进行多层感知机操作，对输入的向量进行线性变换操作，包括一个全连接层和一个激活函数
ReLU
，在线性变换操作后添加残差连接，将输入的向量加上线性变换后得到的向量，得到新的向量，然后在残差连接后添加批归一化操作；步骤
S24
：搭建池化层：将多层感知机制层得到的向量进行均值池化，得到整个图像的特征表示；步骤
S25
：搭建全连接层：对池化得到的特征表示进行全连接层操作，得到最终的分类结果
。3.
根据权利要求2所述的基于
Transformer
并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：所述步骤
S22
中自注意力机制具体的计算方法为：步骤
S221
：对于输入序列中的每个元素
x
i
，通过一个线性变换转换为 Query、Key 和 Value 向量，即：
q
i
=W
q
x
i
，
k
i
=W
k
x
i
，
v
i
=W
v
x
i
；其中：分别是
Query、Key
和
Value
的线性变换矩阵；步骤
S222
：对于每个位置
i
，计算与其他所有位置之间的相似度，用于计算注意力权重，采用点积的方式计算相似度，计算公式为：；其中，
a
i,j
表示位置
i
与位置
j
之间的注意力权重，
q
i
和
k
j
分别表示位置
i
和位置
j
的
Query
和
Key
向量，
·
表示点积运算；参数
l
表示自注意力机制中的一个索引，用于表示键矩阵
K
中的一个特定列向量；步骤
S223
：基于步骤
S222
计算得到的注意力权重，对每个位置
i
的
Value
向量进行加权求和，得到自注意力机制的输出向量：；其中，
y
i
表示位置
i
的输出向量，
v
j
表示位置
j
的
Value
向量，
j=1
和
n
表示自注意力机制中
Value
向量的索引范围
。4.
根据权利要求1所述的基于
Transformer
并行交叉融合模型的蜂窝肺病程周期检测评估方法，其特征在于：所述步骤
S4
中定义损失函数的具体方法为：步骤
S41
：定义用于分类任务的交叉熵损失函数，表达式为：<...

【专利技术属性】
技术研发人员：白玉洁，冯秀芳，董云云，赵子安，范晓乐，杨炳乾，张源榕，常云青，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：