一种肺功能下降预测装置及其预测方法制造方法及图纸

本发明专利技术公开一种肺功能下降预测装置及其预测方法。本发明专利技术提出的肺功能进展预测模型包括CT特征提取网络、多模态特征预测网络；CT特征提取网络用于对预处理后的肺部CT影像进行CT特征提取，多模态特征预测网络用于预测肺功能进展情况，输入为CT特征提取网络提取的CT特征与临床特征融合后形成的多模态特征，输出为未来不同周数时的FVC预测值。本发明专利技术构建的肺功能进展预测模型通过CT特征提取网络提高对CT特征的提取能力，并通过多模态特征预测网络利用多模态数据对肺功能进展情况进行预测，有效提高模型预测的准确性。效提高模型预测的准确性。效提高模型预测的准确性。

【技术实现步骤摘要】
一种肺功能下降预测装置及其预测方法


[0001]本专利技术属于人工智能领域，涉及一种基于多模态数据的肺功能下降预测装置及其非诊断目的的肺功能下降预测方法。

技术介绍

[0002]特发性肺纤维化(Idiopathic Pulmonary Fibrosis，IPF)是一种起病隐匿，病因不明，组织学或影像学表现为普通型间质性肺炎，以进行性呼吸困难和肺功能下降为特征的慢性肺疾病，发病率和患病率分别在每一万人0.09
‑
1.30和0.33
‑
4.51的范围。由于IPF病情呈渐进式发展、诊断手段有限，最终可能导致完全性肺功能障碍。IPF患者一般的中位生存时间只有3
‑
5年，病情的预后存在较大的困难。虽然现在还没有广泛使用的技术可以估计IPF病情的进展，但普遍认为IPF患者的肺功能下降情况可以对IPF的预后提供一定的指导建议。

技术实现思路

[0003]本专利技术的一个目的是针对现有技术的不足，提供一种非诊断目的的基于多模态数据的肺功能下降预测方法。
[0004]本专利技术非诊断目的的基于多模态数据的肺功能下降预测方法，包括以下步骤：
[0005]步骤(1)、获取历史肺部CT影像和对应临床文本数据；其中临床文本数据包括肺部影响因子、测量用力肺活量的周数、用力肺活量(Forced Vital Capacity，FVC)、用力肺活量与正常人标准值的百分比；所述肺部影响因子包括年龄、性别、吸烟情况；
[0006]步骤(2)、对历史肺部CT影像和对应临床文本数据进行预处理，构建数据集；
[0007]作为优选，步骤(2)具体是:
[0008]2‑
1对肺部CT影像进行预处理：去除无法打开的DICOM医学图像文件和不包含肺部信息的无价值CT图像数据；调整图像大小为统一的512*512。
[0009]2‑
2对临床文本数据进行预处理：去除临床文本数据中不完整、错误的数据；对临床文本数据进行特征工程，生成更有效的数据特征用于模型训练；进行Min
‑
Max标准化处理；最后得到预处理后的临床特征。
[0010]2‑
3对数据集中不同周数及其对应的FVC值按照最小二乘法进行计算，获取FVC线性变化率，作为训练集的其中一个标签。
[0011]步骤(3)、构建肺功能进展预测模型，利用步骤(2)构建的数据集进行训练
[0012]所述肺功能进展预测模型包括CT特征提取网络、多模态特征预测网络；所述CT特征提取网络用于对预处理后的肺部CT影像进行CT特征提取，所述多模态特征预测网络用于预测肺功能进展情况，输入为CT特征提取网络提取的CT特征与临床特征融合后形成的多模态特征，输出为未来不同周数时的FVC预测值。
[0013]3‑
1构建CT特征提取网络
[0014]CT特征提取网络以InceptionV1为骨干网络，包括前端下采样模块和多尺度CT特
征融合模块。
[0015]所述前端下采样模块包括1*1、3*3卷积层和最大池化层，通过下采样获取高维特征，降低网络参数量，加快计算速度的同时防止过拟合。
[0016]作为优选，所述前端下采样模块包括依次级联的三个串联的3*3卷积层、最大池化层、1*1卷积层、两个串联的3*3卷积层、最大池化层；
[0017]所述多尺度CT特征融合模块包括依次级联的n1个串联的多尺度CT特征融合模块A、第一最大池化层、n2个串联的多尺度CT特征融合模块B、第二最大池化层、n3个串联的多尺度CT特征融合模块C、平均池化层、全局平均池化层、第一全连接层、第二全连接层，n1≥1，n2≥1，n3≥1。
[0018]作为优选，所述多尺度CT特征融合模块包括依次级联的2个串联的多尺度CT特征融合模块A、第一最大池化层、2个串联的多尺度CT特征融合模块B、第二最大池化层、2个串联的多尺度CT特征融合模块C、平均池化层、全局平均池化层、第一全连接层、第二全连接层；
[0019]所述多尺度CT特征融合模块A包括5条并联支路、特征融合层、残差连接层、改进CBAM通道注意力模块、1*1卷积升维层；所述5条并联支路中第1支路包括一个1*1卷积层；第2支路包括1*1卷积层、3*3卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接3*3卷积层的输入端、空洞率为2的空洞卷积层的输入端，3*3卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第3支路包括1*1卷积层、5*5卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接5*5卷积层的输入端、空洞率为2的空洞卷积层的输入端，5*5卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第4支路包括依次级联的平均池化层、1*1卷积层；第1至第4支路的输出特征图将在特征融合层进行Concatenate连接，形成多尺度CT特征；残差连接层对多尺度CT特征与第5支路的原输入特征图进行相加，提升网络的表征能力；改进CBAM通道注意力模块用于接收残差连接层处理后的特征，为多尺度CT特征添加注意力权重，抑制无用信息；1*1卷积升维层对改进CBAM通道注意力模块输出的多尺度CT特征进行跨通道的特征融合，同时用最少的参数拓宽网络通道数。
[0020]所述多尺度CT特征融合模块B包括5条并联支路、特征融合层、残差连接层、1*1卷积升维层；所述5条并联支路中第1、2、4支路的结构与多尺度CT特征融合模块A相同；第3支路包括1*1卷积层、第一3*3卷积层、第二3*3卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接第一3*3卷积层的输入端、第二3*3卷积层的第一输入端、空洞率为2的空洞卷积层的输入端，第一3*3卷积层的输出端接第二3*3卷积层的第二输入端，第二3*3卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层。第1至第4支路的输出特征图在特征融合层进行Concatenate连接，形成多尺度CT特征；残差连接层对多尺度CT特征与第5支路的原输入特征图进行相加，提升网络的表征能力；1*1卷积升维层对残差连接层处理后的特征进行跨通道的特征融合，同时用最少的参数拓宽网络通道数。
[0021]所述多尺度CT特征融合模块C包括5条并联支路、特征融合层、残差连接层、改进的CBAM通道注意力模块、1*1卷积升维层；所述5条并联支路中第1支路的结构与多尺度CT特征融合模块A相同；第2支路包括1*1卷积层、1*3卷积层、3*1卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接1*3卷积层的输入端、空洞率为2的空洞卷积层的输入
端，1*3卷积层的输出端接3*1卷积层的输入端，3*1卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第3支路包括1*1卷积层、1*3卷积层A、3*1卷积层A、空洞率为2的空洞卷积层A、特征图相加层A、1*3卷积层B、3*1卷积层B、空洞率为2的空洞卷积层B、特征图相加层B，1*1卷积层的输本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种非诊断目的的基于多模态数据的肺功能下降预测方法，其特征在于包括以下步骤：步骤(1)、获取历史肺部CT影像和对应临床文本数据；其中临床文本数据包括肺部影响因子、测量用力肺活量的周数、用力肺活量FVC、用力肺活量与正常人标准值的百分比；所述肺部影响因子包括年龄、性别、吸烟情况；步骤(2)、对历史肺部CT影像和对应临床文本数据进行预处理，构建数据集；步骤(3)、构建肺功能进展预测模型，利用步骤(2)构建的数据集进行训练所述肺功能进展预测模型包括CT特征提取网络、多模态特征预测网络；所述CT特征提取网络用于对预处理后的肺部CT影像进行CT特征提取，所述多模态特征预测网络用于预测肺功能进展情况，输入为CT特征提取网络提取的CT特征与临床特征融合后形成的多模态特征，输出为未来不同周数时的FVC预测值；3
‑
1构建CT特征提取网络CT特征提取网络以InceptionV1为骨干网络，包括前端下采样模块和多尺度CT特征融合模块；所述多尺度CT特征融合模块包括依次级联的n1个串联的多尺度CT特征融合模块A、第一最大池化层、n2个串联的多尺度CT特征融合模块B、第二最大池化层、n3个串联的多尺度CT特征融合模块C、平均池化层、全局平均池化层、第一全连接层、第二全连接层，n1≥1，n2≥1，n3≥1；所述多尺度CT特征融合模块A包括5条并联支路、特征融合层、残差连接层、改进CBAM通道注意力模块、1*1卷积升维层；所述5条并联支路中第1支路包括一个1*1卷积层；第2支路包括1*1卷积层、3*3卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接3*3卷积层的输入端、空洞率为2的空洞卷积层的输入端，3*3卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第3支路包括1*1卷积层、5*5卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接5*5卷积层的输入端、空洞率为2的空洞卷积层的输入端，5*5卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第4支路包括依次级联的平均池化层、1*1卷积层；第1至第4支路的输出特征图将在特征融合层进行Concatenate连接，形成多尺度CT特征；残差连接层对多尺度CT特征与第5支路的原输入特征图进行相加；改进CBAM通道注意力模块用于接收残差连接层处理后的特征，为多尺度CT特征添加注意力权重；1*1卷积升维层对改进CBAM通道注意力模块输出的多尺度CT特征进行跨通道的特征融合；所述多尺度CT特征融合模块B包括5条并联支路、特征融合层、残差连接层、1*1卷积升维层；所述5条并联支路中第1、2、4支路的结构与多尺度CT特征融合模块A相同；第3支路包括1*1卷积层、第一3*3卷积层、第二3*3卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接第一3*3卷积层的输入端、第二3*3卷积层的第一输入端、空洞率为2的空洞卷积层的输入端，第一3*3卷积层的输出端接第二3*3卷积层的第二输入端，第二3*3卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第1至第4支路的输出特征图在特征融合层进行Concatenate连接，形成多尺度CT特征；残差连接层对多尺度CT特征与第5支路的原输入特征图进行相加；1*1卷积升维层对残差连接层处理后的特征进行跨通道的特征融合；
所述多尺度CT特征融合模块C包括5条并联支路、特征融合层、残差连接层、改进的CBAM通道注意力模块、1*1卷积升维层；所述5条并联支路中第1支路的结构与多尺度CT特征融合模块A相同；第2支路包括1*1卷积层、1*3卷积层、3*1卷积层、空洞率为2的空洞卷积层、特征图相加层，1*1卷积层的输出端接1*3卷积层的输入端、空洞率为2的空洞卷积层的输入端，1*3卷积层的输出端接3*1卷积层的输入端，3*1卷积层的输出端、空洞率为2的空洞卷积层的输出端接特征图相加层；第3支路包括1*1卷积层、1*3卷积层A、3*1卷积层A、空洞率为2的空洞卷积层A、特征图相加层A、1*3卷积层B、3*1卷积层B、空洞率为2的空洞卷积层B、特征图相加层B，1*1卷积层的输出端接1*3卷积层A的输入端、空洞率为2的空洞卷积层A的输入端、1*3卷积层B的输入端，1*3卷积层A的输出端接3*1卷积层A的输入端，3*1卷积层A的输出端、空洞率为2的空洞卷积层A的输出端接特征图相加层A的输入端，特征图相加层A的输出端接1*3卷积层B的输入端、空洞率为2的空洞卷积层B的输入端，1*3卷积层B的输出端接3*1卷积层B的输入端...

【专利技术属性】
技术研发人员：陈舞，孙军梅，李秀梅，
申请(专利权)人：杭州师范大学，
类型：发明
国别省市：