一种基于多模态的慢性阻塞性肺病急性加重的预测装置制造方法及图纸

本发明专利技术公开了一种基于多模态的慢性阻塞性肺病急性加重的预测装置，属于计算机辅助诊断技术领域，包括，引入了多模态建模方法，将呼吸科的结构化诊断、检查和检验数据和胸部CT影像的三维影像数据这两种模态的数据送入多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块，通过调整参数不断优化得到优化的慢性阻塞性肺病急性加重的预测系统，根据模态融合的特征信息进行预测。本发明专利技术应用于现实医学场景，能够减少各项繁复检查，仅使用患者个人信息数据、肺功能、血常规和胸部CT影像数据就能进行预测，提高慢性阻塞性肺病识别急性加重的效率，从而能有效地降低死亡风险。从而能有效地降低死亡风险。从而能有效地降低死亡风险。

【技术实现步骤摘要】
一种基于多模态的慢性阻塞性肺病急性加重的预测装置


[0001]本专利技术属于计算机辅助诊断
，具体地说，涉及一种基于多模态的慢性阻塞性肺病急性加重的预测装置。

技术介绍

[0002]慢性阻塞性肺疾病(chronic obstructive pulmonary diseases，COPD)是一种具有气流阻塞特征的慢性支气管炎和或肺气肿，具有很高的致残率和病死率，现已成为一种较为常见的慢性病。慢性阻塞性肺疾病的急性加重(acute exacerbation of chronic obstructive pulmonary disease,AECOPD)是绝大多数慢性阻塞性肺疾病患者死亡的独立危险因素，如果能及时判断患者处于急性加重期，就能降低患者死亡的风险。然而，慢阻肺本身具有明显的异质性，其急性加重的诱因也复杂多样。50％～70％由感染引起，包括呼吸道细菌、病毒、非典型病原体等感染，也包括吸烟、环境污染、吸入过敏原、应用镇静药物、心律失常等肺内外合并症或并发症。
[0003]其中，上呼吸道病毒感染是慢性阻塞性肺疾病急性加重最早、最常见的诱发因素，约占50％左右，2020年的慢性阻塞性肺疾病急性加重抗感染治疗中国专家共识提到，一项纳入19项研究总共1728例AECOPD患者的系统综述显示鼻/肠病毒(16.39％)、呼吸道合胞病毒(9.90％)和流感病毒(7.83％)是最常见的病毒。2017年慢性阻塞性肺疾病全球倡议(global initia tive for chronic obstructive lung disease，GOLD)报告指出病毒感染是AE COPD的主要出发因素，而且比细菌感染诱发的AECOPD更严重，持续时间更长，且易反复发作。慢性阻塞性肺部疾病患者只要不注意上述的诱发源，就会从慢性肺阻性疾病平稳转至急性加重期。
[0004]慢性肺阻性疾病急性加重定义为呼吸症状急性恶化，是一种临床除外诊断，临床和/或实验室检查没有发现其他可以解释的特异疾病，它的主要症状是气促加重，常伴有喘息、胸闷、咳嗽加剧、痰量增加等，此外还包括心动过速、呼吸急促、失眠等非特异性症状。然而，目前慢性阻塞性肺疾病急性加重期的诊断完全依赖于临床表现。即患者主诉症状的突然变化超过日常变异范围。一般还需要通过常规实验室检查、胸部影像学检查、动脉血气分析、肺功能测定、心电图(ECG)和超声心动图(UCG)、血液生化检查以及痰培养及药物敏感试验等才能确定是否处于急性加重期。对于急需治疗的急性加重期患者，检查如此繁多的项目很困难，如何快速有效且准确的判断慢性阻塞性肺疾病患者是否处于加重期，是当前的极为重要的研究点。
[0005]人工智能是一种新兴的计算机技术，其研究目的在于使计算机能够承担过去只有人类才能完成的智能工作，并且能够做得更好。其中，使用人工智能中的计算机辅助诊断技术方法，可以快速准确地识别慢性阻塞性肺疾病急性加重期。该方法在患者仅提供较少的检查信息时，就能够得出有效准确的判断。相较于传统检查方式，该方法避免了多项检查的耗时和耗力的同时也降低了患者死亡风险。该专利技术对于医生来说，能够快速判断患者的状态，及时提出治疗方案，有效降低了慢性阻塞性肺疾病急性加重带来的死亡风险。

技术实现思路

[0006]鉴于上述，本专利技术的目的是提供一种基于多模态的慢性阻塞性肺病急性加重的预测装置，来提高慢性阻塞性肺病急性加重的预测效率和精度。
[0007]为实现上述专利技术目的，本专利技术提供了一种基于多模态的慢性阻塞性肺病急性加重的预测装置，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器执行所述计算机程序时，实现以下步骤：
[0008]将呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据组成结构化数据，胸部CT影像数据为图像化数据；
[0009]构建慢性阻塞性肺病急性加重的预测系统，包括多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块，其中多基学习器模块用于采用结构化数据对多个不同模型进行训练输出预测向量，结构化数据分类模块用于将多基学习器模块输出的预测向量作为训练集、测试集，对元模型进行训练测试和调整参数，得到优化的结构化数据分类模型和输出相应的预测概率值作为结构化数据的特征，胸部CT影像分割模块用于根据胸部CT影像数据使用3D卷积神经网络进行卷积池化操作，并通过训练测试和调整参数，得到优化的胸部CT影像分割模型及相应的肺部分割影像的CT数据，肺部分割影像特征提取模块用于根据肺部分割影像的CT数据提取肺部分割影像特征，融合模块用于将优化的结构化数据分类模型所提取的结构化数据的特征与优化的胸部CT影像分割模型输出的肺部分割影像的CT数据所提取的肺部分割影像特征输入到融合模块的融合层进行融合拼接得到模态融合的特征信息，预测模块用于根据模态融合的特征信息进行慢性阻塞性肺病急性加重的预测，并通过训练调整参数不断优化，得到优化的慢性阻塞性肺病急性加重的预测系统；
[0010]利用参数优化的慢性阻塞性肺病急性加重的预测系统进行慢性阻塞性肺病急性加重的预测。
[0011]优选地，所述多基学习器模块包括基于最大似然法的逻辑回归模型、基于特征随机选择和样本随机选择方法的随机森林模型、基于贝叶斯定理和特征之间的独立性计算概率假设的朴素贝叶斯模型、使用树形结构进行分类的决策树模型和使用梯度提升方法训练多个决策树的XGBoost模型，将结构化数据作为多基学习器的输入，将这五个基学习器输出的预测向量作为集成学习STACKING的输入。
[0012]所述结构化数据分类模块将多基学习器输出的向量作为集成学习STACKING的输入，对所述多基学习器的五个基学习器分别采用交叉验证的方式进行模型训练，将每个基学习器模型的交叉验证的验证集结果合并作为元模型的训练集，将每个基学习器模型交叉验证的测试集结果合并作为测试集，来对元模型进行训练和测试，以实现STACKING的交叉验证，通过训练测试和调整参数，得到优化的结构化数据分类模型和输出相应的预测概率值，得到的概率值不使用激活函数，直接作为结构化数据的特征输入进融合层。
[0013]优选地，所述胸部CT影像分割模块采用3D
‑
Unet卷积神经网络作为基础网络，将胸部CT影像的三维矩阵分patch后进行三层下采样，每次下采样之前经过两个卷积层，池化层采用自适应池化AdaptiveAvgPool操作，在最后的两层下采样中，卷积层使用可形变卷积Deformable Conv并通过注意力机制关注血管等细小部位，再经过三层的上采样输出维度是三的肺部分割影像的CT数据，通过训练测试和调整参数，得到优化的胸部CT影像分割模
型。
[0014]优选地，所述肺部分割影像特征提取模块使用三维残差神经网络3D
‑
Resnet将输入的肺部分割影像的CT数据转换成相同尺度的三维矩阵，并对该三维矩阵在3D
‑
Resnet的全连接层FC前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态的慢性阻塞性肺病急性加重的预测装置，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器执行所述计算机程序时，实现以下步骤：将呼吸科患者的信息与诊疗数据、就诊数据、检查检验数据、个人信息数据、肺功能报告数据、血常规报告数据组成结构化数据，胸部CT影像数据为图像化数据；构建慢性阻塞性肺病急性加重的预测系统，包括多基学习器模块、结构化数据分类模块、胸部CT影像分割模块、肺部分割影像特征提取模块、融合模块和预测模块，其中多基学习器模块用于采用结构化数据对多个不同模型进行训练输出预测向量，结构化数据分类模块用于将多基学习器模块输出的预测向量作为训练集、测试集，对元模型进行训练测试和调整参数，得到优化的结构化数据分类模型和输出相应的预测概率值作为结构化数据的特征，胸部CT影像分割模块用于根据胸部CT影像数据使用3D卷积神经网络进行卷积池化操作，并通过训练测试和调整参数，得到优化的胸部CT影像分割模型及相应的肺部分割影像的CT数据，肺部分割影像特征提取模块用于根据肺部分割影像的CT数据提取肺部分割影像特征，融合模块用于将优化的结构化数据分类模型所提取的结构化数据的特征与优化的胸部CT影像分割模型输出的肺部分割影像的CT数据所提取的肺部分割影像特征输入到融合模块的融合层进行融合拼接得到模态融合的特征信息，预测模块用于根据模态融合的特征信息进行慢性阻塞性肺病急性加重的预测，并通过训练调整参数不断优化，得到优化的慢性阻塞性肺病急性加重的预测系统；利用参数优化的慢性阻塞性肺病急性加重的预测系统进行慢性阻塞性肺病急性加重的预测。2.根据权利要求1所述的基于多模态的慢性阻塞性肺病急性加重预测装置，其特征在于，所述多基学习器模块包括基于最大似然法的逻辑回归模型、基于特征随机选择和样本随机选择方法的随机森林模型、基于贝叶斯定理和特征之间的独立性计算概率假设的朴素贝叶斯模型、使用树形结构进行分类的决策树模型和使用梯度提升方法训练多个决策树的XGBoost模型，将结构化数据作为多基学习器的输入，将这五个基学习器输出的预测向量作为集成学习STACKING的输入。3.根据权利要求2所述的基于多模态的慢性阻塞性肺病急性加重预测装置，其特征在于，所述结构化数据分类模块将多基学习器输出的向量作为集成学习STACKING的输入，对所述多基学习器的五个基学习器分别采用交叉验证的方式进行模型训练，将每个基学习器模型的交叉验证的验证集结果合并作为元模型的训练集，将每个基学习器模型交叉验证的测试集结果合并作为测试集，来对元模型进行训练和测试，以实现STACKING的交叉验证，通过训练测试和调整参数，得到优化的结构化数据分类模型和输出相应的预测概率值，得到的概率值不使用激活函数，直接作为结构化数据的特征输入进融合层。4.根据权利要求1所述的基于多模态的慢性阻塞性肺病急性加重预测装置，其特征在于，所述胸部CT影像分割模块采用3D
‑
Unet卷积神经网络作为基础网络，将胸部CT影像的三维矩阵分patch后进行三层下采样，每次下采样之前经过两个卷积层，池化层采用自适应池化AdaptiveAv gPool操作，在最后的两层下采样中，卷积层使用可形变卷积Deformable Conv并通过注意力机制关注血管等细小部位，再经过三层的上采样输出维度是三的肺部分割影像的CT数据，通过训练测试和调整参数，得到优化的胸部CT影像分割模型。
5.根据权利要求1所述的基于多模态的慢性阻塞性肺病急性加重预测装置，其特征在于，所述肺部分割...

【专利技术属性】
技术研发人员：应豪超，杜邦，徐红霞，吴健，
申请(专利权)人：浙江大学，
类型：发明
国别省市：