一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法技术

本发明专利技术涉及数据处理技术领域，具体涉及一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法,包括对患者电子健康记录的数据与胸片进行预处理；使用ResNet50将胸片进行处理并生成放射性报告；使用LSTM模型对电子健康记录中的数据进行处理，提取数据并且生成报告；利用文本

【技术实现步骤摘要】
一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法


[0001]本专利技术涉及数据处理
，具体涉及一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法。

技术介绍

[0002]心力衰竭(简称心衰，HeartFailure，HF)心血管疾病每年在全球造成1890多万人死亡，是第一大死亡原因，约占全球与健康有关的所有死亡的31％。心力衰竭(HF)在心血管疾病的发病率和死亡率中占很大比例，在相关的医疗保健费用中也占很大比例；五分之一的人在他们的一生中会发展为心衰，大约50％的心衰患者会在5年内死亡。在这不断扩大的心衰患者群体的管理中，准确预测心衰结局对于有效的预防和治疗，以及减少相关医疗费用的负担至关重要。

技术实现思路

[0003]本专利技术所要解决的技术问题是：提供一种通过电子健康记录中带有时间戳的文本以及胸片中提取生成放射性报告融合后对患者是否患有心力衰竭疾病进行分析，提供数据辅助医师进行诊断的基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法。
[0004]为了解决上述技术问题，本专利技术采用的技术方案为：
[0005]一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法，包括对患者电子健康记录的数据与胸片进行预处理；
[0006]使用ResNet50将胸片进行处理并生成放射性报告；
[0007]使用LSTM模型对电子健康记录中的数据进行处理，提取数据并且生成报告；
[0008]利用文本
‑
图像嵌入网络将胸片中与电子健康记录中的提取出的信息进行融合，并且进行预测判断得出最后的诊断结果。
[0009]进一步的，对患者电子健康记录的数据与胸片进行预处理进一步包括
[0010]根据电子健康记录数据中的临床和相关的时间戳数据来对数据进行整合；
[0011]将胸片中所有的DICOM图像通过线性插值转换为8位深度和224
×
224或229
×
229矩阵大小的便携式网络图形图像。
[0012]进一步的，使用ResNet50将胸片进行处理并生成放射性报告进一步包括在训练队列中使用ResNet50模型进行至少10次交叉验证。
[0013]进一步的，所述训练队列中图像通过gamma校正、水平和垂直移动、水平翻转和旋转随机增强。
[0014]进一步的，ResNet50训练时，使用Adam优化器18进行训练，并使用经验贝叶斯方法和Optuna估计学习率的初始值，批次大小设置为32，损失函数为交叉熵；模型分50个时代进行训练，当验证准确度达到最佳分数时，执行早期停止。
[0015]进一步的，所述LSTM模型通过在输入向量Xt上附加一个测量值。
[0016]进一步的，利用文本
‑
图像嵌入网络将胸片中与电子健康记录中的提取出的信息进行融合，并且进行预测判断得出最后的诊断结果进一步包括
[0017]通过使用图像特征和文本嵌入从相关报告中提取的胸部x射线自动标注；
[0018]多级注意力模型被集成到端到端可训练的CNN
‑
RNN架构中，用于突出有意义的文本单词和图像区域；
[0019]由回顾性报告中学习到的文本嵌入被作为先验知识集成到模型中，联合学习框架利用从相关报告中提取的图像特征和文本嵌入，应用文本
‑
图像嵌入网络进行判断预测。
[0020]本专利技术的有益效果在于：通过采用电子健康记录，电子健康记录(EHR)中大量历史信息，使用LSTM等循环神经系统(RNN)建立了一个传统的预测时间模型，并与纵向时间步进EHR相连接；使用深度学习对电子健康记录(EHRs)事件之间的时间关系建模会提高模型在预测心力衰竭(HF)初始诊断方面的性能(仅仅为医师提供参照)；通过检查这些带有时间标记的电子病历，可以识别出各种诊断场合之间的关联，医师能够最终判断患者是否患有疾病；现有技术中，在任何情况下，都很难直接访问当前的EHR数据，因为几乎所有的数据都是稀疏的，没有标准化，而本申请则是对EHR数据进行整合，方便进行提取参照；
[0021]为了准确提供中间参数为医师诊断和控制心力衰竭(HF)，对胸片进行分析生成放射学报告是很重要的，通过将深度学习(DL)应用于胸部x光片(CXR)来开发和验证一种客观的方法来对字、句子、段落生成放射性报告，从而提高对心力衰竭判断的准确率。
[0022]通过结合使用深度学习对胸片的生成报告和与时间轴有关的文本信息来融合预测判断，对预测的准确度会有很大的提升，帮助医师辅助诊断患者是否患有心衰疾病。
附图说明
[0023]图1为本专利技术具体实施方式的一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法的流程示意图；
[0024]图2为本专利技术具体实施方式的一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法的ResNet50结构图；
[0025]图3为本专利技术具体实施方式的一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法的LSTM模型结构图；
[0026]图4为本专利技术具体实施方式的一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法的TieNet结构图。
具体实施方式
[0027]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0028]实施例一
[0029]请参照图1至图4，一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法，包括
[0030]对患者电子健康记录的数据与胸片进行预处理；
[0031]使用ResNet50将胸片进行处理并生成放射性报告；
[0032]使用LSTM模型对电子健康记录中的数据进行处理，提取数据并且生成报告；
[0033]利用文本
‑
图像嵌入网络将胸片中与电子健康记录中的提取出的信息进行融合，并且进行预测判断得出最后的诊断结果。
[0034]其中
[0035]1、对患者电子健康记录的数据与胸片进行预处理进一步包括
[0036]在实际临床中，电子健康记录都是松散的，并且胸片规格也有所区别，故需要进行处理：
[0037](1)、由于所有的电子健康记录(EHR)中的数据都是稀疏的，因此需要对数据进行预处理，根据电子健康记录(EHR)数据中丰富的临床和相关的时间戳数据来对数据进行整合以便使用。
[0038](2)、将胸片中所有的DICOM图像通过线性插值转换为8位深度和224
×
224或229
×
229矩阵大小的便携式网络图形图像。
[0039]2、使用ResNet50将胸片进行处理并生成放射性报告进一步包括
[0040]详见图2，ResNet被认为是一个更好的深度学习架构，因为它相对容易优化，可以获得更高的精度。此外，还存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法，其特征在于，包括对患者电子健康记录的数据与胸片进行预处理；使用ResNet50将胸片进行处理并生成放射性报告；使用LSTM模型对电子健康记录中的数据进行处理，提取数据并且生成报告；利用文本
‑
图像嵌入网络将胸片中与电子健康记录中的提取出的信息进行融合，并且进行预测判断得出最后的诊断结果。2.根据权利要求1所述的基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法，其特征在于，对患者电子健康记录的数据与胸片进行预处理进一步包括根据电子健康记录数据中的临床和相关的时间戳数据来对数据进行整合；将胸片中所有的DICOM图像通过线性插值转换为8位深度和224
×
224或229
×
229矩阵大小的便携式网络图形图像。3.根据权利要求1所述的基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法，其特征在于，使用ResNet50将胸片进行处理并生成放射性报告进一步包括在训练队列中使用ResNet50模型进行至少10次交叉验证。4.根据权利要求3所述的基于LSTM模型与ResNet50模型的多模态心衰预测辅助方法，其特征在于，所述训练队列中图像通过gamma校正...

【专利技术属性】
技术研发人员：赵菊敏，李灯熬，高云鹏，
申请(专利权)人：太原理工大学，
类型：发明
国别省市：