【技术实现步骤摘要】
本专利技术属于深度学习，具体是涉及一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法。
技术介绍
1、免疫检查点抑制剂相关肺炎(checkpoint inhibitor-related pneumonitis，简称为cip)是一种特殊的肺部不良反应，通常由免疫治疗中使用的免疫检查点抑制剂(ici)治疗所致。cip的发病机制尚未明确，目前被广泛认同的观点是与icis引起的机体免疫失调有关。临床试验报告中肺癌患者的cip的总发病率3％～5％，重度cip发病率接近1％，均高于其他肿瘤类型cip。由于免疫反应的滞后性，cip的发病时机难以预测，其致死率达到0.2％～0.5％，是影响免疫治疗预后的危险因素。cip的及时发现和诊断对于治疗cip、提高接受免疫治疗患者的预后表现非常重要。
2、cip的诊断要先进行影像学评估，并辅以血常规、血生化、电解质、esr(erythrocyte sedimentation rate，红细胞沉降率)和感染相关检查，如果患者一般状态良好，建议进行肺功能检查，包括反映肺通气、容量和弥散功能的指标。通常患者的影像学扫描结果由许多张切片构成，医生需要对这些切片逐帧进行筛查标注，长时间重复性的阅片会导致误诊或漏诊发生；另一方面医生还需要结合各项检测指标进行综合评判，使得诊断结果受医生个人因素影响，不同的医生可能会得到不同的结果。虽然已有多种基于深度学习的相关分类算法，但在cip肺炎的表现上仍有不足，主要存在以下问题等待解决：
3、(1)针对cip肺炎检测并无相关公开数据集可以直接使用，需要进
4、(2)患者ct影像通常分辨率不高，背景中包含的血管等组织结构使得相关特征提取难度增大。
5、(3)如今的医学诊断模型大多基于医学图像，缺乏对病历文本信息的有效利用，而对于cip这一误诊率较高的疾病的分类场景中，这些文本信息在模型的训练中尤为关键，电子病历中包含了大量与诊断结果强相关的信息，如患者的年龄、病史、各项身体健康指标等。现有的多模态研究只是对文本数据特征和图像特征进行简单地提取融合，缺乏对模态间互补信息的深入挖掘利用。
技术实现思路
1、本专利技术要解决的技术问题是提供一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，用以对免疫抑制剂相关肺炎进行分类预测。
2、为了解决上述技术问题，本专利技术提供一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，包括采集获得ct影像和电子病历两部分数据，电子病历包括大病历和检测报告，然后将ct影像和电子病历输入到多模态cip肺炎分类网络进行分类预测，获得cip肺炎和非cip肺炎分类结果的概率；
3、所述多模态cip肺炎分类网络包括图像特征提取网络、文本特征提取网络和张量融合模块，ct影像输入到图像特征提取网络中得到图像特征向量，大病历和检测报告分别输入到文本特征提取网络获得大病历文本特征向量和检测报告文本特征向量，然后将图像特征向量、大病历文本特征向量和检测报告文本特征向量通过张量融合模块进行特征融合，再通过全连接层和softmax层输出分类结果。
4、作为本专利技术的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法的改进：
5、所述文本特征网络基于bert预训练网络搭建，在原网络的bi-lstm层中加入段间注意力机制构成bi-lstm-att模块。
6、作为本专利技术的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法的进一步改进：
7、所述图像特征提取网络使用resnet-100网络。
8、作为本专利技术的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法的进一步改进：
9、所述张量融合模块的计算过程为：
10、
11、式中，(zl1,zl2,zv)分别代表大病历、检测报告和ct图像三种模态的输入,zo表示所有可能的单模态嵌入组合的3d立方体。
12、作为本专利技术的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法的进一步改进：
13、所述bi-lstm-att模块计算过程为：
14、m＝tanh(h) (1)
15、μ＝softmax(ωtm) (2)
16、r＝hμt (3)
17、其中，bi-lstm层输出向量的集合表示为h:[h1,h2,…,hτ]，dw表示词向量的维度，τ为文本序列长度，待训练的矩阵参数设置为ω，m表示激活函数输出，μ表示softmax层输出，t表示矩阵转置运算。
18、作为本专利技术的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法的进一步改进：
19、所述多模态cip肺炎分类网络的训练方法为：采集不同病情患者的ct影像和电子病历作为训练集和测试集，训练采用crossentropyloss交叉熵函数来计算损失，训练时采用sdg优化器，使用余弦学习率衰减函数，利用训练集训练多模态cip肺炎分类网络，通过反向传播算法对卷积神经网络参数进行优化，降低损失函数的值，当损失函数值低于0.1且不再下降时，得到最终的多模态cip肺炎分类网络并保存权重文件。
20、作为本专利技术的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法的进一步改进：
21、所述训练集和测试集为：
22、对所述ct影像和电子病历进行个人隐私脱敏处理，对每个ct影像数据增强处理并进行标注，标签类型为cip患者和非cip患者，对电子病历进行删除停用词操作；然后将处理后的ct影像和电子病历以8:2的比例划分训练集和测试集。
23、作为本专利技术的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法的进一步改进：
24、所述数据增强包括对图像分别进行对比度增强、反转、镜像和裁剪操作；
25、所述停用词操作基于中文停用词表并加入病历中特有的词语，包括但不限于“患者、今查房、继观、医师、意见和本院”。
26、本专利技术的有益效果主要体现在：
27、本专利技术的一种基于多模态的cip肺炎分类网络，在图像特征提取网络的基础上，独特地结合患者大病历和检测报告数据作为模态补充，在文本特征提取模块中加入自注意力机制，加强经分割后的各段落间的关联，突出关键特征对预测结果的正向影响，并通过张量融合模块高效整合多模态特征信息，提高cip预测的准确度，实现了依靠深度神经网络模型自动提取多模态进行免疫抑制剂相关肺炎分类。
本文档来自技高网...【技术保护点】
1.一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：包括采集获得CT影像和电子病历两部分数据，电子病历包括大病历和检测报告，然后在上位机中将CT影像和电子病历输入到多模态CIP肺炎分类网络进行分类预测获得分类结果和概率；
2.根据权利要求1所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
3.根据权利要求2所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
4.根据权利要求3所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
5.根据权利要求4所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
6.根据权利要求5所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
7.根据权利要求6所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
8.根据权利要求7所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
【技术特征摘要】
1.一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：包括采集获得ct影像和电子病历两部分数据，电子病历包括大病历和检测报告，然后在上位机中将ct影像和电子病历输入到多模态cip肺炎分类网络进行分类预测获得分类结果和概率；
2.根据权利要求1所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
3.根据权利要求2所述的一种适宜免疫抑制剂相关肺炎的多模态深度学习分类方法，其特征在于：
4.根据权利要求3所述...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。