【技术实现步骤摘要】
本专利技术涉及医学影像分类，具体指一种基于多视图和跨模态的肺栓塞等级分类方法及系统。
技术介绍
1、ct肺血管造影(ct pulmonary angiography，ctpa)是诊断pe的主要手段，ctpa可直观地显示患者肺动脉内血栓的形态、部位及血管被阻塞的程度，对肺动脉栓塞的敏感性较高，且无创、便捷。但通常一例患者会扫描出成百上千张的ctpa影像，每张图像代表肺的一个切片，重复的阅片会消耗医生大量的时间和精力，并且ctpa影像会受成像技术和水平的影响，如呼吸运动伪影、流空伪影、淋巴结、血管分叉等噪声干扰，这使得医生花费大量的时间及精力阅片，易漏诊。同时对于孤立性亚段肺栓塞，由于栓子较小，且存在与复杂的肺动脉亚段分支内，人工阅片诊断难度大，容易存在一定的漏诊率；另一方面由于ctpa极强的专业性，使得非专业影像医生对此认识不足，存在诊断延迟及漏诊。因此在临床中，高准确度的pe识别既费时又困难，一个非常大的挑战是如何快速并准确地诊断肺栓塞疾病，并且在诊断过程中要尽可能规避假阳性诊断带来的风险。卷积神经网络能够从像素层面来分析数据，理论上比人工判别更精准、更具有客观性。
2、但实际上，卷积神经网络在医学数据集上实施的过程中会遇到如下的几个挑战：
3、1)数据稀缺，由于医学数据集牵涉到个人隐私问题，获取足够数量的数据变得异常困难。并且一些机构的数据不会进行公开发布，这导致只能收集到有限的数据，在反复训练后容易出现过拟合现象；
4、2)数据维度单一，临床中医生在诊断肺栓塞时通常需要综合考虑患者的既往史
5、网络的迁移泛化性差，在多个数据集上进行训练时，网络的性能表现可能出现不稳定的情况。
技术实现思路
1、本专利技术旨在解决单一数据维度带来的挑战，提出了一种基于多视图和跨模态的肺栓塞等级分类方法及系统，该方法通过融合文本和图像信息，模拟了临床医生在诊断肺栓塞时结合病人ctpa影像和病历进行判断的过程。模型能够深入学习病灶与电子病历之间的关联，从而提高对肺栓塞急性满性分类的准确性。本专利技术能够在肺栓塞数据集上得到可靠的分类结果，为医生提供有力的辅助，提高肺栓塞诊断的效率和准确性。
2、为了解决上述技术问题，本专利技术的技术方案为：
3、一种基于多视图和跨模态的肺栓塞等级分类方法，包括如下步骤：
4、s1、收集n个患者的肺栓塞ctpa影像，将收集到的所有.npy格式文件转换为hdf5并进行拼接；
5、s2、将拼接后的hdf5文件放入具有多视图耦合自注意模块的3d resnet网络中进行特征提取，输出图像特征，表达式如下：
6、
7、其中，t是视图索引，空间相似性矩阵相似性矩阵通道相似矩阵
8、所述3d resnet网络包括若干3d卷积块，多视图耦合自注意力模块和3d残差卷积块，每两个所述3d卷积块之间插入多视图耦合自注意力模块，所述3d残差卷积块连接在最后；
9、s3、收集n个患者对应的电子病历，将收集的电子病历按指标划分划分为相应的table文件，划分后将所有table文件合成一个完整的table文件；
10、s4、将完整的table文件放入mlp分类模型中，输出文本特征；
11、s5、分别将步骤s2中输出的图像特征和步骤s4中输出的文本特征输入cross-modal模块中进行特征融合计算，最后利用全连接层输出分类结果。
12、作为优选，所述多视图耦合自注意力模块包括空间注意力模块和维度注意力模块。
13、作为优选，所述步骤s2提取特征的方法为：
14、s2-1、将拼接后的hdf5数据作为模型的输入x∈rb×d×h×w×c，通过对输入张量的维度进行重新排列操作，转化成3个不同视角x0∈rbd×h×w×c，x1∈rbh×w×d×c，x2∈rbw×h×d×c，其中b为batch size，c为通道数，w、h、d分别表示宽度、高度、切片数，首先分别用2d1×1的卷积将每个视图映射到key、query和value中，结果表示为和其中t是视图索引；
15、s2-2、通过空间注意力模块，对于每个视图，首先将生成的和分别重塑成大小为hw×c′和c′×hw的矩阵，通过生成空间相似性矩阵然后利用生成通道相似矩阵
16、s2-3、通过维度注意力模块，将输入x∈rb×d×h×w×c首先通过3×1×1的卷积映射成空间key、query和value，分别表示为xk∈rb×d×h×w×c,xq∈rb×d×h×w×c,xv∈rb×d×h×w×c，经过映射后的xq和xk被重塑为适合计算的矩阵，然后将这两个矩阵相乘，生成的矩阵即为沿着第三维度的相似性矩阵
17、作为优选，所述步骤s3中，收集的患者电子并列按d-二聚体、ctin肌钙蛋白、bn、氧合指数、下肢静脉和心脏彩超7个指标进行划分，并对应7个指标分别生成geneva、生命体征、基础病、既往史、症状、彩超检查、实验室检查7个table文件。
18、作为优选，所述步骤s3中，合并完整的table文件前需7个table文件继续宁预处理，首先删除方差为零的特征，再将所有特征规格化为在同一范围内。
19、作为优选，所述步骤s4中mlp模型包括用于提取特征的隐藏层和用于减少过拟合问题的dropout层和用于输出分类结果的全连接层。
20、作为优选，所述步骤s2中，3d resnet网络的倒数第二层的输出和s4中mlp模型倒数第二层的输出作为cross-modal模块的输入。
21、作为优选，所述步骤s5的具体方法为：
22、s5-1、将图像特征xi和文本特征yi分别通过全连接层转换为新的小尺寸的特征x∈rc×w×h和y∈rc×w×h；
23、s5-2、通过1×1的卷积层将新的图像特征x和新词特征y转换到两个不同的特征空间中，以计算像素级的跨模态注意力，计算方法如下：
24、首先，计算图像特征空间和单词特征空间之间的匹配度：
25、
26、
27、其中，s＝w×h,q1(x)＝wq1x,k1(x)＝wk1x,q2(y)＝wq2y,k2(y)＝wk2y,βj,/和ρj,/表示生成图像中的第i个/第j个区域与文本特征中的第j个/第i个区域之间的匹配度。
28、然后，将上一步计算出的匹配度乘以特征值，得到跨模态注意力图ox和oy：
29、ox＝(ox1，ox2，ox3，...，oxi，...，oxs)∈rc×s
30、oy＝(oy1，oy2，oy3，...，oyi，oyj，...，oys)∈rc×s
31、其中，
32、
33、
34、wv1∈rc×c,和wv2∈rc×c是通过1×1卷积自动学习的权重矩阵。
35、之后，通过线性变换(fc)层将跨模态注意力映射ov本文档来自技高网...
【技术保护点】
1.一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述多视图耦合自注意力模块包括空间注意力模块和维度注意力模块。
3.根据权利要求2所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述步骤S2提取特征的方法为：
4.根据权利要求1所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述步骤S3中，收集的患者电子并列按D-二聚体、cTIN肌钙蛋白、BN、氧合指数、下肢静脉和心脏彩超7个指标进行划分，并对应7个指标分别生成Geneva、生命体征、基础病、既往史、症状、彩超检查、实验室检查7个table文件。
5.根据权利要求4所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述步骤S3中，合并完整的table文件前需7个table文件继续宁预处理，首先删除方差为零的特征，再将所有特征规格化为在同一范围内。
6.根据权利要求1所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于
7.根据权利要求1所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述步骤S2中，3D ResNet网络的倒数第二层的输出和S4中MLP模型倒数第二层的输出作为cross-modal模块的输入。
8.根据权利要求7所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述步骤S5的具体方法为：
9.一种基于多视图和跨模态的肺栓塞等级分类系统，其特征在于，包括：
10.根据权利要求9所述的一种基于多视图和跨模态的肺栓塞等级分类系统，其特征在于，所述3D ResNet网络中插入4个多视图耦合自注意模块，所述多视图耦合自注意模块空间注意力模块和维度注意力模块。
...【技术特征摘要】
1.一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述多视图耦合自注意力模块包括空间注意力模块和维度注意力模块。
3.根据权利要求2所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述步骤s2提取特征的方法为：
4.根据权利要求1所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述步骤s3中，收集的患者电子并列按d-二聚体、ctin肌钙蛋白、bn、氧合指数、下肢静脉和心脏彩超7个指标进行划分，并对应7个指标分别生成geneva、生命体征、基础病、既往史、症状、彩超检查、实验室检查7个table文件。
5.根据权利要求4所述的一种基于多视图和跨模态的肺栓塞等级分类方法，其特征在于，所述步骤s3中，合并完整的table文件前需7个table文件继续宁预处理，首先删除方差为零的特征，再将...
【专利技术属性】
技术研发人员：郭昭昕，王昌淼，秦飞巍，葛瑞泉，王志鹏，陈一飞，余建勋，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。