【技术实现步骤摘要】
本专利技术涉及智能医疗，尤其涉及一种基于多模态深度学习的肾移植移植物预后评估方法及系统。
技术介绍
1、肾移植是一种终末期肾病至关重要的治疗手段，因此在评估其可行性时需要采用多种复杂的手段。这些评估方法包括患者一般情况，肾病病理类型、血型检查、组织分型检查、群体反应抗体检查以及淋巴细胞病毒试验等。然而，尽管这些现有方案能够评估是否适合进行配型，但它们在评估肾移植后的排异反应方面却显得力不从心。
2、深度学习是机器学习的一个分支，是一种基于人工神经网络的模型，可以用于处理和分析大规模、复杂的数据。近年来，随着计算能力和数据量的不断提升，深度学习在各个领域得到了广泛的应用和发展，尤其是在医疗领域，深度学习的应用在不断的拓展和深化。
3、在肾移植
，尽管取得了显著的进展，然而肾移植评估过程中医生所面临的困难点不可忽视。该领域的医生需要应对多学科的复杂知识，如免疫学、外科学、心血管专业等，以综合判断和决策。在免疫抑制药物的选择上，医生必须平衡效果和副作用之间的权衡。供体肾脏的适用性评估同样充满挑战，需要在有限的供体资源下做出决策。因此，在肾移植评估领域，寻求更科学、精确的评估方法，以提升肾脏移植的治疗效果和生活质量，成为了当前需要不断探索的方向。
技术实现思路
1、本专利技术的目的在于解决
技术介绍
中的至少一个技术问题，提供一种基于多模态深度学习的肾移植移植物预后评估方法及系统。
2、为实现上述目的，本专利技术提供一种基于多模态深度学习的肾移植移植物
3、采集肾移植信息数据，肾移植信息数据包括文本数据和图像数据；
4、分别对文本数据和图像数据进行预处理和特征提取，得到文本向量特征和图像特征；
5、对文本向量特征和图像特征进行融合，得到用于模型训练的融合训练特征；
6、将融合训练特征输入深度神经网络模型进行模型训练，将深度神经网络模型输出的结果与配对成功的同一类别的供受体标签进行比对，然后通过反向传播算法降低深度神经网络模型输出的结果与供受体标签之间的差别，得到优化训练模型；
7、将供体病历数据输入优化训练模型，将通过优化训练模型输出的供体最后一层特征保存至数据库中；
8、将受体病历数据输入优化训练模型，提取通过优化训练模型输出的受体最后一层特征，将受体最后一层特征与数据库中的所有的供体最后一层特征进行相似度匹配，筛选出得分最高的几份供体病历进行移植选择。
9、根据本专利技术的一个方面，对所述文本数据进行预处理和特征提取，得到文本向量特征，包括：
10、首先将文本数据进行分词处理，然后去掉停用词，再去掉特殊字符；
11、创建文本数据中所有单词的词汇表，每个单词都将分配一个唯一的整数索引，选择word2vec模型将词汇向量化，得到文本向量特征。
12、根据本专利技术的一个方面，对所述图像数据进行预处理和特征提取，得到图像特征，包括：
13、对图像数据进行清洗，去除图像数据中的噪声、伪影和不完整图像；
14、对同个场景下的多张图像进行亮度归一化、配准，并融合在一张图像中；
15、对融合后的图像进行随机的翻转、旋转、缩放、平移和添加高斯噪声操作；
16、对图像数据进行分块处理，并对分块的图像数据进行cnn编码提取得到图像特征。
17、根据本专利技术的一个方面，所述选择word2vec模型将词汇向量化，得到文本向量特征为：通过cbow模型将词汇向量化，得到文本向量特征，包括：
18、构建一个词汇表：首先将文本数据进行分词，去除噪声词汇，然后将所有不重复的单词构成一个词汇表；
19、创建上下文窗口，选择词汇表中的一个目标单词和一个固定大小的上下文窗口，窗口内的单词为与目标单词相关的上下文；
20、输入表示：将窗口内的上下文单词映射到词向量，然后将这些词向量取平均值，得到上下文的平均向量；
21、预测目标：使用上下文的平均向量作为输入，通过一个神经网络模型来预测目标单词；
22、训练模型：通过反向传播算法，调整神经网络模型参数，使其能够准确预测目标单词；
23、获取文本向量特征：模型训练完成后，对每个特征单词进行编码向量化，得到文本向量特征。
24、根据本专利技术的一个方面，所述对图像数据进行分块处理，并对分块的图像数据进行cnn编码提取得到图像特征，包括：
25、将图像分成32*32的图像小块；
26、将图像小块输入到resnet-50卷积神经网络模型中进行编码，生成图像特征。
27、根据本专利技术的一个方面，所述对文本向量特征和图像特征进行融合，得到用于模型训练的融合训练特征，包括：
28、通过跨注意力机制模块将文本向量特征和图像特征进行融合；
29、通过跨注意力机制模块中的fc层输出分类后的用于模型训练的融合训练特征。
30、根据本专利技术的一个方面，所述将融合训练特征输入深度神经网络模型进行模型训练采用两阶段的训练方法：
31、第一阶段采用arcface loss函数将供体和受体分为一类学习类间的差异性；
32、第二阶段：对于匹配程度的不同，来微调深度神经网络模型训练类内样本间的差异性。
33、为实现上述目的，本专利技术还提供一种基于多模态深度学习的肾移植移植物预后评估系统，包括：
34、数据采集模块，采集肾移植信息数据，肾移植信息数据包括文本数据和图像数据；
35、特征提取模块，分别对文本数据和图像数据进行预处理和特征提取，得到文本向量特征和图像特征；
36、特征融合模块，对文本向量特征和图像特征进行融合，得到用于模型训练的融合训练特征；
37、模型训练模块，将融合训练特征输入深度神经网络模型进行模型训练，将深度神经网络模型输出的结果与配对成功的同一类别的供受体标签进行比对，然后通过反向传播算法降低深度神经网络模型输出的结果与供受体标签之间的差别，得到优化训练模型；
38、供体特征模块，将供体病历数据输入优化训练模型，将通过优化训练模型输出的供体最后一层特征保存至数据库中；
39、受体匹配模块，将受体病历数据输入优化训练模型，提取通过优化训练模型输出的受体最后一层特征，将受体最后一层特征与数据库中的所有的供体最后一层特征进行相似度匹配，筛选出得分最高的几份供体病历进行移植选择。
40、为实现上述目的，本专利技术还提供一种电子设备，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述的基于多模态深度学习的肾移植移植物预后评估方法。
41、为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述的基于多模态深度本文档来自技高网...
【技术保护点】
1.基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，对所述文本数据进行预处理和特征提取，得到文本向量特征，包括：
3.根据权利要求1所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，对所述图像数据进行预处理和特征提取，得到图像特征，包括：
4.根据权利要求2所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，所述选择word2vec模型将词汇向量化，得到文本向量特征为：通过CBOW模型将词汇向量化，得到文本向量特征，包括：
5.根据权利要求3所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，所述对图像数据进行分块处理，并对分块的图像数据进行CNN编码提取得到图像特征，包括：
6.根据权利要求1所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，所述对文本向量特征和图像特征进行融合，得到用于模型训练的融合训练特征，包括：
7.根据权利要求1-6中任一项所述的基于
8.基于多模态深度学习的肾移植移植物预后评估系统，其特征在于，包括：
9.电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7中任一项所述的基于多模态深度学习的肾移植移植物预后评估方法。
10.计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的基于多模态深度学习的肾移植移植物预后评估方法。
...【技术特征摘要】
1.基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，包括：
2.根据权利要求1所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，对所述文本数据进行预处理和特征提取，得到文本向量特征，包括：
3.根据权利要求1所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，对所述图像数据进行预处理和特征提取，得到图像特征，包括：
4.根据权利要求2所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，所述选择word2vec模型将词汇向量化，得到文本向量特征为：通过cbow模型将词汇向量化，得到文本向量特征，包括：
5.根据权利要求3所述的基于多模态深度学习的肾移植移植物预后评估方法，其特征在于，所述对图像数据进行分块处理，并对分块的图像数据进行cnn编码提取得到图像特征，包括：
6.根据权利要求1所述的基于多模...
【专利技术属性】
技术研发人员：王星霞，朱晓峰，朱伯成，
申请(专利权)人：中国人民解放军联勤保障部队第九〇三医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。