一种多模态医学信息融合的胎儿辅助诊断系统技术方案

本发明专利技术公开一种多模态医学信息融合的胎儿辅助诊断系统，包括：信号预处理模块、图像生成模块、文本提取模块、多模态融合模块和输出模块；其中多模态融合模块利用图‑文特征融合网络ITFN对图像生成模块获取的图像数据和文本提取模块获取的文本数据进行特征提取，获得图像特征向量M<subgt;i</subgt;和文本特征向量M<subgt;t</subgt;；将图像特征向量M<subgt;i</subgt;和文本特征向量M<subgt;t</subgt;进行加权融合获得多模态特征向量Z<subgt;f</subgt;；输出模块使用全连接层对多模态特征向量Z<subgt;f</subgt;降维，输出正常与病理样本分类的结果。本发明专利技术采用不同的模型学习局部语义、获取更多相关知识信息，实现有效的胎儿窘迫病理诊断并降低误诊率，具有广阔的实际应用价值。

【技术实现步骤摘要】

本专利技术涉及医疗健康领域，尤其是孕妇和胎儿的监测技术，具体是一种多模态医学信息融合的胎儿辅助诊断系统。

技术介绍

1、随着经济发展，高龄产妇数量急剧增加，由于缺氧导致的胎儿酸中毒会引起器官损伤甚至死亡等不可逆转的后果，因此，保证孕妇与胎儿健康至关重要，这是当今国际医疗健康领域研究的关键课题和突破方向，具有极其重要的意义。

2、孕晚期胎儿在子宫内可能会出现缺氧情况，导致酸中毒，这可能会引起胎儿器官损伤甚至死亡等不可逆转的后果。因此，确保孕妇和胎儿的健康至关重要。目前，胎心宫缩监护(cardiotocography,ctg)技术是产科医生评估胎儿是否窘迫及是否需要紧急干预的常用方法。ctg技术通过连续、同步记录胎心(fetal heart rate,fhr)和子宫收缩(uterinecontraction,uc)信号来评估胎儿状态。然而，由于ctg信号的动态性和复杂性，不同医生对信号的判读存在较大差异，这可能导致不必要的剖宫产。为了降低误诊率，研究者们基于机器学习和深度学习工具，结合国际妇产科联盟(international federation本文档来自技高网...

【技术保护点】

1.一种多模态医学信息融合的胎儿辅助诊断系统，其特征在于，包括：

2.根据权利要求1所述的多模态医学信息融合的胎儿辅助诊断系统，其特征在于，所述图像生成模块采用马尔可夫转移场MTF。

3.根据权利要求1所述的多模态医学信息融合的胎儿辅助诊断系统，其特征在于，所述参数特征包括形态学、时域、频域参数，所述临床生理信息包括母体年龄和孕周。

4.根据权利要求1所述的多模态医学信息融合的胎儿辅助诊断系统，其特征在于，所述ViT网络包括依次连接的：

5.根据权利要求1所述的多模态医学信息融合的胎儿辅助诊断系统，其特征在于，所述卷积神经网络CNN包括依次...

【技术特征摘要】

1.一种多模态医学信息融合的胎儿辅助诊断系统，其特征在于，包括：

2.根据权利要求1所述的多模态医学信息融合的胎儿辅助诊断系统，其特征在于，所述图像生成模块采用马尔可夫转移场mtf。

3.根据权利要求1所述的多模态医学信息融合的胎儿辅助诊断系统，其特征在于，所述参数特征包括形态学、时域、频域参数，所述临床生理信息包括母体年龄和孕周。

4.根据权利要求1所述的多模态医学信息融合的胎儿辅助诊断系统，其特征在于，所述vit网络包括依次连接的：

5.根据权利要求1所述的多模态医学信息融合的胎儿辅助诊断系统，其特征在于，所述卷积神经网络cnn包括依次连接的第一卷...

【专利技术属性】
技术研发人员：赵治栋，张玲，张烨菲，邓艳军，张显飞，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：