【技术实现步骤摘要】
本专利技术属于医学大数据信息处理领域，特别涉及一种基于多模态缺失数据患者的死亡率预测方法及系统。
技术介绍
1、在医学领域，医生需要多种医学数据来进行诊断和预测患者病情，而多模态医学数据与人工智能的结合已经成为一种趋势。目前已有一些使用多模态信息的方法来预测患者死亡率的研究。例如，《clinical narrative-aware deep neural network foremergency department critical outcome prediction》通过使用自然语言处理技术从自由文本中提取功能，并结合结构化数据(如生命体征、年龄和性别)和非结构化数据(如主诉、当前疾病和病史)开发了一个预测模型。该模型旨在识别在护士主导的分诊过程中被确定为非危重或非紧急的潜在危重患者，并在对这些患者进行初步评估时为医生的决策提供支持。然而，该研究并未解决患者结构化数据和非结构化数据之间的映射信息。
2、此外，在现实生活中，由于各种原因，多模态医学数据常常是不完整的，例如设备故障、数据传输失败、用户隐私等。因此，处理数据缺失问题是利用多模态医学数据进行诊断和预测的重要考虑因素。例如，《disease-image-specific learning for diagnosis-oriented neuroimage synthesis with incomplete multi-modality data》通过求解一个生成式模型来解决数据缺失问题，生成模型的目标是学习从潜在空间到原始输入空间的映射。然而，这样的映射
技术实现思路
1、专利技术目的：针对上述现有技术存在的问题，本专利技术提供一种基于多模态缺失数据患者的死亡率预测方法及系统，可以更好的获得完整的患者表示，提高模型的效率和准确性。
2、技术方案：本专利技术所述的一种基于多模态缺失数据患者的死亡率预测方法，具体包括以下步骤：
3、(1)从公开数据集mimic-iv中提取出患者的多模态数据；
4、(2)对提取到的数据进行预处理：采用正则表达式提取需要的特定文本片段，并且对提取到的片段进行处理；
5、(3)使用不同的编码器分别对多模态患者数据进行特征映射；
6、(4)通过标签特征对患者进行分组，并使用核函数计算组内患者相似性；
7、(5)通过相似矩阵来筛选相似患者，补全缺失模态信息；
8、(6)使用交叉注意力机制融合患者的多模态数据，对融合特征进行决策，得到患者死亡预测结果。
9、进一步地，步骤(1)所述患者的多模态数据包括从ehr中提取的临床数据和icu床旁监护设备采集的数据；所述临床数据包括患者的入院记录、实验室检查、临床文本；所述icu床旁监护设备采集的数据包括机械测量标签、心电波形图。
10、进一步地，所述步骤(2)实现过程如下：
11、针对过敏史、过往病史、社会史、实验室检查从临床文本中提取出目标文本片段；然后将文本片段的大写字母转换为小写字母，并删除其中的停止词和标点符号；
12、统一文本文字，调整大写字母转换为小写字母；使用nltk包删除停止词和标点符号，除了“/”、“+”、“-”和“’”；并删除终止词，在文本中保留否定含义的词。
13、进一步地，所述步骤(3)实现过程如下：
14、将预处理得到的临床文本、入院记录、实验室检查、机器测量标签、心电波形图使用transformer、resnet编码器进行编码；将他们映射到公共空间中，统一维度；对于特定的m模态第n患者的表示公式如下：
15、
16、其中，gm(.)是m模态的表示提取模型，θm是不同编码器的参数，表示m模态第n患者输入数据；
17、根据机器测量标签特征对患者进行分组，先通过同一特征将患者进行筛选；对于一组m模态患者，表示公式如下：
18、
19、其中，b是一组患者的数量。
20、进一步地，所述步骤(4)实现过程如下：
21、对于在m模态下的患者和相似度定义为：
22、
23、其中，σ是调整数据中各个距离之间的相似性权重，对于m模态的成对的相似性计算为：
24、πm＝km(em,em)
25、其中，πm是针对m模态患者的相似矩阵。
26、进一步地，所述步骤(5)实现过程如下：
27、引入一个阈值过滤掉低于该阈值的相似性分数，获得过滤的相似性矩阵为：
28、
29、
30、其中，λ是用于过滤掉不相似对的可学习阈值，并且∈用于防止被0整除；maskm是布尔值的掩码矩阵，它确定关联值的每个元素是否有效；
31、为了从相似信息去补充缺失模态患者信息，将一批患者的特征表示为一个邻接矩阵；然后，使用图卷积层通过利用结构信息来表示学习，于是m模态中相似患者的聚合相似信息定义为：
32、
33、其中，w0和w1是投影矩阵；获得患者的每种模态的两种不同表示：em患者原本模态输入表示，患者聚合相似表示；对于确实模态信息的患者，直接用相似患者的信息进行补充，表示为：
34、
35、进一步地，所述步骤(5)实现过程如下：
36、交叉注意的定义为：
37、
38、其中，m表示模态，n＝1,…n表示模态m1与模态m2的交叉注意力，模态m2与模态m3的交叉注意力接着再进行融合：
39、
40、然后对融合后的特征进行预测：
41、
42、并且使用二元交叉熵作为损失函数：
43、
44、其中，b是一组患者数量的大小，yi取值0或1，yl是模型的预测值。
45、本专利技术所述的一种基于多模态缺失数据患者的死亡率预测系统，包括：
46、多模态患者数据提取模块，用以提取入院信息、实验室检查、机器测量值、临床文本、心电图信息；
47、数据预处理模块，采用正则表达式提取需要的特定文本片段，并且对提取到的片段将大写字母调整为小写字母、删除停止词和标点符号；
48、模态表示模块，使用不同的编码器分别对多模态患者数据进行特征映射；
49、患者相似度计算模块，通过核函数计算组内各模态间的患者相似度；
50、信息聚合模块，通过相似矩阵来聚合筛选出具有相似度的患者，同时利用聚合的信息将缺失模态患者的信息补全；
51、融合决策模块，使用注意力机制将补全后的多模态患者特征进行补全本文档来自技高网...
【技术保护点】
1.一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，步骤(1)所述患者的多模态数据包括从EHR中提取的临床数据和ICU床旁监护设备采集的数据；所述临床数据包括患者的入院记录、实验室检查、临床文本；所述ICU床旁监护设备采集的数据包括机械测量标签、心电波形图。
3.根据权利要求1所述的一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，所述步骤(2)实现过程如下：
4.根据权利要求1所述的一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，所述步骤(3)实现过程如下：
5.根据权利要求1所述的一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，所述步骤(4)实现过程如下：
6.根据权利要求1所述的一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，所述步骤(5)实现过程如下：
7.根据权利要求1所述的一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，所述步骤(5)实现过程如下：
<...【技术特征摘要】
1.一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，步骤(1)所述患者的多模态数据包括从ehr中提取的临床数据和icu床旁监护设备采集的数据；所述临床数据包括患者的入院记录、实验室检查、临床文本；所述icu床旁监护设备采集的数据包括机械测量标签、心电波形图。
3.根据权利要求1所述的一种基于多模态缺失数据患者的死亡率预测方法，其特征在于，所述步骤(2)实现过程如下：
4.根据权利要求1所述的一种基于多模态缺...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。