【技术实现步骤摘要】
基于多模态数据的事件预测模型构建方法和事件预测装置
[0001]本专利技术涉及事件预测
，尤其涉及一种基于多模态数据的事件预测模型构建方法和事件预测装置。
技术介绍
[0002]在临床上，部分情况下需要根据患者当前的状态数据预测未来一段时间内该患者可能出现的事件或者出现各类事件的概率，例如3个月内该患者出现目标症状、6个月内该患者目标症状消失等。如何利用临床检查数据等患者的状态数据准确预测患者未来一段时间内发生各类事件的概率或者风险仍待突破。目前已有部分研究利用深度学习技术建模，基于患者的CT影像进行事件预测。然而，此类研究主要存在的问题是CT影像携带信息有限，此类模型的准确度有待提升。
[0003]针对该问题，除CT影像数据外，患者的各种临床检查数据对于事件预测任务亦有重大价值。例如病理切片图像、核磁共振图像等影像数据以及循环染色体异常细胞检查(CAC)、免疫组织化学评估的肿瘤PD
‑
L1表达(TPS)、基因突变等非影像数据。如何高效地融合多模态数据，精准进行事件预测仍然存在巨大挑战。为了解...
【技术保护点】
【技术特征摘要】
1.一种基于多模态数据的事件预测模型构建方法，其特征在于，包括：获取样本对象的多个个人医学影像和多个个人非影像数据；基于初始模型中所述多个个人医学影像和多个个人非影像数据各自对应的特征提取层，对所述多个个人医学影像和多个个人非影像数据分别进行特征提取，得到所述多个个人医学影像和多个个人非影像数据的特征向量；基于所述初始模型中的多模态融合层，对所述多个个人医学影像和多个个人非影像数据的特征向量以及预设令牌向量进行自注意力变换，得到所述预设令牌向量的自注意力向量；基于所述初始模型中的预测层，结合所述预设令牌向量的自注意力向量进行事件预测，得到所述样本对象的事件预测结果；基于所述样本对象的事件预测结果及所述样本对象的事件标签，对所述初始模型的参数进行调整，得到事件预测模型。2.根据权利要求1所述的基于多模态数据的事件预测模型构建方法，其特征在于，所述多模态融合层有多个；所述对所述多个个人医学影像和多个个人非影像数据的特征向量以及预设令牌向量进行自注意力变换，得到所述预设令牌向量的自注意力向量，具体包括：基于当前多模态融合层，将上一多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量和所述多个个人非影像数据的特征向量对应的过程自注意力向量中的任一过程自注意力向量，分别与其他过程自注意力向量进行乘法注意力交互，得到所述其他过程自注意力向量针对所述任一过程自注意力向量的注意力权重，并基于所述其他过程自注意力向量针对所述任一过程自注意力向量的注意力权重，对所述其他过程自注意力向量进行融合，基于融合结果和所述任一过程自注意力向量确定所述当前多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量或所述多个个人非影像数据的特征向量对应的过程自注意力向量；其中，对于首个多模态融合层，所述上一多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量和多个个人非影像数据的特征向量对应的过程自注意力向量分别为所述预设令牌向量、所述多个个人医学影像的特征向量和所述多个个人非影像数据的特征向量；确定最后一层多模态融合层输出的所述预设令牌向量对应的过程自注意力向量为所述预设令牌向量的自注意力向量。3.根据权利要求1所述的基于多模态数据的事件预测模型构建方法，其特征在于，所述基于所述样本对象的事件预测结果及所述样本对象的事件标签，对所述初始模型的参数进行调整，得到事件预测模型，具体包括：基于所述样本对象的事件预测结果及所述样本对象的事件标签之间的差异，计算所述初始模型的主任务损失；基于所述多个个人医学影像和多个个人非影像数据各自对应的上采样层，对所述多个个人医学影像和多个个人非影像数据的特征向量分别进行还原，得到所述多个个人医...
【专利技术属性】
技术研发人员：吕行，张伯羽，
申请(专利权)人：珠海横琴圣澳云智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。