基于多模态数据的事件预测模型构建方法和事件预测装置制造方法及图纸

本发明专利技术提供一种基于多模态数据的事件预测模型构建方法和事件预测装置，通过利用独立的特征提取层对多个个人医学影像和多个个人非影像数据分别进行特征提取，得到多个个人医学影像和多个个人非影像数据的特征向量后，基于多模态融合层对多个个人医学影像和多个个人非影像数据的特征向量以及预设令牌向量进行全局自注意力变换，得到预设令牌向量的自注意力向量，再基于预设令牌向量的自注意力向量进行事件预测，得到样本对象的事件预测结果，形成端到端的预测结构，从而可以通过构建的样本数据集对模型进行训练并调整模型的参数设置最终得到事件预测模型，该模型简化网络结构基础上有效利用多模态数据信息，提升了事件预测模型的预测准确度。测模型的预测准确度。测模型的预测准确度。

【技术实现步骤摘要】
基于多模态数据的事件预测模型构建方法和事件预测装置


[0001]本专利技术涉及事件预测
，尤其涉及一种基于多模态数据的事件预测模型构建方法和事件预测装置。

技术介绍

[0002]在临床上，部分情况下需要根据患者当前的状态数据预测未来一段时间内该患者可能出现的事件或者出现各类事件的概率，例如3个月内该患者出现目标症状、6个月内该患者目标症状消失等。如何利用临床检查数据等患者的状态数据准确预测患者未来一段时间内发生各类事件的概率或者风险仍待突破。目前已有部分研究利用深度学习技术建模，基于患者的CT影像进行事件预测。然而，此类研究主要存在的问题是CT影像携带信息有限，此类模型的准确度有待提升。
[0003]针对该问题，除CT影像数据外，患者的各种临床检查数据对于事件预测任务亦有重大价值。例如病理切片图像、核磁共振图像等影像数据以及循环染色体异常细胞检查(CAC)、免疫组织化学评估的肿瘤PD
‑
L1表达(TPS)、基因突变等非影像数据。如何高效地融合多模态数据，精准进行事件预测仍然存在巨大挑战。为了解决上述难题，部分工作利用分类网络、自编码器、影像组学等技术提取CT影像的特征，从而将高维的图像数据转化为低维的图像特征，并将所得低维特征与非影像数据结合后使用机器学习技术建模，实现事件预测。然而，这类方法往往需要建立多个模型，在提取图像特征的时候会出现一定程度的信息丢失，使模型的性能无法到达理论上限。另外也有部分工作提出了基于特征表示的多模态融合方法，在深度学习模型中实现多模态数据融合并实现端到端的训练，但这一类方法常常缺乏可解释性，且融合方法仅限于特征向量的拼接、平均或者克罗内克积，难以挖掘不同模态信息之间的内在联系，预测精度欠佳。
[0004]因此，针对目前医学领域的事件预测任务，需要一种能够实现多模态异构数据的有效融合且能够实现端到端的事件预测的事件预测模型，以提升事件预测的精度。

技术实现思路

[0005]本专利技术提供一种基于多模态数据的事件预测模型构建方法和事件预测装置，用以解决现有技术中无法准确提取和融合多模态数据的特征，导致事件预测精度欠佳的缺陷。
[0006]本专利技术提供一种基于多模态数据的事件预测模型构建方法，包括：
[0007]获取样本对象的多个个人医学影像和多个个人非影像数据；
[0008]基于初始模型中所述多个个人医学影像和多个个人非影像数据各自对应的特征提取层，对所述多个个人医学影像和多个个人非影像数据分别进行特征提取，得到所述多个个人医学影像和多个个人非影像数据的特征向量；
[0009]基于所述初始模型中的多模态融合层，对所述多个个人医学影像和多个个人非影像数据的特征向量以及预设令牌向量进行自注意力变换，得到所述预设令牌向量的自注意力向量；
[0010]基于所述初始模型中的预测层，结合所述预设令牌向量的自注意力向量进行事件预测，得到所述样本对象的事件预测结果；
[0011]基于所述样本对象的事件预测结果及所述样本对象的事件标签，对所述初始模型的参数进行调整，得到事件预测模型。
[0012]根据本专利技术提供的一种基于多模态数据的事件预测模型构建方法，所述多模态融合层有多个；所述对所述多个个人医学影像和多个个人非影像数据的特征向量以及预设令牌向量进行自注意力变换，得到所述预设令牌向量的自注意力向量，具体包括：
[0013]基于当前多模态融合层，将上一多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量和所述多个个人非影像数据的特征向量对应的过程自注意力向量中的任一过程自注意力向量，分别与其他过程自注意力向量进行乘法注意力交互，得到所述其他过程自注意力向量针对所述任一过程自注意力向量的注意力权重，并基于所述其他过程自注意力向量针对所述任一过程自注意力向量的注意力权重，对所述其他过程自注意力向量进行融合，基于融合结果和所述任一过程自注意力向量确定所述当前多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量或所述多个个人非影像数据的特征向量对应的过程自注意力向量；其中，对于首个多模态融合层，所述上一多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量和多个个人非影像数据的特征向量对应的过程自注意力向量分别为所述预设令牌向量、所述多个个人医学影像的特征向量和所述多个个人非影像数据的特征向量；
[0014]确定最后一层多模态融合层输出的所述预设令牌向量对应的过程自注意力向量为所述预设令牌向量的自注意力向量。
[0015]根据本专利技术提供的一种基于多模态数据的事件预测模型构建方法，所述基于所述样本对象的事件预测结果及所述样本对象的事件标签，对所述初始模型的参数进行调整，得到事件预测模型，具体包括：
[0016]基于所述样本对象的事件预测结果及所述样本对象的事件标签之间的差异，计算所述初始模型的主任务损失；
[0017]基于所述多个个人医学影像和多个个人非影像数据各自对应的上采样层，对所述多个个人医学影像和多个个人非影像数据的特征向量分别进行还原，得到所述多个个人医学影像对应的还原影像和多个个人非影像数据对应的还原非影像数据，并基于所述多个个人医学影像与其对应的还原影像之间的差异，以及所述多个个人非影像数据与其对应的还原非影像数据之间的差异，确定所述初始模型的多模态数据重建损失；
[0018]基于所述主任务损失和所述多模态数据重建损失，对所述初始模型的参数进行调整，得到事件预测模型。
[0019]根据本专利技术提供的一种基于多模态数据的事件预测模型构建方法，所述多个个人医学影像对应的特征提取层是基于卷积神经网络构建的；所述多个个人非影像数据对应的特征提取层是基于人工神经网络构建的。
[0020]根据本专利技术提供的一种基于多模态数据的事件预测模型构建方法，所述获取样本对象的多个个人医学影像和多个个人非影像数据，具体包括：
[0021]获取所述样本对象的多个原始医学影像和多个原始非影像数据；
[0022]基于三维插值算法将所述样本对象的多个原始医学影像调整至统一的空间分辨
率后，切取所述样本对象的多个原始医学影像中的目标区域，并将目标区域以外的区域的像素置零，得到所述样本对象的多个个人医学影像；
[0023]对所述样本对象的多个原始非影像数据进行结构化处理，得到所述样本对象的多个个人非影像数据。
[0024]本专利技术还提供一种基于多模态数据的事件预测装置，包括：
[0025]数据获取单元，用于获取待预测对象的多个测试医学影像和多个测试非影像数据；
[0026]事件预测单元，用于基于事件预测模型，对所述待预测对象的多个测试医学影像和多个测试非影像数据进行事件预测，得到所述待预测对象的事件预测结果；
[0027]其中，所述事件预测模型是基于如上述任一种所述基于多模态数据的事件预测模型构建方法构建得到的。
[0028]根据本专利技术提供的一种基于多模态数据的事件预测装置，所述事件预测模型包括：...

【技术保护点】

【技术特征摘要】
1.一种基于多模态数据的事件预测模型构建方法，其特征在于，包括：获取样本对象的多个个人医学影像和多个个人非影像数据；基于初始模型中所述多个个人医学影像和多个个人非影像数据各自对应的特征提取层，对所述多个个人医学影像和多个个人非影像数据分别进行特征提取，得到所述多个个人医学影像和多个个人非影像数据的特征向量；基于所述初始模型中的多模态融合层，对所述多个个人医学影像和多个个人非影像数据的特征向量以及预设令牌向量进行自注意力变换，得到所述预设令牌向量的自注意力向量；基于所述初始模型中的预测层，结合所述预设令牌向量的自注意力向量进行事件预测，得到所述样本对象的事件预测结果；基于所述样本对象的事件预测结果及所述样本对象的事件标签，对所述初始模型的参数进行调整，得到事件预测模型。2.根据权利要求1所述的基于多模态数据的事件预测模型构建方法，其特征在于，所述多模态融合层有多个；所述对所述多个个人医学影像和多个个人非影像数据的特征向量以及预设令牌向量进行自注意力变换，得到所述预设令牌向量的自注意力向量，具体包括：基于当前多模态融合层，将上一多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量和所述多个个人非影像数据的特征向量对应的过程自注意力向量中的任一过程自注意力向量，分别与其他过程自注意力向量进行乘法注意力交互，得到所述其他过程自注意力向量针对所述任一过程自注意力向量的注意力权重，并基于所述其他过程自注意力向量针对所述任一过程自注意力向量的注意力权重，对所述其他过程自注意力向量进行融合，基于融合结果和所述任一过程自注意力向量确定所述当前多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量或所述多个个人非影像数据的特征向量对应的过程自注意力向量；其中，对于首个多模态融合层，所述上一多模态融合层输出的所述预设令牌向量、所述多个个人医学影像的特征向量和多个个人非影像数据的特征向量对应的过程自注意力向量分别为所述预设令牌向量、所述多个个人医学影像的特征向量和所述多个个人非影像数据的特征向量；确定最后一层多模态融合层输出的所述预设令牌向量对应的过程自注意力向量为所述预设令牌向量的自注意力向量。3.根据权利要求1所述的基于多模态数据的事件预测模型构建方法，其特征在于，所述基于所述样本对象的事件预测结果及所述样本对象的事件标签，对所述初始模型的参数进行调整，得到事件预测模型，具体包括：基于所述样本对象的事件预测结果及所述样本对象的事件标签之间的差异，计算所述初始模型的主任务损失；基于所述多个个人医学影像和多个个人非影像数据各自对应的上采样层，对所述多个个人医学影像和多个个人非影像数据的特征向量分别进行还原，得到所述多个个人医...

【专利技术属性】
技术研发人员：吕行，张伯羽，
申请(专利权)人：珠海横琴圣澳云智科技有限公司，
类型：发明
国别省市：