多模态数据处理方法和多模态数据处理系统技术方案

本申请涉及一种多模态数据处理方法和多模态数据处理系统，其中，该多模态数据处理方法包括：获取该动态监测数据，将该动态监测数据输入至第一目标模型，得到第一目标结果；其中，该第一目标模型是指利用循环神经网络训练得到的模型；获取该静态监测数据，将该静态监测数据和该第一目标结果输入至第二目标模型，得到第二目标结果；其中，该第二目标模型是指利用注意力机制训练得到的模型；根据该第二目标结果生成数据预测结果。通过本申请，解决了多模态数据处理的计算开销大、表征数据关联性弱的问题，实现了对多模态数据的同时表征，并且在减少计算开销的情况下找到多模态数据间的关联关系。的关联关系。的关联关系。

【技术实现步骤摘要】
多模态数据处理方法和多模态数据处理系统


[0001]本申请涉及数据处理领域，特别是涉及多模态数据处理方法和多模态数据处理系统。

技术介绍

[0002]生物数据，尤其是医学的时序数据一般具有多模态的特点，这类时序数据在中由各种监护仪器所采集，并依据标准数据格式存储。其中，多模态数据的特点包括：1)采样频率不同的多源多通道高频采样的波形数据；2)稀疏的生理指标时间序列，例如心率、血压、血氧饱和度等；3)静态信息不同造成的准线差异，例如不同性别、年龄的人群对于血压的评判指标也存在差异。
[0003]相关技术中，对多模态时序数据的处理一般采用神经网络(Neural Network，NN)的方法。然而，对于多模态数据，传统的神经网络主要存在三点不足：1)无法同时表征静态数据和动态数据；2)多通道时序数据采样频率不同将会产生大量的计算开销；3)只对线性序列进行显式建模。此外，传统的神经网络受到梯度消失和梯度爆炸的影响，使得收敛性变得不稳定。
[0004]针对相关技术中存在多模态数据处理的计算开销大、表征数据关联性弱的问题，目前还没有提出有效的解决方案。

技术实现思路

[0005]在本实施例中提供了一种多模态数据处理方法和多模态数据处理系统，以解决相关技术中多模态数据处理的计算开销大、表征数据关联性弱的问题。
[0006]第一个方面，在本实施例中提供了一种多模态数据处理方法，所述多模态数据包括动态监测数据和静态监测数据，所述方法包括：
[0007]获取所述动态监测数据，将所述动态监测数据输入至第一目标模型，得到第一目标结果；其中，所述第一目标模型是指利用循环神经网络训练得到的模型；
[0008]获取所述静态监测数据，将所述静态监测数据和所述第一目标结果输入至第二目标模型，得到第二目标结果；其中，所述第二目标模型是指利用注意力机制训练得到的模型；
[0009]根据所述第二目标结果生成数据预测结果。
[0010]在其中的一些实施例中，所述第一目标模型为图循环神经网络模型，所述获取所述动态监测数据，将所述动态监测数据输入至第一目标模型，得到第一目标结果，还包括：
[0011]获取多维度的动态监测数据；其中，所述动态监测数据包括至少两个动态向量；
[0012]将所述动态监测数据输入至所述图循环神经网络模型，以输出初始特征矩阵；其中，所述初始特征矩阵的维度与所述动态监测数据的维度相同；
[0013]基于所述初始特征矩阵生成所述第一目标结果。
[0014]在其中的一些实施例中，所述将所述动态监测数据输入至所述图循环神经网络模
型，以输出初始特征矩阵，包括：
[0015]通过邻接矩阵，生成所述动态监测数据的所有所述动态向量之间的数据关系图，并将所述数据关系图和所述动态监测数据输入至所述图循环神经网络模型，以输出所述初始特征矩阵。
[0016]在其中的一些实施例中，所述基于所述初始特征矩阵生成所述第一目标结果，包括：
[0017]基于所述初始特征矩阵生成当前第一目标结果；
[0018]获取多维度的下一个动态监测数据；
[0019]将所述下一个动态监测数据、所述数据关系图和所述当前第一目标结果，输入至所述图循环神经网络模型，以输出下一个特征矩阵；
[0020]基于所述下一个特征矩阵生成下一个第一目标结果；
[0021]基于所述当前第一目标结果和所述下一个第一目标结果生成所述第一目标结果。
[0022]在其中的一些实施例中，所述将所述动态监测数据输入至所述图循环神经网络模型，以输出初始特征矩阵，还包括：
[0023]获取低维度类型权重矩阵；其中，所述低维度类型权重矩阵用于减少所述动态监测数据的数据维度，以及降低每个所述动态向量之间的潜在相关性；
[0024]将所有所述动态向量与单位向量相乘，并与所述低维度类型权重矩阵相乘，得到低维嵌入矩阵；
[0025]将所述低维嵌入矩阵输入至所述图循环神经网络模型，以输出所述初始特征矩阵。
[0026]在其中的一些实施例中，所述第二目标模型为多头注意力机制模型，所述将所述静态监测数据和所述第一目标结果输入至第二目标模型，得到第二目标结果，还包括：
[0027]将所述静态监测数据线性变换后得到静态特征向量；
[0028]将所述第一目标结果和所述静态特征向量输入至所述多头注意力机制模型，以输出隐含关系结果；其中，所述多头注意力机制模型根据所述第一目标结果和所述静态特征向量生成注意力概率分布，并根据所述注意力概率分布输出隐含关系结果；
[0029]根据所述隐含关系结果生成第二目标结果。
[0030]在其中的一些实施例中，所述根据所述第二目标结果生成数据预测结果，包括：
[0031]根据所述第二目标结果生成预测概率向量；
[0032]获取所述多模态数据的预测目标，根据所述预测目标获取预测类型，并根据所述预测类型确定所述数据预测结果。
[0033]在其中的一些实施例中，在所述获取所述动态监测数据之前，还包括：
[0034]获取真实数据结果、待训练动态监测数据和待训练静态监测数据，
[0035]将所述待训练动态监测数据输入至第一初始处理模型得到第一初始结果，并将所述待训练静态监测数据和所述第一初始结果输入至第二初始处理模型得到第二初始结果；其中，所述第一初始处理模型是指利用所述循环神经网络第一次训练得到的模型，所述第二初始处理模型是指利用注意力机制第一次训练得到的模型；
[0036]根据所述真实数据结果和所述第二初始结果，计算均方误差得到均方误差损失，基于所述均方误差损失生成第一模型预测结果；
[0037]基于所述第一模型预测结果和所述第二初始处理模型生成所述第二目标模型，基于所述第一初始处理模型和所述第二目标模型生成所述第一目标模型。
[0038]在其中的一些实施例中，所述将所述待训练静态监测数据和所述第一初始结果输入至第二初始处理模型得到第二初始结果之后，还包括：
[0039]根据所述真实数据结果和所述第二初始结果，计算交叉熵得到交叉熵损失，基于所述交叉熵损失生成第二模型预测结果；
[0040]基于所述第二模型预测结果和所述第二初始处理模型生成所述第二目标模型，基于所述第一初始处理模型和所述第二目标模型生成所述第一目标模型。
[0041]第二个方面，在本实施例中提供了一种多模态数据处理装置，所述装置包括：动态数据处理模块、静态数据处理模块和结果输出模块；
[0042]所述动态数据处理模块，用于获取所述动态监测数据，将所述动态监测数据输入至训练完备的第一目标模型，得到第一目标结果；其中，所述第一目标模型用于融合所述动态监测数据之间的关联关系并输出目标特征矩阵；
[0043]所述静态数据处理模块，用于获取所述静态监测数据，将所述静态监测数据和所述第一目标结果输入至训练完备的第二目标模型，得到第二目标结果；其中，所述第二目本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态数据处理方法，其特征在于，所述多模态数据包括动态监测数据和静态监测数据，所述方法包括：获取所述动态监测数据，将所述动态监测数据输入至第一目标模型，得到第一目标结果；其中，所述第一目标模型是指利用循环神经网络训练得到的模型；获取所述静态监测数据，将所述静态监测数据和所述第一目标结果输入至第二目标模型，得到第二目标结果；其中，所述第二目标模型是指利用注意力机制训练得到的模型；根据所述第二目标结果生成数据预测结果。2.根据权利要求1所述的多模态数据处理方法，其特征在于，所述第一目标模型为图循环神经网络模型，所述获取所述动态监测数据，将所述动态监测数据输入至第一目标模型，得到第一目标结果，还包括：获取多维度的动态监测数据；其中，所述动态监测数据包括至少两个动态向量；将所述动态监测数据输入至所述图循环神经网络模型，以输出初始特征矩阵；其中，所述初始特征矩阵的维度与所述动态监测数据的维度相同；基于所述初始特征矩阵生成所述第一目标结果。3.根据权利要求2所述的多模态数据处理方法，其特征在于，所述将所述动态监测数据输入至所述图循环神经网络模型，以输出初始特征矩阵，包括：通过邻接矩阵，生成所述动态监测数据的所有所述动态向量之间的数据关系图，并将所述数据关系图和所述动态监测数据输入至所述图循环神经网络模型，以输出所述初始特征矩阵。4.根据权利要求2所述的多模态数据处理方法，其特征在于，所述基于所述初始特征矩阵生成所述第一目标结果，包括：基于所述初始特征矩阵生成当前第一目标结果；获取多维度的下一个动态监测数据；将所述下一个动态监测数据、所述数据关系图和所述当前第一目标结果，输入至所述图循环神经网络模型，以输出下一个特征矩阵；基于所述下一个特征矩阵生成下一个第一目标结果；基于所述当前第一目标结果和所述下一个第一目标结果生成所述第一目标结果。5.根据权利要求2所述的多模态数据处理方法，其特征在于，所述将所述动态监测数据输入至所述图循环神经网络模型，以输出初始特征矩阵，还包括：获取低维度类型权重矩阵；其中，所述低维度类型权重矩阵用于减少所述动态监测数据的数据维度，以及降低每个所述动态向量之间的潜在相关性；将所有所述动态向量与单位向量相乘，并与所述低维度类型权重矩阵相乘，得到低维嵌入矩阵；将所述低维嵌入矩阵输入至所述图循环神经网络模型，以输出所述初始...

【专利技术属性】
技术研发人员：徐浩东，刘思行，朱李晨，龚健强，
申请(专利权)人：杭州星迈科技有限公司，
类型：发明
国别省市：