【技术实现步骤摘要】
【国外来华专利技术】使用循环神经网络融合多模态数据
[0001]本实施例涉及被配置为跨两个或更多个模态融合数据的人工智能平台。更具体地，给定具有表示数值时间序列数据的至少一个模态和表示带时间戳的文本数据的至少一个模态的多模态数据集，实施例涉及自动发现在数值时间序列数据随时间演进时使数值时间序列数据的性能和行为强相关的文本特征子集。
技术介绍
[0002]与几乎每个学科有关的数据来自采用各种格式和模态的各种不同来源。最近的深度学习技术利用来自多种模态和格式的信息来创建执行各种任务(诸如图像标注、医学诊断和治疗推荐等)的模型。在文献中已经提出了关于如何融合来自多个模态的数据的各种技术。
[0003]三种常见的融合技术是(a)早期融合(在数据特征级别)，(b)晚期融合(在决策级别)，以及(c)中间融合(在(a)、(b)之间权衡)。大多数融合模型要求来自不同模态的数据在时间戳或间隔上被正确地对齐，以便针对给定目标跨多个模态提取有用的特征。由于数据粒度、数据的采样或性质，对齐所有模态可能是不可行的，并且为了正确地对齐它们，还假设关于模态的先验知识...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种计算机系统，包括：处理器，其可操作地耦合到存储器；人工智能(AI)平台，其与所述处理器通信，具有采用深度学习技术以跨模态融合数据的机器学习(ML)工具，所述工具包括：第一数据馈送管理器，其可操作地耦合到第一数据集，所述第一数据集具有采用第一数据格式的第一模态；第二数据馈送管理器，其可操作地耦合到第二数据集，所述第二数据集具有采用第二数据形式的第二模态，所述第二模态不同于所述第一模态；所述第一数据馈送管理器将所述第一数据集编码成第一向量集；所述第二数据馈送管理器将所述第二数据集编码成第二向量集；分析器，其可操作地耦合到所述第一数据馈送管理器和所述第二数据馈送管理器，所述分析器利用人工循环神经网络(RNN)来分析经编码的第一数据集和第二数据集，包括迭代且异步地融合来自所述第一数据模态和所述第二数据模态的已编码特征，所述融合包括组合来自所述第一数据集和所述第二数据集的表示相关的时间行为的向量；以及经融合的向量被返回作为输出数据。2.根据权利要求1所述的系统，其中，来自所述第一数据集的第一输入数据表示带时间戳的文本数据馈送，并且来自所述第二数据集的第二输入数据表示时间序列数据。3.根据权利要求2所述的系统，其中，所述迭代且异步地融合包括：所述RNN将所述第二数据集的所述时间序列数据的时间行为与来自所述第一数据集的代表性的经编码的向量相关。4.根据权利要求2所述的系统，其中，所述迭代且异步地融合包括：所述RNN从所述第一数据集中滤除与在所述经编码的第二数据集中确定的模式无关的一个或多个代表性向量。5.根据权利要求2至4中任一项所述的系统，其中，对基于文本的模态进行编码包括：所述第一数据馈送管理器学习词之间的语义依赖性，并将所述文本聚合成每个输入文本文档的代表性向量。6.根据前述权利要求中任一项所述的系统，其中，分析所述经编码的第一数据集和第二数据集进一步包括：所述RNN探索来自不同采样频率的至少两个时间序列的信息并使其相互关连。7.一种用于采用深度学习技术以跨模态融合数据的方法，所述方法包括：由计算设备接收多模态数据集，所述多模态数据集包括来自两个或更多个模态的不同格式的数据，包括具有第一模态的第一数据集和具有第二模态的第二数据集；分别处理所述第一数据集和所述第二数据集，包括：将所述第一数据集编码成一个或多个第一矢量，以及将所述第二数据集编码成一个或多个第二矢量；分析经处理的多模态数据集，包括迭代且异步地融合来自所述第一数据模态和所述第二数据模态的已编码特征，所述融合包括组合来自所述第一数据集和所述第二数据集的表示相关的时间行为的向量；以及返回经融合的矢量作为输出数据。8.根据权利要求7所述的方法，其中，来自所述第一数据集的第一输入数据表示带时间戳的文本数据馈送，并且来自所述第二数据集的第二输入数据表示时间序列数据。
...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。