基于多种数据类型的特征融合的模型训练系统及方法技术方案

可用于基于两个或更多个不同数据类型的合并共同特征来训练模型的系统、方法和计算机可读存储介质。一种方法包括：接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素；识别多个第一数据元素中的每个的第一特征；识别多个第二数据元素中的每个的第二特征；通过将多个第一数据元素中的每个的第一特征的第一特征与多个第二数据元素中的一个的第二特征的第二特征进行组合来生成合并特征，其中第一特征和第二特征各自表示共同特征；并基于合并特征以及第一特征和第二特征的至少一部分来训练模型。的至少一部分来训练模型。的至少一部分来训练模型。

【技术实现步骤摘要】
【国外来华专利技术】基于多种数据类型的特征融合的模型训练系统及方法

技术介绍

[0001]本公开总体上涉及基于多种模态的数据的模型训练。一些内容项可以包括多件内容，例如图像和文本。但是，图像和文本都属于不同的数据模态。可以基于来自数据模态的数据来训练对多个数据模态的内容项进行分类的模型。
[0002]用于训练分类模型的一些训练方法可以假设跨多个模态的数据点被直接链接(例如，视频的字幕或实验室报告的临床注释)以利用零次(zero
‑
shot)学习。替代地，某些训练方法可以在同一嵌入空间中共同训练多种类型的内容数据(例如，图像、视频、HTML5、应用数据等)。这些训练方法需要存在大量标记的多媒体数据(例如，图像和/或视频数据)，或者通过与其他内容类型的接近而隐式标记的多媒体。可能无法获得该大量数据，尤其是在基于图像的内容的情况下，可能需要大量的用户查看和手动分类。此外，基于视频的内容可能花费大量的用户检查时间来进行分类，并且因此增加的成本。

技术实现思路

[0003]通常，可以以包括以下方法的方法来实现本说明书中描述的主题的一个创新方面：通过一个或多个本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：通过一个或多个处理电路接收第一数据类型的多个第一数据元素和第二数据类型的多个第二数据元素，其中，所述第一数据类型为文本数据，并且所述第二数据类型为图像数据或视频数据中的至少一个；通过所述一个或多个处理电路识别所述多个第一数据元素中的每个的第一特征；通过所述一个或多个处理电路识别所述多个第二数据元素中的每个的第二特征；通过所述一个或多个处理电路，通过将所述多个第一数据元素中的每个的所述第一特征中的第一特征与所述多个第二数据元素中的一个的所述第二特征中的第二特征进行组合来生成合并特征，其中所述第一特征和所述第二特征各自表示共同特征；通过所述一个或多个处理电路，基于所述共同特征以及所述第一特征和所述第二特征的至少一部分来训练模型；以及基于所述模型对内容项进行分类，其中，所述内容项包括内容文本和内容图像或内容视频中的至少一个。2.根据权利要求1所述的方法，其中，所述多个第一数据元素中的每个与所述多个第二数据元素中的一个相关联；其中，通过所述一个或多个处理电路生成所述合并特征包括：将所述多个第一数据元素中的每个的所述第一特征中的第一特征与所述多个第二数据元素中的与所述多个第一数据元素中的每个相关联的一个的所述第二特征中的第二特征进行组合。3.根据权利要求1所述的方法，其中，通过所述一个或多个处理电路识别所述第一特征和所述第二特征包括：将一个或多个模型应用于所述多个第一数据元素和所述多个第二数据元素，其中所述一个或多个模型从所述多个第一数据元素中提取所述第一特征，并从所述多个第二数据元素中提取所述第二特征。4.根据权利要求3所述的方法，其中，所述一个或多个模型包括图像嵌入模型、视频嵌入模型、对象识别模型、音频翻译模型和光学字符识别模型中的至少一个。5.根据权利要求1所述的方法，其中，将所述第一特征与所述第二特征进行组合包括：对所述第一特征的表示所述第一特征的第一置信度的第一值与所述第二特征的表示所述第二特征的第二置信度的第二值执行运算。6.根据权利要求5所述的方法，其中，所述操作是以下至少之一：选择所述第一值和所述第二值中的最大值的最大值运算；将所述第一值和所述第二值相加的求和运算；确定所述第一值和所述第二值的中值的中值运算；以及选择所述第一值和所述第二值中的最小值的最小值运算。7.根据权利要求1所述的方法，进一步包括：通过所述一个或多个处理电路接收包括所述第一数据类型的第一数据元素和所述第二数据类型的第二数据元素的数据元素；通过所述一个或多个处理电路提取所述第一数据元素的第一推断特征和所述第二数据元素的第二推断特征；通过所述一个或多个处理电路，通过将所述第一推断特征中的一个或多个与所述第二推断特征中的一个或多个进行组合来生成一个或多个合并特征，其中所述第一推断特征中
的所述一个或多个中的每个是所述第二推断特征中的所述一个或多个中的一个的特定共同特征；通过所述一个或多个处理电路识别对所述第一数据类型独特的所述第一分类特征的独特第一分类特征；通过所述一个或多个处理电路识别对所述第二数据类型独特的第二分类特征的独特第二分类特征；以及通过所述一个或多个处理电路，通过将所述一个或多个合并特征、所述独特第一分类特征、所述独特第二分类特征作为输入应用于所述模型，生成所述模型的模型输出。8.根据权利要求1所述的方法，其中，所述第一数据类型是基于文本的数据类型，并且所述第二数据类型是图像数据类型或视频数据类型中的至少一个。9.根据权利要求8所述的方法，其中，所述多个第一数据元素的至少第一部分与第一数据元素标签相关联，并且所述多个第二数据元素的至少第二部分与第二数据元素标签相关联，其中，所述第一数据元素标签的第一数量大于所述第二数据元素标签的第二数量；其中，通过所述一个或多个处理电路训练所述模型进一步基于所述第一数据元素标签和所述第二数据元素标签。10.根据权利要求8所述的方法，其中，所述多个第一数据元素中的至少第一部分与第一数据元素标签相关联，并且所述多个第二数据元素中的任何一个都不与第二数据元素标签相关联；其中，通过所述一个或多个处理电路训练所述模型进一步基于所述第一数据元素标签。11.一种包括一个或多个...

【专利技术属性】
技术研发人员：吉里贾，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：