多模态多任务的处理方法、设备及系统技术方案

本申请实施例提供了一种多模态多任务的处理方法、设备及系统。系统中的任务标识组件通过任务表示框架获取不同模态的多个待处理任务，其中，所述任务表示框架用于限定对待处理任务进行描述的内容格式；通过数据转换组件来确定所述多个待处理任务中各个待处理任务所对应的编码序列；并通过数据处理组件基于各个待处理任务所对应的编码序列对所述多个待处理任务进行处理，获得与所述多个待处理任务各自对应的任务处理结果，从而实现了能够同时对不同模态的多个待处理任务进行处理，这样不仅保证了对待处理任务进行处理的质量和效率，并且还降低了对多模态多任务处理的困难程度和繁杂程度，使得多模态多任务的处理系统能够适用到各个应用场景中。适用到各个应用场景中。适用到各个应用场景中。

【技术实现步骤摘要】
多模态多任务的处理方法、设备及系统


[0001]本申请涉及数据处理
，尤其涉及一种多模态多任务的处理方法、设备及系统。

技术介绍

[0002]自从人工智能AI诞生以来，得到了愈加广泛的重视，使得理论和技术日益成熟，应用领域也在不断扩大。目前，AI深度学习系统主要分为底层深度学习框架（pytorch/tensorflow）或者是面向特定模态&任务的框架（huggingface/mmdetection）。而随着T5、T0等语言模型以多模态模型的推出，“统一模型、任务”范式的AI模型越来越受到学术界和工业界的重视。然而，对于这类多模态、多任务的需求，目前还没有出现一个框架式的系统能够提供便捷的接口、工具和高效的实现满足这类需求，即目前的AI技术主要针对单任务、少任务或者相似任务为主的简单任务进行处理，并且主要是基于单模态数据进行训练得到的AI模型，这样得到的AI模型通常泛化能力比较弱，很难适应各种复杂的应用场景。
[0003]因此，现在亟需一种能够灵活的表示一个新的多模态任务、实现不同的模态编码解码器、容纳异构的计算负载、精细化的多任务调度的系统，以适用于各种不同的应用场景。

技术实现思路

[0004]本申请实施例提供一种多模态多任务的处理方法、设备及系统，不仅能够对复杂的多模态多任务进行处理，并且还降低了对多模态多任务处理的困难程度，使得多模态多任务的处理方法能够适用到各个应用场景中。
[0005]第一方面，本申请实施例提供了一种多模态多任务的处理方法，应用于多模态多任务的处理系统，所述处理系统包括任务表示组件、与所述任务表示组件通信连接的数据转换组件以及与所述数据转换组件通信连接的数据处理组件，所述方法包括：所述任务表示组件确定任务表示框架所对应的任务表示元素，其中，所述任务表示框架用于限定对待处理任务进行描述的内容格式,所述任务表示元素包括：用于限定任务描述信息的元素、用于限定任务输入信息的元素、用于限定任务输出信息的元素；所述任务表示组件基于所述任务表示元素获取不同模态的多个待处理任务各自对应的任务描述信息、任务输入信息和任务输出信息；所述数据转换组件确定各个待处理任务所对应的编码序列；所述数据处理组件基于各个待处理任务所对应的编码序列对所述待处理任务进行处理，获得所述多个待处理任务各自对应的任务处理结果。
[0006]第二方面，本申请实施例提供了一种多模态多任务的处理装置，包括：第一获取模块，用于确定任务表示框架所对应的任务表示元素，其中，所述任务表示框架用于限定对待处理任务进行描述的内容格式,所述任务表示元素包括：用于限定任务描述信息的元素、用于限定任务输入信息的元素、用于限定任务输出信息的元素；
所述第一获取模块，还用于基于所述任务表示元素获取不同模态的多个待处理任务各自对应的任务描述信息、任务输入信息和任务输出信息；第一确定模块，用于确定各个待处理任务所对应的编码序列；第一处理模块，用于基于各个待处理任务所对应的编码序列对所述待处理任务进行处理，获得所述多个待处理任务各自对应的任务处理结果。
[0007]第三方面，本申请实施例提供了一种电子设备，包括：存储器、处理器；其中，所述存储器用于存储一条或多条计算机指令，其中，所述一条或多条计算机指令被所述处理器执行时实现上述第一方面所示的多模态多任务的处理方法。
[0008]第四方面，本专利技术实施例提供了一种计算机存储介质，用于储存计算机程序，所述计算机程序使计算机执行时实现上述第一方面所示的多模态多任务的处理方法。
[0009]第五方面，本专利技术实施例提供了一种计算机程序产品，包括：计算机程序，当所述计算机程序被电子设备的处理器执行时，使所述处理器执行上述第一方面所示的多模态多任务的处理方法中的步骤。
[0010]第六方面，本专利技术实施例提供了一种多模态多任务的处理系统，包括：任务表示组件，用于确定任务表示框架所对应的任务表示元素，其中，所述任务表示框架用于限定对待处理任务进行描述的内容格式,所述任务表示元素包括：用于限定任务描述信息的元素、用于限定任务输入信息的元素、用于限定任务输出信息的元素；基于所述任务表示元素获取不同模态的多个待处理任务各自对应的任务描述信息、任务输入信息和任务输出信息；数据转换组件，与所述任务表示组件通信连接，用于确定各个待处理任务所对应的编码序列；数据处理组件，与所述数据转换组件通信连接，用于基于各个待处理任务所对应的编码序列对所述待处理任务进行处理，获得所述多个待处理任务各自对应的任务处理结果。
[0011]本申请实施例提供的技术方案，通过任务表示框获取不同模态的多个待处理任务，即不同模态的多个待处理任务都可以通过统一的任务表示框架进行描述，然后确定各个待处理任务所对应的编码序列，然后基于编码序列对各个待处理任务进行处理，获得与多个待处理任务各自对应的任务处理结果，从而完成了对不同模态的多个待处理任务的处理，不仅保证了任务处理结果的准确性，并且还降低了对多模态多任务处理的困难程度，使得多模态多任务的处理方法能够适用到各个应用场景中，进一步提高了该方案使用的灵活可靠性。
附图说明
[0012]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所可以使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0013]图1为本申请一示例性实施例的一种多模态多任务的处理方法的应用场景示意图；
图2为本申请一示例性实施例的一种多模态多任务的处理方法的流程示意图；图3为本申请实施例提供的通过任务表示框架获取不同模态的多个待处理任务的流程示意图；图4为本申请实施例提供的确定所述多个待处理任务中各个待处理任务所对应的编码序列的流程示意图；图5为本申请一示例性实施例的一种确定待处理任务所对应的编码序列方法的应用场景示意图；图6为本申请一示例性实施例的一种确定待处理任务所对应的编码序列方法的应用场景示意图；图7为本申请实施例提供的获得各个待处理任务所对应的编码序列的流程示意图；图8为本申请一示例性实施例的一种确定不同图像所对应的各个图像块的位置序号的应用场景示意图；图9为本申请实施例提供的获得与多模态任务各自对应的任务处理结果的流程示意图；图10为本申请一示例性实施例的一种基于字典树对对各个待处理任务进行处理的应用场景示意图；图11为本申请实施例提供了一种获得多模态多任务处理系统的流程示意图；图12为本申请实施例提供的一种多模态多任务处理系统的训练方法的流程示意图；图13为本申请实施例提供的一种多模态多任务处理系统的训练方法的应用示意图；图14为本申请实施例提供的一种多模态多任务的处理装置的结构示意图；图15为图14所示的多模态多任务的处理装置所对应的电子设备的结构示意图；图16为本申请实施例提供的一种多模态多任务处理系统的训练装置的结构示意图；图17为图16所示的多模态多任务处理系统的训练装置所对应的电子设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态多任务的处理系统，其特征在于，包括：任务表示组件，用于确定任务表示框架所对应的任务表示元素，其中，所述任务表示框架用于限定对待处理任务进行描述的内容格式,所述任务表示元素包括：用于限定任务描述信息的元素、用于限定任务输入信息的元素、用于限定任务输出信息的元素；基于所述任务表示元素获取不同模态的多个待处理任务各自对应的任务描述信息、任务输入信息和任务输出信息；数据转换组件，与所述任务表示组件通信连接，用于确定各个待处理任务所对应的编码序列；数据处理组件，与所述数据转换组件通信连接，用于基于各个待处理任务所对应的编码序列对所述待处理任务进行处理，获得所述多个待处理任务各自对应的任务处理结果。2.根据权利要求1所述的系统，其特征在于，在所述数据转换组件确定各个待处理任务所对应的编码序列时，所述数据转换组件用于：获取用于对待处理任务进行处理的所有数据转换模块；在所有数据转换模块中，确定各个待处理任务所对应的目标转换模块；利用所述目标转换模块对相对应的待处理任务进行处理，获得各个待处理任务所对应的编码序列。3.根据权利要求2所述的系统，其特征在于，在所述数据转换组件利用所述目标转换模块对相对应的待处理任务进行处理，获得各个待处理任务所对应的编码序列时，所述数据转换组件用于：获取各个待处理任务所对应的任务描述信息、任务输入信息和任务输出信息；利用所述目标转换模块对各个待处理任务所对应的任务描述信息进行处理，获得第一编码序列；利用所述目标转换模块对各个待处理任务所对应的任务输入信息进行处理，获得第二编码序列；利用所述目标转换模块对各个待处理任务所对应的任务输出信息进行处理，获得第三编码序列；基于所述第一编码序列、第二编码序列和第三编码序列，获得各个待处理任务所对应的编码序列。4.根据权利要求1所述的系统，其特征在于，所述系统还包括：学习训练组件，所述学习训练组件用于：通过任务表示框架获取训练样本，所述训练样本对应多个数据模态，每个训练样本对应有标准处理结果；在所述训练样本中，确定多个不同模态的目标样本；对多个不同模态的目标样本进行学习训练，获得所述数据处理组件。5.根据权利要求4所述的系统，其特征在于，在确定多个不同模态的目标样本之后，所述学习训练组件还用于：通过所述任务表示框架获取新增样本；将所述新增样本添加至所述目标样本中，获得用于对所述多模态任务处理系统进行训练的调整后样本。
6.一种多模态多任务的处理方法，其特征在于，应用于多模态多任务的处理系统，所述处理系统包括任务表示组件、与所述任务表示组件通信连接的数据转换组件以及与所述数据转换组件通信连接的数据处理组件，所述方法包括：所述任务表示组件确定任务表示框架所对应的任务表示元素，其中，所述任务表示框架用于限定对待处理任务进行描述的内容格式,所述任务表示元素包括：用于限定任务描述信息的元素、用于限定任务输入信息的元素、用于限定任务输出信息的元素；所述任务表示组件基于所述任务表示元素获取不同模态的多个待处理任务各自对应的任务描述信息、任务输入信息和任务输出信息；所述数据转换组件确定各个待处理任务所对应的编码序列；所述数据处理组件基于各个待处理任务所对应的编码序列对所述待处理任务进行处理，获得所述多个待处理任务各自对应的任务处理结果。7.根据权利...

【专利技术属性】
技术研发人员：周畅，白金泽，王鹏，杨安，林俊旸，杨红霞，周靖人，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：