任务处理方法、数据补充方法以及任务处理系统技术方案

本说明书实施例提供任务处理方法、数据补充方法以及任务处理系统，其中所述任务处理方法包括：响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。利用任务处理模型更好地适应数据湖中不同的任务，减少重复的流程开发，通过数据检索提升了模型处理性能，进一步提高了任务处理效率，减少了计算量的消耗。减少了计算量的消耗。减少了计算量的消耗。

【技术实现步骤摘要】
任务处理方法、数据补充方法以及任务处理系统


[0001]本说明书实施例涉及计算机
，特别涉及任务处理方法。本说明书一个或者多个实施例同时涉及一种数据补充方法，一种任务处理系统，任务处理装置，一种数据补充装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序。

技术介绍

[0002]随着计算机技术的发展，企业和个人用户产生的数据呈爆炸式增长。数据湖(Data Lake)是一个以原始格式存储数据的存储系统，可以按原样存储数据，无需事先对数据进行结构化处理。如何对数据湖中的大量数据进行高效处理，逐渐成为研究重点。
[0003]目前，用户可以通过控制台搜索和浏览数据湖中的数据集，然而，面对数据湖中大量未知结构、内容和数据质量的数据集，用户自行搜索和浏览数据效率极低，因此，亟需一种高效的数据处理方案。

技术实现思路

[0004]有鉴于此，本说明书实施例提供了任务处理方法。本说明书一个或者多个实施例同时涉及一种数据补充方法，一种任务处理系统，任务处理装置，一种数据补充装置，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。
[0005]根据本说明书实施例的第一方面，提供了一种任务处理方法，包括：
[0006]响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；
[0007]将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；
[0008]将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；
[0009]将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。
[0010]根据本说明书实施例的第二方面，提供了一种任务处理方法，应用于云侧设备，该方法包括：
[0011]响应于端侧设备发送的针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；
[0012]将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；
[0013]将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；
[0014]将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务
处理结果；
[0015]向端侧设备发送任务处理请求对应的任务处理结果。
[0016]根据本说明书实施例的第三方面，提供了一种数据补充方法，包括：
[0017]响应于针对数据湖的数据补充请求，获取数据补充请求对应的任务处理数据，其中，数据补充请求携带目标数据补充任务的任务属性信息；
[0018]将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标数据补充任务的参考数据；
[0019]将任务属性信息和参考数据输入任务处理模型中的转换单元，获得数据补充请求对应的目标处理数据；
[0020]将目标处理数据输入任务处理模型中的处理单元，获得数据补充请求对应的数据补充结果。
[0021]根据本说明书实施例的第四方面，提供了一种任务处理系统，包括数据处理组件和任务处理组件；
[0022]数据处理组件，被配置为响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；将目标任务的参考数据发送至任务处理组件；
[0023]任务处理组件，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。
[0024]根据本说明书实施例的第五方面，提供了一种任务处理装置，包括：
[0025]第一获取模块，被配置为响应于针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；
[0026]第一输入模块，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；
[0027]第二输入模块，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；
[0028]第三输入模块，被配置为将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果。
[0029]根据本说明书实施例的第六方面，提供了一种任务处理装置，应用于云侧设备，该装置包括：
[0030]第二获取模块，被配置为响应于端侧设备发送的针对数据湖的任务处理请求，获取任务处理请求对应的任务处理数据，其中，任务处理请求携带目标任务的任务属性信息；
[0031]第四输入模块，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标任务的参考数据；
[0032]第五输入模块，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得任务处理请求对应的目标处理数据；
[0033]第六输入模块，被配置为将目标处理数据输入任务处理模型中的处理单元，获得任务处理请求对应的任务处理结果；
[0034]发送模块，被配置为向端侧设备发送任务处理请求对应的任务处理结果。
[0035]根据本说明书实施例的第七方面，提供了一种数据补充装置，包括：
[0036]第三获取模块，被配置为响应于针对数据湖的数据补充请求，获取数据补充请求对应的任务处理数据，其中，数据补充请求携带目标数据补充任务的任务属性信息；
[0037]第七输入模块，被配置为将任务属性信息和任务处理数据输入任务处理模型中的检索单元，获得目标数据补充任务的参考数据；
[0038]第八输入模块，被配置为将任务属性信息和参考数据输入任务处理模型中的转换单元，获得数据补充请求对应的目标处理数据；
[0039]第九输入模块，被配置为将目标处理数据输入任务处理模型中的处理单元，获得数据补充请求对应的数据补充结果。
[0040]根据本说明书实施例的第八方面，提供了一种计算设备，包括：
[0041]存储器和处理器；
[0042]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，该计算机可执行指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。
[0043]根据本说明书实施例的第九方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该指令被处理器执行时实现上述第一方面或者第二方面或者第三方面所提供方法的步骤。
[0044]根据本说明书实施例的第十方面，提供了一种计算机程序，其中，当所述计算机程序在计算机中执行时，令计算机本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种任务处理方法，包括：响应于针对数据湖的任务处理请求，获取所述任务处理请求对应的任务处理数据，其中，所述任务处理请求携带目标任务的任务属性信息；将所述任务属性信息和所述任务处理数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据；将所述任务属性信息和所述参考数据输入所述任务处理模型中的转换单元，获得所述任务处理请求对应的目标处理数据；将所述目标处理数据输入所述任务处理模型中的处理单元，获得所述任务处理请求对应的任务处理结果。2.根据权利要求1所述的方法，所述将所述任务属性信息和所述任务处理数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据，包括：根据预设检索模板对所述任务属性信息和所述任务处理数据进行信息抽取，获得任务填充数据和候选填充数据；将所述任务填充数据和所述候选填充数据填充至所述预设检索模板，获得目标检索数据；将所述目标检索数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据。3.根据权利要求2所述的方法，所述将所述目标检索数据输入任务处理模型中的检索单元，获得所述目标任务的参考数据，包括：将所述目标检索数据输入任务处理模型中的检索单元，在所述检索单元中，计算所述任务填充数据和所述候选填充数据之间的关联指标；根据所述关联指标，从所述候选填充数据中筛选出所述目标任务的参考数据。4.根据权利要求2所述的方法，所述预设检索模板包括元信息检索模板；所述根据预设检索模板对所述任务属性信息和所述任务处理数据进行信息抽取，获得任务填充数据和候选填充数据，包括：根据所述元信息检索模板对所述任务属性信息进行信息抽取，获得任务填充元信息；根据所述元信息检索模板对所述任务处理数据进行信息抽取，获得候选填充元信息。5.根据权利要求2所述的方法，所述预设检索模板包括实例检索模板；所述根据预设检索模板对所述任务属性信息和所述任务处理数据进行信息抽取，获得任务填充数据和候选填充数据，包括：根据所述实例检索模板对所述任务属性信息进行信息抽取，获得任务填充实例；根据所述实例检索模板对所述任务处理数据进行信息抽取，获得候选填充实例。6.根据权利要求1所述的方法，所述将所述任务属性信息和所述参考数据输入所述任务处理模型中的转换单元，获得所述任务处理请求对应的目标处理数据，包括：对所述参考数据进行数据分解，并对数据分解后的所述参考数据进行序列化处理，获得参考数据序列；将所述参考数据序列输入所述任务处理模型中的转换单元，获得转换后的参考数据；将所述任务属性信息和所述转换后的参考数据输入所述任务处理模型中的转换单元，生成所述任务处理请求对应的目标处理数据。
7.根据权利要求6所述的方法，所述将所述任务属性信息和所述转换后的参考数据输入所述任务处理模型中的转换单元，生成所述任务处理请求对应的目标处理数据，包括：获取预设处理模板；将所述任务属性信息和所述转换后的参考数据填充至预设处...

【专利技术属性】
技术研发人员：钱一琛，和泳毅，马志建，朱鎔，孙修宇，丁博麟，周靖人，
申请(专利权)人：阿里巴巴达摩院杭州科技有限公司，
类型：发明
国别省市：