System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种任务处理系统、任务处理的方法及装置制造方法及图纸_技高网

一种任务处理系统、任务处理的方法及装置制造方法及图纸

技术编号:40595789 阅读:3 留言:0更新日期:2024-03-12 21:58
本申请公开了一种任务处理系统,可以集成到不同机器学习范式,比如分布式终身学习、分布式增量学习和分布式联邦学习等,通过提供未知数据处理解决方案增强范式的能力。该系统中训练节点可以训练得到非AI业务的任务组,业务节点可以根据该非AI业务的任务组中的非AI业务模型,处理输入数据中AI业务模型不能处理的未知数据得到未知数据的推理结果。本申请技术方案,业务节点可以直接对未知数据进行推理得到推理结果,不需要上报到云端进行推理,提高了未知数据的推理效率。

【技术实现步骤摘要】

本申请涉及计算机,具体涉及一种任务处理系统、任务处理的方法及装置


技术介绍

1、随着互联网的发展,人工智能(artificial intelligence,ai)技术也得到了快速发展。ai技术可以应用在很多的业务场景中,如:图像识别、文本识别、语音识别等。

2、ai技术是采用训练样本预先对ai业务模型(机器学习模型或深度学习模型等)进行训练,训练好的ai业务模型就可以应用在实际业务场景中。在业务场景中,ai业务模型可以对输入数据进行推理,输出推理结果,这样,计算机就可以根据推理结果进行后续决策。

3、目前的ai业务模型只能对与训练样本的类似的输入数据输出正确的推理结果,针对与训练样本差异较大的输入数据无法快速给出正确的推理结果,缺乏针对这种情况的应对方案。


技术实现思路

1、本申请提供一种任务处理系统,用于对ai业务模型无法处理的数据也可以做出合适的推理。本申请还提供了相应的任务处理的方法、装置、计算机可读存储介质,以及计算机程序产品等。

2、本申请第一方面提供一种任务处理系统,包括:业务节点用于:获取输入数据和第一任务组,第一任务组为非人工智能ai业务的任务组,第一任务组用于处理ai业务模型无法处理的数据;从输入数据中筛选出未知数据,未知数据为输入数据中ai业务模型无法处理的数据;根据第一任务组处理中的非ai业务模型未知数据得到未知数据的推理结果。

3、本申请中,业务节点可以是物理机,也可以是虚拟机或容器等计算实例。在边云协同的分布式系统中,业务节点可以是边侧设备(也可以称为边缘设备),如:在不同业务场景中的终端设备。非ai业务模型指的是除ai业务模型之外的模型、指令或表达式等。

4、本申请中,ai业务指的是通过ai业务模型推理的业务,非ai业务指的是通过ai业务模型无法推理的业务,ai业务模型指的是通过机器学习或深度学习等训练出来的用于推理业务的神经网络模型。

5、本申请中,任务组是多个任务的集合,每个任务可以包括不同的模型,从而可以使得业务节点基于任务组完成对数据的推理。

6、本申请中,“未知数据”与“已知数据”是相对的,已知数据指的是ai业务模型可以处理的数据,例如:ai业务模型是采用各种猫的图片进行训练的,那么输入数据中的猫的图像就是ai业务模型可以处理的数据,属于已知数据,而输入数据中的狗或者其他动物的图像就属于ai业务模型无法正确处理的数据,属于未知数据。

7、本申请中,业务节点可以通过非ai业务的任务组对输入数据中的未知数据进行推理,得到该未知数据的推理结果,不需要上报到云端执行对未知数据的推理,提高了未知数据的推理效率。

8、一种可能的实现方式中,第一任务组包括多个第一任务,第一任务为非ai业务的任务;每个第一任务包括非ai业务模型和第一属性,不同第一任务中的非ai业务模型和第一属性不相同;一个第一任务中的第一属性是从一个第一任务的多个训练样本中提取出来的,一个第一任务中的第一属性用于指示一个第一任务中的非ai业务模型所适用的数据的特征。

9、本申请中,非ai业务模型指的是除上述机器学习模型、深度学习模型等ai业务模型之外的模型、指令或表达式。非ai业务模型可以包括机理模型、数学模型、物理模型或仿真模型等,通常为通过多年领域经验或专家经验的到的判定规则,也可以理解为是在ai技术兴起之前所使用的传统模型。

10、该种可能的实现方式中,通过多个第一任务中的不同第一属性和模型推理未知数据可以提高未知数据推理的准确度。

11、一种可能的实现方式中,业务节点具体用于:根据多个第一任务中的第一属性,为未知数据确定目标非ai业务模型,目标非ai业务模型为与未知数据最匹配的第一属性所在第一任务中的非ai业务模型;根据目标非ai业务模型处理未知数据得到未知数据的推理结果。

12、本申请中,第一属性是从多个训练样本中提取出来的有共性的特征,如:温度、季节等,通常一个第一任务中有一个非ai业务模型和一个第一属性,同一个第一任务中的非ai业务模型和第一属性是对应的,例如:如果一个第一任务中的第一属性是季节,那么该第一任务中的非ai业务模型就是用于推理与季节相关的数据的。将未知数据与多个任务中的第一属性匹配,匹配到未知数据与哪个第一属性最进阶,则可以通过该第一属性对应的非ai业务模型推理该未知数据。将未知数据与第一属性进行匹配的方法可以有多种,如:采用一些已有的数学算法计算未知数据与第一属性的相似度。

13、该种可能的实现方式中,根据第一属性与未知数据的匹配程度为未知数据分配合适的非ai业务模型,可以提高未知数据推理的准确度。

14、一种可能的实现方式中,业务节点还用于:获取第二任务组,第二任务组为ai业务的任务组;根据第二任务组中的ai业务模型,处理输入数据中的已知数据得到已知数据的推理结果,已知数据为ai业务模型能够处理的数据。

15、该种可能的实现方式中,也可以通过ai业务的任务组的方式推理已知数据,因为ai业务的任务组中会包括多个ai业务模型,这样可以为已知数据选择合适的ai业务模型进行推理,可以提高已知数据推理的准确度。

16、一种可能的实现方式中,第二任务组包括多个第二任务,第二任务为ai业务的任务;每个第二任务包括ai业务模型和第二属性,不同第二任务中的ai业务模型和第二属性不相同;一个第二任务中的第二属性是从一个第二任务的多个训练样本中提取出来的,一个第二任务中的第二属性用于指示一个第二任务中的ai业务模型所适用的数据的特征。

17、该种可能的实现方式中,通过多个第二任务中的不同第二属性和模型推理已知数据可以提高已知数据推理的准确度。

18、一种可能的实现方式中,业务节点具体用于:根据多个第二任务中的第二属性,为已知数据确定目标ai业务模型,目标ai业务模型为与已知数据最匹配的第二属性所在第二任务中的非ai业务模型;根据目标ai业务模型处理已知数据得到已知数据的推理结果。

19、该种可能的实现方式中,根据第二属性与已知数据的匹配程度为已知数据分配合适的ai业务模型,可以提高已知数据推理的准确度。

20、一种可能的实现方式中,业务节点还用于向训练节点发送未知数据,未知数据包括多条数据;训练节点用于:从多条数据中识别出已知样本的至少一条数据,以及未知样本的至少一条数据。

21、该种可能的实现方式中,训练节点可以对业务节点无法识别的未知数据进行重识别,将未知数据中的部分未知数据修正为已知样本的数据,从而减少需要训练的未知样本的数量,降低计算负载。

22、一种可能的实现方式中,训练节点还用于:将已知样本的至少一条数据添加到相匹配的样本所在的任务中,以更新ai业务的任务组。

23、该种可能的实现方式中,已知样本可以通过扩充任务中样本的方式进行任务更新,无需对已知样本再进行训练才能匹配上对应的模型,这样可以减少训练样本的计算负载本文档来自技高网...

【技术保护点】

1.一种任务处理系统,其特征在于,包括:业务节点用于:

2.根据权利要求1所述的系统,其特征在于,所述第一任务组包括多个第一任务,所述第一任务为非AI业务的任务;

3.根据权利要求2所述的系统,其特征在于,所述业务节点具体用于:

4.根据权利要求1-3任一项所述的系统,其特征在于,所述业务节点还用于:

5.根据权利要求4所述的系统,其特征在于,所述第二任务组包括多个第二任务,所述第二任务为AI业务的任务;

6.根据权利要求5所述的系统,其特征在于,所述业务节点具体用于:

7.根据权利要求1-6任一项所述的系统,其特征在于,

8.根据权利要求7所述的系统,其特征在于,

9.根据权利要求7或8所述的系统,其特征在于,

10.根据权利要求9所述的系统,其特征在于,

11.根据权利要求7-10任一项所述的系统,其特征在于,

12.根据权利要求7-10任一项所述的系统,其特征在于,

13.一种任务处理的方法,其特征在于,包括:

14.根据权利要求13所述的方法,其特征在于,所述第一任务组包括多个第一任务,所述第一任务为非AI业务的任务;

15.根据权利要求14所述的方法,其特征在于,所述业务节点根据所述第一任务组中的非AI业务模型处理所述未知数据得到所述未知数据的推理结果,包括:

16.根据权利要求13-15任一项所述的方法,其特征在于,所述方法还包括:

17.根据权利要求16所述的方法,其特征在于,所述第二任务组包括多个第二任务,所述第二任务为AI业务的任务;

18.根据权利要求17所述的方法,其特征在于,所述业务节点根据所述第二任务组中的所述AI业务模型,处理所述输入数据中的已知数据得到所述已知数据的推理结果,包括:

19.根据权利要求13-18任一项所述的方法,其特征在于,所述方法还包括:

20.一种任务处理的方法,其特征在于,包括:

21.根据权利要求20所述的方法,其特征在于,所述方法还包括:

22.根据权利要求20或21所述的方法,其特征在于,所述方法还包括:

23.根据权利要求22所述的方法,其特征在于,所述方法还包括:

24.根据权利要求20-22任一项所述的方法,其特征在于,所述训练节点从所述多条数据中识别出已知样本的至少一条数据,以及未知样本的至少一条数据,包括:

25.根据权利要求20-22任一项所述的方法,其特征在于,所述训练节点从所述多条数据中识别出已知样本的至少一条数据,以及未知样本的至少一条数据,包括:

26.一种业务节点,其特征在于,包括:通信接口、处理器和存储器,所述通信接口和所述处理器与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,使得所述业务节点执行如权利要求13至19中任一项所述的方法。

27.一种训练节点,其特征在于,包括:通信接口、处理器和存储器,所述通信接口和所述处理器与存储器耦合,所述存储器用于存储程序或指令,当所述程序或指令被所述处理器执行时,使得所述训练节点执行如权利要求20至25中任一项所述的方法。

28.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有指令,当所述指令在计算机设备上运行时,使得所述计算机设备执行如权利要求13至25中任一项所述的方法。

29.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码在计算机设备上运行时,使得所述计算机设备执行如权利要求13至25中任一项所述的方法。

...

【技术特征摘要】

1.一种任务处理系统,其特征在于,包括:业务节点用于:

2.根据权利要求1所述的系统,其特征在于,所述第一任务组包括多个第一任务,所述第一任务为非ai业务的任务;

3.根据权利要求2所述的系统,其特征在于,所述业务节点具体用于:

4.根据权利要求1-3任一项所述的系统,其特征在于,所述业务节点还用于:

5.根据权利要求4所述的系统,其特征在于,所述第二任务组包括多个第二任务,所述第二任务为ai业务的任务;

6.根据权利要求5所述的系统,其特征在于,所述业务节点具体用于:

7.根据权利要求1-6任一项所述的系统,其特征在于,

8.根据权利要求7所述的系统,其特征在于,

9.根据权利要求7或8所述的系统,其特征在于,

10.根据权利要求9所述的系统,其特征在于,

11.根据权利要求7-10任一项所述的系统,其特征在于,

12.根据权利要求7-10任一项所述的系统,其特征在于,

13.一种任务处理的方法,其特征在于,包括:

14.根据权利要求13所述的方法,其特征在于,所述第一任务组包括多个第一任务,所述第一任务为非ai业务的任务;

15.根据权利要求14所述的方法,其特征在于,所述业务节点根据所述第一任务组中的非ai业务模型处理所述未知数据得到所述未知数据的推理结果,包括:

16.根据权利要求13-15任一项所述的方法,其特征在于,所述方法还包括:

17.根据权利要求16所述的方法,其特征在于,所述第二任务组包括多个第二任务,所述第二任务为ai业务的任务;

18.根据权利要求17所述的方法,其特征在于,所述业务节点根据所述第二任务组中的所述ai业务模型,处理所述输入数据中的已知数据得...

【专利技术属性】
技术研发人员:郑子木罗思奇胡佳杰杨锦齐飞
申请(专利权)人:华为云计算技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1