System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及数据处理,特别是涉及一种任务处理方法、装置、设备及存储介质。
技术介绍
1、随着数据化时代的到来,人们的工作生活中充斥着各种各样的数据,为了满足不同场景的业务需求,需要基于各种各样的数据完成各种各样的任务。例如,需要基于图像完成图像分类任务,基于音频完成语音识别任务等等。其中,上述各种任务的类型与任务的内容以及任务要处理的数据相关,另外,不同类型的任务在进行处理时具有不同的特点。
2、鉴于上述情况,需要提供一种任务处理方案,以准确的完成各种任务。
技术实现思路
1、本专利技术实施例的目的在于提供一种任务处理方法、装置、设备及存储介质,以准确的完成各种任务。具体技术方案如下:
2、根据本专利技术实施例的一方面,提供了一种任务处理方法,上述方法包括:
3、获得用于完成任务的非结构化数据;
4、提取所述非结构化数据的第一特征;
5、对所述第一特征进行特征解耦处理,得到所述第一特征对应的单元特征;
6、基于因果发现算法,发现所述非结构化数据与所得单元特征间的因果关系;
7、基于所述因果关系,从单元特征中选择用于进行任务处理的第二特征;
8、根据所述第一特征和第二特征,对所述任务进行处理。
9、本专利技术的一个实施例中,所述基于所述因果关系,从单元特征中选择用于进行任务处理的第二特征,包括:
10、基于所述因果关系,获得表征各单元特征与所述非结构化数据间因果关
11、选择所获得因果效应值高于预设因果效应值的单元特征,作为所述第二特征。
12、本专利技术的一个实施例中,所述基于因果发现算法,发现所述非结构化数据与所得单元特征间的因果关系,包括:
13、对所述非结构化数据和各所得单元特征分别进行向量化表示,得到所述非结构化数据对应的第一表示向量和各所得单元特征分别对应的第二表示向量;
14、基于因果发现算法,对所述第一表示向量和各第二表示向量进行处理,发现所述非结构化数据与所得单元特征间的因果关系。
15、本专利技术的一个实施例中,所述对所述第一特征进行特征解耦处理,得到所述第一特征对应的单元特征,包括:
16、将所述第一特征与预设的单元特征库中的各个特征进行匹配,得到与所述第一特征相匹配的单元特征;
17、根据所得的单元特征,获得所述第一特征对应的单元特征。
18、本专利技术的一个实施例中,所述根据所述第一特征和第二特征,对所述任务进行处理,包括:
19、将第一特征和第二特征进行拼接,得到拼接特征;
20、使用所述拼接特征对所述任务进行处理。
21、本专利技术的一个实施例中,所述提取所述非结构化数据的第一特征,包括:
22、提取所述非结构化数据的离散化特征,作为第一特征,其中,所述离散化特征包含实体特征、实体的属性特征、实体间的关系特征和实体发生的事件特征中的至少一种。
23、本专利技术的一个实施例中,在所述提取所述非结构化数据的离散化特征,作为第一特征之前,还包括:
24、根据所述非结构化数据的格式类型,确定待提取离散化特征的特征类型;
25、所述提取所述非结构化数据的离散化特征,作为第一特征,包括:
26、按照所确定的特征类型,提取所述非结构化数据的离散化特征,作为第一特征。
27、根据本专利技术实施例的另一方面,提供了一种任务处理装置,所述装置包括:
28、数据获得模块,用于获得用于完成任务的非结构化数据;
29、特征提取模块,用于提取所述非结构化数据的第一特征;
30、特征解耦模块,用于对所述第一特征进行特征解耦处理,得到所述第一特征对应的单元特征;
31、关系发现模块,用于基于因果发现算法,发现所述非结构化数据与所得单元特征间的因果关系;
32、特征选择模块,用于基于所述因果关系,从单元特征中选择用于进行任务处理的第二特征;
33、任务处理模块,用于根据所述第一特征和第二特征,对所述任务进行处理。
34、本专利技术的一个实施例中,所述特征选择模块,具体用于:
35、基于所述因果关系,获得表征各单元特征与所述非结构化数据间因果关系强烈程度的因果效应值、以及表征各单元特征间因果关系强烈程度的因果效应值;选择所获得因果效应值高于预设因果效应值的单元特征,作为所述第二特征。
36、本专利技术的一个实施例中,所述关系发现模块,具体用于:
37、对所述非结构化数据和各所得单元特征分别进行向量化表示,得到所述非结构化数据对应的第一表示向量和各所得单元特征分别对应的第二表示向量;基于因果发现算法,对所述第一表示向量和各第二表示向量进行处理,发现所述非结构化数据与所得单元特征间的因果关系。
38、本专利技术的一个实施例中,所述特征解耦模块,具体用于:
39、将所述第一特征与预设的单元特征库中的各个特征进行匹配,得到与所述第一特征相匹配的单元特征;根据所得的单元特征,获得所述第一特征对应的单元特征。
40、本专利技术的一个实施例中,所述任务处理模块,具体用于:
41、将第一特征和第二特征进行拼接,得到拼接特征;使用所述拼接特征对所述任务进行处理。
42、本专利技术的一个实施例中,所述特征提取模块,包括:
43、离散特征提取单元,用于提取所述非结构化数据的离散化特征,作为第一特征,其中,所述离散化特征包含实体特征、实体的属性特征、实体间的关系特征和实体发生的事件特征中的至少一种。
44、本专利技术的一个实施例中,所述特征提取模块,还包括:
45、特征类型确定单元,用于根据所述非结构化数据的格式类型,确定待提取离散化特征的特征类型;
46、所述离散特征提取单元,具体用于:
47、按照所确定的特征类型,提取所述非结构化数据的离散化特征,作为第一特征。
48、根据本专利技术实施例的另一方面,提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
49、存储器,用于存放计算机程序;
50、处理器,用于执行存储器上所存放的程序时,实现上述实施例中任一任务处理方法步骤。
51、根据本专利技术实施例的另一方面,提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一任务处理方法步骤。
52、由以上可见,应用本专利技术实施例提供的方案进行任务处理时,所使用的特征包括第一特征和第二特征,其中,第一特征是对非结构化数据进行特征提取得到的,这样在任务处理过程中可以参考非结构化数据的原始数据特点;第二特征本文档来自技高网...
【技术保护点】
1.一种任务处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述因果关系,从单元特征中选择用于进行任务处理的第二特征,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于因果发现算法,发现所述非结构化数据与所得单元特征间的因果关系,包括:
4.根据权利要求1所述的方法,其特征在于,所述对所述第一特征进行特征解耦处理,得到所述第一特征对应的单元特征,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一特征和第二特征,对所述任务进行处理,包括:
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述提取所述非结构化数据的第一特征,包括:
7.根据权利要求6所述的方法,其特征在于,在所述提取所述非结构化数据的离散化特征,作为第一特征之前,还包括:
8.一种任务处理装置,其特征在于,所述装置包括:
9.根据权利要求8所述的装置,其特征在于,
10.根据权利要求8所述的装置,其特征在于,
11.根据权利要求8
12.根据权利要求8所述的装置,其特征在于,
13.根据权利要求8-12中任一项所述的装置,其特征在于,所述特征提取模块,包括:
14.根据权利要求13所述的装置,其特征在于,所述特征提取模块,还包括:
15.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-7任一所述的方法步骤。
...【技术特征摘要】
1.一种任务处理方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述因果关系,从单元特征中选择用于进行任务处理的第二特征,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于因果发现算法,发现所述非结构化数据与所得单元特征间的因果关系,包括:
4.根据权利要求1所述的方法,其特征在于,所述对所述第一特征进行特征解耦处理,得到所述第一特征对应的单元特征,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一特征和第二特征,对所述任务进行处理,包括:
6.根据权利要求1-5中任一项所述的方法,其特征在于,所述提取所述非结构化数据的第一特征,包括:
7.根据权利要求6所述的方法,其特征在于,在所述提取所述非结构化数据的离散化特征,作为第一特征之前,还包括:...
【专利技术属性】
技术研发人员:谷红明,姚旭杨,胡婕,孙楚雄,
申请(专利权)人:中国电信股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。