System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及人工智能领域中的云计算、自然语言处理、深度学习等领域,尤其涉及一种数据处理方法、装置、设备、介质及产品。
技术介绍
1、poi(point of interest,信息点或者兴趣点)是电子地图中的点类数据,可以包括多种属性的信息例如,名称、地址、坐标、类别等。基于poi可以搭建poi标签分类模型、poi地址解析模型等不同任务的机器学习模型。
2、但是现有的这些基于poi搭建的机器学习模型支持单一任务处理,泛化能力较弱,对复杂信息的处理能力较差。
技术实现思路
1、本公开提供了一种用于执行多poi任务的数据处理方法、装置、设备、介质及产品。
2、根据本公开的第一方面,提供了一种数据处理方法,包括:
3、根据预先设置的多个poi任务类型,获取训练数据集,训练数据集包括与多个poi任务类型对应的多个训练样本;
4、确定待训练的poi生成模型,poi生成模型包括多个poi任务类型分别对应的任务处理模块;
5、利用训练数据集,对poi生成模型进行训练,获得训练获得的目标poi生成模型,目标poi生成模型使用多个poi任务类型分别对应的任务处理模块并行对待分析poi数据进行任务处理,获得任务处理结果。
6、根据本公开的第二方面,提供了一种数据处理方法,包括:
7、获取训练获得的目标poi生成模型,目标poi生成模型是基于第一方面的数据处理方法训练获得的,目标poi生成模型包括多个poi任务类型分别对应
8、通过目标poi生成模型中多个poi任务类型分别对应的任务处理模块并行对待分析poi数据进行任务处理,获得任务处理结果;
9、输出待分析poi数据的任务处理结果。
10、根据本公开的第三方面,提供了一种数据处理装置,包括:
11、获取单元,用于根据预先设置的多个poi任务类型,获取训练数据集,训练数据集包括与多个poi任务类型对应的多个训练样本;
12、确定单元,用于确定待训练的poi生成模型,poi生成模型包括多个poi任务类型分别对应的任务处理模块;
13、训练单元,用于利用训练数据集,对poi生成模型进行训练,获得训练获得的目标poi生成模型,目标poi生成模型使用多个poi任务类型分别对应的任务处理模块并行对待分析poi数据进行任务处理,获得任务处理结果。
14、根据本公开的第四方面,提供了一种数据处理装置,包括:
15、模型获取单元,用于获取训练获得的目标poi生成模型,目标poi生成模型是基于上述第一方面的数据处理方法训练获得的,目标poi生成模型包括多个poi任务类型分别对应的任务处理模块;
16、任务执行单元,用于通过目标poi生成模型中多个poi任务类型分别对应的任务处理模块,并行对待分析的poi数据进行任务处理,获得任务处理结果;
17、结果输出单元,用于输出待分析poi数据的任务处理结果。
18、根据本公开的第五方面,提供了一种电子设备,包括:
19、至少一个处理器;以及
20、与至少一个处理器通信连接的存储器;其中,
21、存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行第一方面或者第二方面的方法。
22、根据本公开的第六方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,计算机指令用于使计算机执行根据第一方面或第二方面的方法。
23、根据本公开的第七方面,提供了一种计算机程序产品,计算机程序产品包括:计算机程序,计算机程序存储在可读存储介质中,电子设备的至少一个处理器可以从可读存储介质读取计算机程序,至少一个处理器执行计算机程序使得电子设备执行第一方面或第二方面的方法。
24、根据本公开的技术可以根据预先设置的多个poi任务类型,获取训练数据集,使得该训练数据集包括与多个poi任务类型对应的多个训练样本。而确定待训练的poi生成模型,该poi生成模型包括多个poi任务分别对应的任务处理模块,通过训练数据集可以对poi生成模型进行训练,获得训练获得的目标poi生成模型。利用与多个poi任务类型对应的多个训练样本训练poi生成模型,训练获得的目标poi生成模型能够支持多个poi任务类型分别对应的任务处理模块的并行任务处理,提高目标poi生成模型的模型泛化能力,有效增强了目标poi生成模型对更复杂的待分析poi数据的能力,获得更准确的任务处理结果。
25、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
本文档来自技高网...【技术保护点】
1.一种数据处理方法,包括:
2.根据权利要求1所述的方法,其中,所述根据预先设置的多个POI任务类型,获取训练数据集,包括:
3.根据权利要求2所述的方法,其中,所述基于多个所述POI基础数据,获得所述训练数据集,包括:
4.根据权利要求3所述的方法,其中,所述通过有监督调整算法,对多个所述POI基础数据各自的初始标签进行调整,获得多个所述POI基础数据分别对应的目标标签,包括:
5.根据权利要求3或4所述的方法,其中,所述获取多个所述POI基础数据分别对应的初始标签,包括:
6.根据权利要求1-5任一项所述的方法,其中,所述利用所述训练数据集,对所述POI生成模型进行训练,获得训练获得的目标POI生成模型,包括:
7.根据权利要求1-6任一项所述的方法,其中,多个POI任务类型分别对应的任务处理模块包括标签分类模块、名称匹配模块、地址生成模块、信息抽取模块、地址解析模块、意图识别模块、生产辅导模块、内容理解模块、信息审核模块、地理编码模块、链指挂接模块、地址补全模块中的任意多个。
8.根据权利
9.根据权利要求8所述的方法,其中,所述根据所述测试数据集,对所述目标POI生成模型进行测试处理,获得所述目标POI生成模型的测试结果,包括:
10.根据权利要求9所述的方法,其中,所述根据多个所述测试POI基础数据分别对应的测试评分,计算所述测试数据集对应的测试总分,包括:
11.根据权利要求1-9任一项所述的方法,其中,所述确定待训练的POI生成模型,包括:
12.一种数据处理方法,包括:
13.一种数据处理装置,包括:
14.根据权利要求13所述的装置,其中,所述获取单元,包括:
15.根据权利要求14所述的装置,其中,所述训练获取模块,包括:
16.根据权利要求15所述的装置,其中,所述标签调整子模块,具体用于:
17.根据权利要求15或16所述的装置,其中,所述初始获取子模块,包括:
18.根据权利要求13-17任一项所述的装置,其中,所述训练单元,包括:
19.根据权利要求13-18任一项所述的装置,其中,多个POI任务类型分别对应的任务处理模块包括标签分类模块、名称匹配模块、地址生成模块、信息抽取模块、地址解析模块、意图识别模块、生产辅导模块、内容理解模块、信息审核模块、地理编码模块、链指挂接模块、地址补全模块中的任意多个。
20.根据权利要求13-19任一项所述的装置,还包括:
21.根据权利要求20所述的装置,其中,所述模型测试单元,包括:
22.根据权利要求21所述的装置,其中,所述结果确定模块,包括:
23.根据权利要求13-22任一项所述的装置,其中,所述确定单元,包括:
24.一种数据处理装置,包括:
25.一种电子设备,包括:
26.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使所述计算机执行根据权利要求1-11或12中任一项所述的方法。
27.一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现权利要求1-11或12中任一项所述方法的步骤。
...【技术特征摘要】
1.一种数据处理方法,包括:
2.根据权利要求1所述的方法,其中,所述根据预先设置的多个poi任务类型,获取训练数据集,包括:
3.根据权利要求2所述的方法,其中,所述基于多个所述poi基础数据,获得所述训练数据集,包括:
4.根据权利要求3所述的方法,其中,所述通过有监督调整算法,对多个所述poi基础数据各自的初始标签进行调整,获得多个所述poi基础数据分别对应的目标标签,包括:
5.根据权利要求3或4所述的方法,其中,所述获取多个所述poi基础数据分别对应的初始标签,包括:
6.根据权利要求1-5任一项所述的方法,其中,所述利用所述训练数据集,对所述poi生成模型进行训练,获得训练获得的目标poi生成模型,包括:
7.根据权利要求1-6任一项所述的方法,其中,多个poi任务类型分别对应的任务处理模块包括标签分类模块、名称匹配模块、地址生成模块、信息抽取模块、地址解析模块、意图识别模块、生产辅导模块、内容理解模块、信息审核模块、地理编码模块、链指挂接模块、地址补全模块中的任意多个。
8.根据权利要求1-7任一项所述的方法,其中,所述获得训练获得的目标poi生成模型之后,还包括:
9.根据权利要求8所述的方法,其中,所述根据所述测试数据集,对所述目标poi生成模型进行测试处理,获得所述目标poi生成模型的测试结果,包括:
10.根据权利要求9所述的方法,其中,所述根据多个所述测试poi基础数据分别对应的测试评分,计算所述测试数据集对应的测试总分,包括:
11.根据权利要求1-9任一项所述的方法,其中,所述确定待训练的poi生成模型,...
【专利技术属性】
技术研发人员:谢红伟,马小明,杨俊,宿玲玲,雷达,王鸣昊,韩恒克,
申请(专利权)人:阿波罗智联北京科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。