【技术实现步骤摘要】
本专利技术涉及数据处理,尤其是涉及一种数据采集方法、装置及电子设备。
技术介绍
1、随着互联网信息技术飞速发展,数字经济与实体经济不断融合,企业信息化与政务信息化建设深入推进,各行各业已逐渐步入大数据时代。数据资源是起点,数据资产是终点,让大量的数据变得可控制、可变现、可度量,从而形成数据资产,就涉及到大数据的采、存、管、用整个链路。其中,数据采集的目的是为了数据应用。数据采集,是数据分析和应用的首要环节。相关技术中的数据采集方法,往往是以固定采集策略为主,采集策略欠缺灵活性,降低了数据采集的效率。
技术实现思路
1、本专利技术的目的在于提供一种数据采集方法、装置及电子设备,以提高数据采集的灵活性和采集效率。
2、本专利技术提供的一种数据采集方法,方法包括:获取预先创建的针对待采集数据的至少一个变量映射表;其中,每个变量映射表包括第一变量名和与第一变量名绑定的变量表;变量表中包括至少一个与待采集数据相关联的变量值;基于每个变量映射表创建待采集数据对应的采集任务;其中,采集任务中
...【技术保护点】
1.一种数据采集方法,其特征在于,所述方法包括:
2.根据权利要求1所述的数据采集方法,其特征在于,每个所述变量映射表通过以下方式创建:
3.根据权利要求1所述的数据采集方法,其特征在于,基于每个所述变量映射表创建所述待采集数据对应的采集任务的步骤包括:
4.根据权利要求3所述的数据采集方法,其特征在于,运行所述采集任务,以根据每个所述变量名信息,以及与每个所述第一变量名绑定的变量表中的所述变量值,从预设数据源中采集所述待采集数据的步骤包括:
5.根据权利要求1所述的数据采集方法,其特征在于,所述方法还包括:
【技术特征摘要】
1.一种数据采集方法,其特征在于,所述方法包括:
2.根据权利要求1所述的数据采集方法,其特征在于,每个所述变量映射表通过以下方式创建:
3.根据权利要求1所述的数据采集方法,其特征在于,基于每个所述变量映射表创建所述待采集数据对应的采集任务的步骤包括:
4.根据权利要求3所述的数据采集方法,其特征在于,运行所述采集任务,以根据每个所述变量名信息,以及与每个所述第一变量名绑定的变量表中的所述变量值,从预设数据源中采集所述待采集数据的步骤包括:
5.根据权利要求1所述的数据采集方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的数据采集方法,...
【专利技术属性】
技术研发人员:万聪,马超,宋昆,罗钰,李洁薇,李真珍,张晓庆,周春雨,张学文,刘丽娟,苗迪,
申请(专利权)人:首都信息发展股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。