数据采集方法、装置及电子设备制造方法及图纸

技术编号:40002200 阅读:33 留言:0更新日期:2024-01-09 03:56
本发明专利技术提供了一种数据采集方法、装置及电子设备,获取针对待采集数据的至少一个变量映射表;其中,每个变量映射表包括第一变量名和与第一变量名绑定的变量表;变量表中包括至少一个与待采集数据相关联的变量值;基于每个变量映射表创建待采集数据对应的采集任务;其中,采集任务中携带有与每个第一变量名相关联的变量名信息;运行采集任务,以根据每个变量名信息,以及与每个第一变量名绑定的变量表中的变量值,从预设数据源中采集待采集数据。该方式可以根据待采集数据灵活设置变量表中的变量值,进而创建采集任务,在执行采集任务时,即可根据第一变量名相关联的变量名信息及变量表中的变量值实现对待采集数据的采集,提高了数据采集的效率。

【技术实现步骤摘要】

本专利技术涉及数据处理,尤其是涉及一种数据采集方法、装置及电子设备


技术介绍

1、随着互联网信息技术飞速发展,数字经济与实体经济不断融合,企业信息化与政务信息化建设深入推进,各行各业已逐渐步入大数据时代。数据资源是起点,数据资产是终点,让大量的数据变得可控制、可变现、可度量,从而形成数据资产,就涉及到大数据的采、存、管、用整个链路。其中,数据采集的目的是为了数据应用。数据采集,是数据分析和应用的首要环节。相关技术中的数据采集方法,往往是以固定采集策略为主,采集策略欠缺灵活性,降低了数据采集的效率。


技术实现思路

1、本专利技术的目的在于提供一种数据采集方法、装置及电子设备,以提高数据采集的灵活性和采集效率。

2、本专利技术提供的一种数据采集方法,方法包括:获取预先创建的针对待采集数据的至少一个变量映射表;其中,每个变量映射表包括第一变量名和与第一变量名绑定的变量表;变量表中包括至少一个与待采集数据相关联的变量值;基于每个变量映射表创建待采集数据对应的采集任务;其中,采集任务中携带有与每个第一变量本文档来自技高网...

【技术保护点】

1.一种数据采集方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据采集方法,其特征在于,每个所述变量映射表通过以下方式创建:

3.根据权利要求1所述的数据采集方法,其特征在于,基于每个所述变量映射表创建所述待采集数据对应的采集任务的步骤包括:

4.根据权利要求3所述的数据采集方法,其特征在于,运行所述采集任务,以根据每个所述变量名信息,以及与每个所述第一变量名绑定的变量表中的所述变量值,从预设数据源中采集所述待采集数据的步骤包括:

5.根据权利要求1所述的数据采集方法,其特征在于,所述方法还包括:

>6.根据权利要求5...

【技术特征摘要】

1.一种数据采集方法,其特征在于,所述方法包括:

2.根据权利要求1所述的数据采集方法,其特征在于,每个所述变量映射表通过以下方式创建:

3.根据权利要求1所述的数据采集方法,其特征在于,基于每个所述变量映射表创建所述待采集数据对应的采集任务的步骤包括:

4.根据权利要求3所述的数据采集方法,其特征在于,运行所述采集任务,以根据每个所述变量名信息,以及与每个所述第一变量名绑定的变量表中的所述变量值,从预设数据源中采集所述待采集数据的步骤包括:

5.根据权利要求1所述的数据采集方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的数据采集方法,...

【专利技术属性】
技术研发人员:万聪马超宋昆罗钰李洁薇李真珍张晓庆周春雨张学文刘丽娟苗迪
申请(专利权)人:首都信息发展股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1