【技术实现步骤摘要】
本专利技术涉及数据采集，尤其涉及一种数据采集方法、装置、电子设备和存储介质。
技术介绍
1、近年来，随着数据使用场景不断丰富，对于采集数据的准确性和时效性的要求也在不断提高。
2、传统数据的数据采集方式依靠大量的人工操作，从文件的获取、文件的阅读、信息的复制以及质量的检核，需要多岗的人工实现，采集效率较低，在采集流程中繁琐复杂的各个环节，存在着巨大的操作风险，这些风险直接影响着数据采集结果的准确性与下游数据应用的使用效果，并且对于采集工作的质量及人工组织的管理都需要较大的成本给予保障。
技术实现思路
1、本专利技术提供一种数据采集方法、装置、电子设备和存储介质，用以解决现有技术中采集效率低且管理成本高的缺陷，实现数据的自动采集，从而提高采集效率，降低人员管理成本。
2、本专利技术提供一种数据采集方法，包括：
3、确定至少一条采集任务；
4、调用各所述采集任务对应的采集模板，所述采集模板为基于模板配置指令生成的，或为基于所述采集任务对应的采集项目生成的；
5、针对各所述采集模板，从所述采集模板对应的数据源处进行目标数据的采集，并将所述目标数据填写入所述采集模板；
6、将填写后的采集模板发送至复核人员对应的客户终端，并在接收到所述客户终端发送的复核通过指令后，将所述填写后的采集模板中的目标数据存储至采集数据库。
7、根据本专利技术提供的一种数据采集方法，所述从所述采集模板对应的数据源处进行目标数据的采集
8、从所述数据源处进行目标数据的采集，对所述目标数据进行初次校验，确定所述目标数据是否符合所述采集模板中各字段的预设字段信息，所述预设字段信息至少包括字段类型信息和字段是否唯一信息；
9、在所述目标数据符合所述预设字段信息时，将所述目标数据填写入所述采集模板中的对应字段。
10、根据本专利技术提供的一种数据采集方法，所述从所述数据源处进行目标数据的采集，包括：
11、当所述数据源处的目标数据为非结构化数据时，调用非结构化数据对应的识别模型对所述目标数据进行识别抓取，以采集所述目标数据。
12、根据本专利技术提供的一种数据采集方法，所述将填写后的采集模板发送至复核人员对应的客户终端之前，还包括：
13、确定所述采集模板中是否存在需要人工采集的字段，当存在时基于采集人员的操作指令填写对应字段。
14、根据本专利技术提供的一种数据采集方法，所述将填写后的采集模板发送至复核人员对应的客户终端，包括：
15、基于预设规则对所述填写后的采集模板进行二次校验，在二次校验通过后将所述填写后的采集模板发送至所述客户终端，所述预设规则为基于采集项目的采集需求预先设定的。
16、根据本专利技术提供的一种数据采集方法，所述采集数据库包括初始库表、副本表和目标表，所述初始库表用于存储初始采集的目标数据，所述副本表用于存储待复核的目标数据，所述目标表用于存储复核后的目标数据；
17、所述副本表与所述目标表为保存所述初始库表时映射生成的，所述初始库表为基于用户的配置生成的，所述副本表中的字段信息和所述目标表中的字段信息均与所述初始库表中的字段信息相同；
18、所述方法还包括：
19、当确定所述目标表需要同步至数据仓库时，在所述目标表的各字段的数据存储完成的情况下，将所述目标表同步至所述数据仓库。
20、根据本专利技术提供的一种数据采集方法，所述确定至少一条采集任务之前，还包括：
21、输出配置界面，所述配置界面包括多个配置组件；
22、响应配置指令，确定目标配置内容，所述目标配置内容包括所述采集模板、所述预设规则和所述初始库表。
23、本专利技术还提供一种数据采集装置，包括：
24、确定模块，用于确定至少一条采集任务；
25、调用模块，用于调用各所述采集任务对应的采集模板，所述采集模板为基于模板配置指令生成的，或为基于所述采集任务对应的采集项目生成的；
26、采集模块，用于针对各所述采集模板，从所述采集模板对应的数据源处进行目标数据的采集，并将所述目标数据填写入所述采集模板；
27、保存模块，用于将填写后的采集模板发送至复核人员对应的客户终端，并在接收到所述客户终端发送的复核通过指令后，将所述填写后的采集模板中的目标数据存储至采集数据库。
28、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述数据采集方法。
29、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述数据采集方法。
30、本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述数据采集方法。
31、本专利技术提供的数据采集方法、装置、电子设备和存储介质，通过确定采集任务，调用采集任务对应的采集模板，针对各采集模板从对应的数据源处进行目标数据的自动采集，采集后将目标数据填写入采集模板，并在复核人员复核通过后将填写后的采集模板中的目标数据存储至采集数据库中，从而实现数据的自动采集，降低人员管理成本。
本文档来自技高网...【技术保护点】
1.一种数据采集方法，其特征在于，包括：
2.根据权利要求1所述的数据采集方法，其特征在于，所述从所述采集模板对应的数据源处进行目标数据的采集，并将所述目标数据填写入所述采集模板，包括：
3.根据权利要求2所述的数据采集方法，其特征在于，所述从所述数据源处进行目标数据的采集，包括：
4.根据权利要求1所述的数据采集方法，其特征在于，所述将填写后的采集模板发送至复核人员对应的客户终端之前，还包括：
5.根据权利要求1所述的数据采集方法，其特征在于，所述将填写后的采集模板发送至复核人员对应的客户终端，包括：
6.根据权利要求5所述的数据采集方法，其特征在于，所述采集数据库包括初始库表、副本表和目标表，所述初始库表用于存储初始采集的目标数据，所述副本表用于存储待复核的目标数据，所述目标表用于存储复核后的目标数据；
7.根据权利要求6所述的数据采集方法，其特征在于，所述确定至少一条采集任务之前，还包括：
8.一种数据采集装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述数据采集方法。
...【技术特征摘要】
1.一种数据采集方法，其特征在于，包括：
2.根据权利要求1所述的数据采集方法，其特征在于，所述从所述采集模板对应的数据源处进行目标数据的采集，并将所述目标数据填写入所述采集模板，包括：
3.根据权利要求2所述的数据采集方法，其特征在于，所述从所述数据源处进行目标数据的采集，包括：
4.根据权利要求1所述的数据采集方法，其特征在于，所述将填写后的采集模板发送至复核人员对应的客户终端之前，还包括：
5.根据权利要求1所述的数据采集方法，其特征在于，所述将填写后的采集模板发送至复核人员对应的客户终端，包括：
6.根据权利要求5所述的数据采集方法，其特征在于，所述采集数据库包括...
【专利技术属性】
技术研发人员：王守任，付龙，刘磊，叶佳蕊，薛茜，陈润，吕琦，
申请(专利权)人：中债金融估值中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。