数据采集方法、装置及电子装置、计算机程序产品制造方法及图纸

本申请提出了一种数据采集方法，包括：前端向后端发送根据目标数据文件生成的注册数据包，其中注册数据包至少包括目标数据库的标识信息、目标数据表的表名以及多条目标数据；后端获取注册数据包，并根据注册数据包在目标数据库中建立目标数据表，将所有目标数据分为多个数据组，并将每一数据组分配给消息队列中的不同消息，根据每一消息的消息编号将该消息分配给消费者集群中对应的消费者，每一消费者将消息内的数据组导入目标数据表。该方法在保证导入数据准确性的同时，采用多线程批量导入的形式，将庞大数量的数据化整为零地将所有数据导入目标数据库。据导入目标数据库。据导入目标数据库。

【技术实现步骤摘要】
数据采集方法、装置及电子装置、计算机程序产品


[0001]本申请涉及数据处理领域，特别是涉及一种数据采集方法、装置及电子装置、计算机程序产品。

技术介绍

[0002]数据库主要分为传统的关系型数据库和非关系型数据库，新型数据库以及分布式数据库等。在将数据输入数据库时，通常需要编写相应的SQL脚本实现数据写入，对于不具备数据库语言基础的非专业人员来说，完成该操作是有一定难度的。
[0003]随着开发场景的增加，开发中使用到的数据源也各有不同，对每一种数据源实现数据采集需要掌握的数据库语言也不同。例如，现存在多种将Excel文件中的数据导入数据库的方法，但这些方法使用范围有限，且对于不同类型的Excel文件、不同排列方式的Excel表格以及数据库对不同数据格式的要求，需要编写的SQL脚本均不相同。采用人工手动录入数据或者根据每一条数据编写对应的SQL脚本，所需要的时间成本和人工成本极高，并且存在人工录入数据错误的可能性。
[0004]另外，一次性导入庞大数量的数据可能会给系统以及数据库造成过载负担，在导入庞大数量的数据时通常使用线程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.数据采集方法，其特征在于，包括以下步骤：前端向后端发送根据目标数据文件生成的注册数据包，其中所述注册数据包至少包括目标数据库的标识信息、目标数据表的表名以及多条目标数据；后端获取所述注册数据包，并根据所述注册数据包在所述目标数据库中建立所述目标数据表，将所有所述目标数据分为多个数据组，并将每一所述数据组分配给消息队列中的不同消息，根据每一所述消息的消息编号将该消息分配给消费者集群中对应的消费者，每一所述消费者将所述消息内的所述数据组导入所述目标数据表。2.根据权利要求1所述的数据采集方法，其特征在于，在“前端向后端发送根据目标数据文件生成的注册数据包”前，包括步骤：前端向后端发送包括目标文件标识的查询请求；后端获取所述查询请求，并根据所述目标文件标识获取目标数据文件，解析所述目标数据文件得到响应信息，所述响应信息至少包括多条所述目标数据、至少一表头、每一所述表头的数据类型、根据每一所述表头生成的字段以及根据每一所述表头的数据类型生成的字段类型；前端根据所述响应信息渲染可视化页面，在所述可视化页面上可设置所述目标数据库的标识信息和所述目标数据表的表名，以及可调整每一所述表头对应的所述字段、每一所述表头的数据类型对应的所述字段类型。3.根据权利要求1所述的数据采集方法，其特征在于，所述目标数据文件包括多条所述目标数据、至少一所述表头以及对应每一所述表头的数据类型，每一所述目标数据包括至少一对应所述表头的元数据，同一所述目标数据中的不同所述元数据对应不同所述表头。4.根据权利要求3所述的数据采集方法，其特征在于，所述注册数据包还包括：每一所述表头对应的字段、每一所述表头的数据类型对应的字段类型。5.根据权利要求1所述的数据采集方法，其特征在于，“将每一所述数据组分配给消息队列中...

【专利技术属性】
技术研发人员：徐剑炯，孙莹婕，林加旺，倪林杰，黄红叶，
申请(专利权)人：城云科技中国有限公司，
类型：发明
国别省市：