一种数据处理方法、系统及服务器技术方案

本发明专利技术公开了一种数据处理方法，包括：获取流传输平台发送的数据流，其中，数据流由客户端的数据库中的原始数据表信息生成并发送至流传输平台；根据配置信息和字段信息创建与表标识一一对应的目标数据表，根据字段信息识别出每条记录信息的分区标识；根据分区标识将记录信息读取至对应的目标数据表中对应的分区中。本发明专利技术还公开一种数据处理系统及服务器，本发明专利技术可以实现数据库中的多表导入，且数据传输效率高。

A data processing method, system and server

The invention discloses a data processing method, which includes: acquiring the data flow sent by the stream transmission platform, wherein the data flow is generated by the original data table information in the database of the client and sent to the stream transmission platform; creating a target data table corresponding to the table identification according to the configuration information and the field information, and identifying the partition identification of each record information according to the field information; Read the record information to the corresponding partition in the corresponding target data table according to the partition ID. The invention also discloses a data processing system and a server, which can realize multi table import in a database, and has high data transmission efficiency.

【技术实现步骤摘要】
一种数据处理方法、系统及服务器
本专利技术涉及数据处理领域，尤其涉及一种数据处理方法、系统及服务器。
技术介绍
Sqoop是一个用来将关系型数据库和Hadoop中的数据进行相互转移的工具，可以将一个关系型数据库(例如MYSQL、Oracle)中的数据导入到Hadoop(例如HDFS、Hive、HBase)中，也可以将Hadoop(例如HDFS、Hive、HBase)中的数据导入到关系型数据库(例如MYSQL、Oracle)中。目前从数据库导入到Hive的主要技术是通过Sqoop框架导入，但是Sqoop导入到Hive只能单表导入，多表导入的功能还不支持，如需要多表导入，只能通过每个表配置一个Sqoop配置文件然后才能通过Sqoop导入到hive。一个系统中的数据库表有很多，如果每个表需要配置一个Sqoop，那么会耗费很长的时间来配置Sqoop，影响数据传输的效率。
技术实现思路
为了克服现有技术中多表导入的方式影响数据传输效率的问题，本专利技术的目的在于提供一种数据处理方法、系统及服务器。为实现上述目的，本专利本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：/n获取流传输平台发送的数据流，其中，所述数据流由客户端的数据库中的原始数据表信息生成并发送至所述流传输平台，所述原始数据表信息包括数据库的配置信息、原始数据表的表标识、字段信息和记录信息，所述数据库包括若干原始数据表和所述表标识，所述原始数据表包括若干条记录信息，每条所述记录信息包括与所述字段信息一一对应的数据记录；/n根据所述配置信息和所述字段信息创建与所述表标识一一对应的目标数据表，其中，所述目标数据表包括若干分区；/n根据所述字段信息识别出每条所述记录信息的分区标识；/n根据所述分区标识将所述记录信息读取至对应的目标数据表中对应的分区中。...

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：
获取流传输平台发送的数据流，其中，所述数据流由客户端的数据库中的原始数据表信息生成并发送至所述流传输平台，所述原始数据表信息包括数据库的配置信息、原始数据表的表标识、字段信息和记录信息，所述数据库包括若干原始数据表和所述表标识，所述原始数据表包括若干条记录信息，每条所述记录信息包括与所述字段信息一一对应的数据记录；
根据所述配置信息和所述字段信息创建与所述表标识一一对应的目标数据表，其中，所述目标数据表包括若干分区；
根据所述字段信息识别出每条所述记录信息的分区标识；
根据所述分区标识将所述记录信息读取至对应的目标数据表中对应的分区中。


2.如权利要求1所述的数据处理方法，其特征在于，所述根据所述配置信息和所述字段信息创建与所述表标识一一对应的目标数据表之前，所述方法还包括：
判断是否存在与所述表标识对应的目标数据表；
若不存在，则根据所述配置信息和所述字段信息创建与所述表标识一一对应的目标数据表。


3.如权利要求1所述的数据处理方法，其特征在于，所述根据所述字段信息识别出每条所述记录信息的分区标识，具体包括：
读取所述字段信息中的日期字段；
将每条所述记录信息中与所述日期字段对应的数据记录作为所述分区标识。


4.如权利要求3所述的数据处理方法，其特征在于，所述将每条所述记录信息中与所述日期字段对应的数据记录作为所述分区标识，具体包括：
识别出每条所述记录信息中与所述日期字段对应的数据记录；
将与当前日期最接近的数据记录作为所述分区标识。


5.如权利要求1所述的数据处理方法，其特征在于，所述方法还包括：
判断是否获取到所述数据流；
若未获取到所述数据流，在预设时...

【专利技术属性】
技术研发人员：王乐维，努力曼·阿布拉，周毅，
申请(专利权)人：深圳中琛源科技股份有限公司，
类型：发明
国别省市：广东;44