数据结转方法及系统技术方案

本发明专利技术公开了一种数据结转方法及系统，其中，所述方法包括：配置待结转数据的数据源信息和结转条件，其中，所述结转条件包括待结转数据表的起始主键ID和结束主键ID；对所述数据表分片，得到多个数据分片；采用多线程异步依次结转所述多个数据分片。所述系统包括配置模块，用于配置待结转数据的数据源信息和结转条件，其中，所述结转条件包括待结转数据表的起始主键ID和结束主键ID；分片模块；用于将所述数据表分片，得到多个数据分片；和多个结转模块，与所述分片模块连接，用于结转所述多个数据分片。本发明专利技术配置简单，结转方便，极大地简化了结转、备份的操作流程，并且，极大地提高了结转、备份的效率。

Data transfer method and system

The invention discloses a data structure and system, transfer method, the method includes: to transfer configuration data source information and transfer conditions, among them, the transfer conditions include transfer data table starting key ID and end key ID; the data table slice get more data points; in turn to the plurality of data slice with multi thread and asynchronous. The system includes a configuration module, used to configure the data source to transfer information and transfer conditions, among them, the transfer conditions include transfer data table starting key ID and end key ID; chip module; the data table slice from a number of data points; and a plurality of transfer module connected with the chip module, used to transfer the plurality of data slice. The invention has the advantages of simple configuration, convenient carryover, greatly simplifying the operation process of the switching and backup, and greatly improving the efficiency of the switching and backup.

【技术实现步骤摘要】
数据结转方法及系统
本专利技术涉及数据处理
，具体地说，涉及一种数据结转方法及系统。
技术介绍
对于大多数公司而言，随着公司高速地成长和规模不断地扩大，各种数据量也在疯狂地增长，存放数据的数据库表单容量达到上亿甚至几十亿的规模。如果从这么大数据量的表中查询出想要的数据，会是一个很慢的过程，甚至会导致数据库连接中断或无响应，更严重的会导致数据库崩溃，严重影响系统正常运行与用户体验。目前的解决方案主要有以下两种：分库分表：将数据库和数据表拆分成多个，把数据分摊到不同的库和表。手动结转：手动将数据转移到历史库。通过分析不同的业务场景，发现上述技术方案存在以下不足：针对分库分表，首先，由于代码的历史遗留问题，开发成本大。其次，历史数据和近期数据的耦合度不好。再有，维护成本大。关于手动结转，效率低、耗时长，并且成本大。
技术实现思路
本专利技术要解决的技术问题在于，针对现有技术的不足，提供一种数据结转方法及系统，用于高效率、低成本的完成数据结转。为解决上述技术问题，根据本专利技术的一个方面，本专利技术提供了一种数据结转方法，其中，包括：配置待结转数据的数据源信息和结转条件，其中，所述结转条件本文档来自技高网...

【技术保护点】
一种数据结转方法，其中，包括：配置待结转数据的数据源信息和结转条件，其中，所述结转条件包括待结转数据表的起始主键ID和结束主键ID；对所述数据表分片，得到多个数据分片；和采用多线程异步依次结转所述多个数据分片。

【技术特征摘要】
1.一种数据结转方法，其中，包括：配置待结转数据的数据源信息和结转条件，其中，所述结转条件包括待结转数据表的起始主键ID和结束主键ID；对所述数据表分片，得到多个数据分片；和采用多线程异步依次结转所述多个数据分片。2.如权利要求1所述的数据结转方法，其中，所述采用多线程异步结转所述多个数据分片的步骤包括：将每一个数据分片分割成多个子片；每一子片作为一个子片数据结转线程；多个子片数据结转线程并行执行；和当一个数据分片结转完成后，采用上述步骤执行下一个数据分片的结转，直到完成所有数据分片的结转。3.如权利要求2所述的数据结转方法，其中，在每一子片数据结转线程执行完之后还包括执行删除本子片数据的线程。4.如权利要求2或3所述的数据结转方法，其中，所述子片数据结转线程包括：根据所述数据源信息连接到源数据库；根据子片数据表的起始主键ID和结束主键ID，查询所述源数据库，得到待结转数据；将所述待结转数据转换成DLL格式的字符串；和将所述DLL格式的字符串压缩并上传到目标存储区。5.如权利要求4所述的数据结转方法，其中，所述将所述DLL格式的字符串压缩并上传到目标存储区的步骤包括：根据所述DLL格式的字符串生成字节输入流；创建字节输...

【专利技术属性】
技术研发人员：龙准，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11