从内存数据库增量同步海量数据到传统数据库方法及系统技术方案

本发明专利技术涉及一种从内存数据库增量同步海量数据到传统数据库方法，利用定时中断，提取内存数据库和传统数据库同时间段的数据，进行DM5值计算，如计算结果相等，则内存数据库和传统数据库实现同步增量，如计算结果不相同，则进行逐条数据DM5计算，识别丢失数据和错误数据，对差异的数据进行增量落库，实现同步任务。通过使用md5值来比较两个数据库中的数据是否有差异，避免了全量同步或日志同步所带来的网络和存储资源的浪费，提高了同步效率和性能；避免了增量同步所需在内存数据库中记录每条数据的变更状态，降低了内存数据库的维护成本和复杂度；避免了由于网络延迟、故障恢复、并发冲突等原因导致的数据丢失或错误，提高了数据质量和可靠性。

【技术实现步骤摘要】

本专利技术涉及一种数据库技术，特别涉及一种从内存数据库增量同步海量数据到传统数据库方法及系统。

技术介绍

1、内存数据库是一种将数据存储在内存中的数据库，具有高速读写、低延迟、高并发等优点，适用于实时性要求高的场景，如金融交易、电商秒杀、社交网络等。传统数据库是一种将数据存储在硬盘中的数据库，具有稳定性高、成本低、容量大等优点，适用于长期存储和分析的场景，如数据仓库、数据挖掘、报表系统等。在实际应用中，往往需要将内存数据库中的数据同步到传统数据库中，以实现数据的备份、分析和共享。

2、目前，从内存数据库同步数据到传统数据库的常用方法有以下几种：

3、(1)全量同步：即每次同步时将内存数据库中的所有数据都复制到传统数据库中。这种方法的优点是简单易实现，同步后两个数据库中的数据完全一致。但是，这种方法的缺点是效率低下，同步时间长，占用大量的网络和存储资源，同时也会影响内存数据库和传统数据库的正常运行。

4、(2)增量同步：即每次同步时只将内存数据库中新增或修改的数据复制到传统数据库中。这种方法的优点是效率高，同步时间短，节省本文档来自技高网...

【技术保护点】

1.一种从内存数据库增量同步海量数据到传统数据库方法，其特征在于，利用定时中断，提取内存数据库和传统数据库同时间段的数据，进行DM5值计算，如计算结果相等，则内存数据库和传统数据库实现同步增量，如计算结果不相同，则进行逐条数据DM5计算，识别丢失数据和错误数据，对差异的数据进行增量落库，实现同步任务。

2.根据权利要求1所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述定时中断：设置同步时间间隔T，并在每个时间间隔点触发同步任务。

3.根据权利要求2所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述进行DM5值计算：从内存数据库和传...

【技术特征摘要】

1.一种从内存数据库增量同步海量数据到传统数据库方法，其特征在于，利用定时中断，提取内存数据库和传统数据库同时间段的数据，进行dm5值计算，如计算结果相等，则内存数据库和传统数据库实现同步增量，如计算结果不相同，则进行逐条数据dm5计算，识别丢失数据和错误数据，对差异的数据进行增量落库，实现同步任务。

2.根据权利要求1所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述定时中断：设置同步时间间隔t，并在每个时间间隔点触发同步任务。

3.根据权利要求2所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述进行dm5值计算：从内存数据库和传统数据库取t时间间隔点前后相同时间范围的数据，分别计算内存数据库和传统数据库内这些数据的总md5值，分别为m1和m2。

4.根据权利要求2所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述逐条数据dm5计算：对...

【专利技术属性】
技术研发人员：周立，费雨霏，张晓天，
申请(专利权)人：上海万得征信服务有限公司，
类型：发明
国别省市：