【技术实现步骤摘要】
本专利技术涉及一种数据库技术，特别涉及一种从内存数据库增量同步海量数据到传统数据库方法及系统。
技术介绍
1、内存数据库是一种将数据存储在内存中的数据库，具有高速读写、低延迟、高并发等优点，适用于实时性要求高的场景，如金融交易、电商秒杀、社交网络等。传统数据库是一种将数据存储在硬盘中的数据库，具有稳定性高、成本低、容量大等优点，适用于长期存储和分析的场景，如数据仓库、数据挖掘、报表系统等。在实际应用中，往往需要将内存数据库中的数据同步到传统数据库中，以实现数据的备份、分析和共享。
2、目前，从内存数据库同步数据到传统数据库的常用方法有以下几种：
3、(1)全量同步：即每次同步时将内存数据库中的所有数据都复制到传统数据库中。这种方法的优点是简单易实现，同步后两个数据库中的数据完全一致。但是，这种方法的缺点是效率低下，同步时间长，占用大量的网络和存储资源，同时也会影响内存数据库和传统数据库的正常运行。
4、(2)增量同步：即每次同步时只将内存数据库中新增或修改的数据复制到传统数据库中。这种方法的优点是效率高，同步时间短，节省网络和存储资源，同时也减少了对内存数据库和传统数据库的干扰。但是，这种方法的缺点是需要在内存数据库中记录每条数据的变更状态(如新增、修改或删除)，这会增加内存数据库的维护成本和复杂度。
5、(3)日志同步：即每次同步时根据内存数据库产生的操作日志来更新传统数据库中的数据。这种方法的优点是不需要在内存数据库中记录每条数据的变更状态，同时也能保证两个数据库中的数据一致性
6、综上所述，现有技术中从内存数据库同步数据到传统数据库的方法都存在一定的问题和不足，因此需要提出一种新的方法来解决这些问题。
技术实现思路
1、针对内存数据库与传统数据库同步方案存在的问题，提出了一种从内存数据库增量同步海量数据到传统数据库方法及系统，保证两个数据库中的数据一致性和完整性。
2、本专利技术的技术方案为：一种从内存数据库增量同步海量数据到传统数据库方法，利用定时中断，提取内存数据库和传统数据库同时间段的数据，进行dm5值计算，如计算结果相等，则内存数据库和传统数据库实现同步增量，如计算结果不相同，则进行逐条数据dm5计算，识别丢失数据和错误数据，对差异的数据进行增量落库，实现同步任务。
3、进一步，所述定时中断：设置同步时间间隔t，并在每个时间间隔点触发同步任务。
4、进一步，所述进行dm5值计算：从内存数据库和传统数据库取t时间间隔点前后相同时间范围的数据，分别计算内存数据库和传统数据库内这些数据的总md5值，分别为m1和m2。
5、进一步，所述逐条数据dm5计算：对内存数据库和传统数据库中t时间间隔点前后相同时间范围内的每条数据进行md5值计算，分别为d1和d2。
6、一种两个以上数据库同步增量方法，执行同步任务，计算同一时间段中总数据的dm5值，对比计算所得到的dm5值是否相同，判断数据同步一致性。
7、一种从内存数据库增量同步海量数据到传统数据库系统，包括内存数据库服务器、传统数据库服务器和同步服务器；
8、所述内存数据库服务器：用于存储海量数据，在同步服务器请求指令下，并发内存数据至同步服务器；
9、所述传统数据库服务器：用于存储海量数据，在同步服务器请求指令下，并发传统数据至同步服务器或接收同步增量数据；
10、所述同步服务器：用于执行同步任务，包括从内存数据库和传统数据库取数据、计算md5值、比较md5值、增量落库。
11、一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现所述从内存数据库增量同步海量数据到传统数据库方法。
12、一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述从内存数据库增量同步海量数据到传统数据库方法。
13、一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现所述从内存数据库增量同步海量数据到传统数据库方法。
14、本专利技术的有益效果在于：本专利技术从内存数据库增量同步海量数据到传统数据库方法及系统，通过使用md5值来比较两个数据库中的数据是否有差异，避免了全量同步或日志同步所带来的网络和存储资源的浪费，提高了同步效率和性能；通过使用md5值来比较每条数据是否有差异，避免了增量同步所需在内存数据库中记录每条数据的变更状态，降低了内存数据库的维护成本和复杂度；通过使用md5值来保证两个数据库中的数据一致性和完整性，避免了由于网络延迟、故障恢复、并发冲突等原因导致的数据丢失或错误，提高了数据质量和可靠性。
本文档来自技高网...【技术保护点】
1.一种从内存数据库增量同步海量数据到传统数据库方法，其特征在于，利用定时中断，提取内存数据库和传统数据库同时间段的数据，进行DM5值计算，如计算结果相等，则内存数据库和传统数据库实现同步增量，如计算结果不相同，则进行逐条数据DM5计算，识别丢失数据和错误数据，对差异的数据进行增量落库，实现同步任务。
2.根据权利要求1所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述定时中断：设置同步时间间隔T，并在每个时间间隔点触发同步任务。
3.根据权利要求2所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述进行DM5值计算：从内存数据库和传统数据库取T时间间隔点前后相同时间范围的数据，分别计算内存数据库和传统数据库内这些数据的总MD5值，分别为M1和M2。
4.根据权利要求2所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述逐条数据DM5计算：对内存数据库和传统数据库中T时间间隔点前后相同时间范围内的每条数据进行MD5值计算，分别为D1和D2。
5.一种两个以上数据库同步增量方法，其特征在于，
6.一种从内存数据库增量同步海量数据到传统数据库系统，其特征在于，包括内存数据库服务器、传统数据库服务器和同步服务器；
7.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
9.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法。
...【技术特征摘要】
1.一种从内存数据库增量同步海量数据到传统数据库方法，其特征在于，利用定时中断，提取内存数据库和传统数据库同时间段的数据，进行dm5值计算，如计算结果相等，则内存数据库和传统数据库实现同步增量，如计算结果不相同，则进行逐条数据dm5计算，识别丢失数据和错误数据，对差异的数据进行增量落库，实现同步任务。
2.根据权利要求1所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述定时中断：设置同步时间间隔t，并在每个时间间隔点触发同步任务。
3.根据权利要求2所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述进行dm5值计算：从内存数据库和传统数据库取t时间间隔点前后相同时间范围的数据，分别计算内存数据库和传统数据库内这些数据的总md5值，分别为m1和m2。
4.根据权利要求2所述从内存数据库增量同步海量数据到传统数据库方法，其特征在于，所述逐条数据dm5计算：对...
【专利技术属性】
技术研发人员：周立，费雨霏，张晓天，
申请(专利权)人：上海万得征信服务有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。