数据同步方法、装置和计算机可读存储介质制造方法及图纸

本发明专利技术实施例提供的数据同步方法、装置和计算机可读存储介质，涉及数据库领域，用于将数据同步至两种类型不同的数据库，所述方法包括：获取第一数据库中的待同步数据，将待同步数据写入缓冲池中，每隔预定时间判断缓冲池中的待同步数据的数量是否达到预定阈值，若是，则将缓冲池中的待同步数据批量加载至第二数据库；通过缓冲池暂时存放数据，当缓冲池中的待同步数据的数量达到预定阈值时，利用数据库协处理器将待同步数据批量加载至第二数据库，保证了不同数据库的数据的一致性和同步数据的实时性，同时也避免了数据丢失或数据冲突。

Data synchronization method, device and computer readable storage medium

【技术实现步骤摘要】
数据同步方法、装置和计算机可读存储介质
本专利技术涉及数据库领域，具体而言，涉及一种数据同步方法、装置和计算机可读存储介质。
技术介绍
互联网时代各种存储框架层出不穷，比如传统的关系型数据库：Oracle、MySQL，新兴的NoSQL:HBase、Cassandra、Redis，全文检索框架:ES(ElasticSearch)、Solr等。在实际生产过程中，通常将数据存放两份，分别写入HBase和ES；这样容易导致数据丢失或数据冲突，无法保证数据一致性问题，也无法满足数据实时性要求。基于上述问题，亟需一种能保证不同数据库的数据一致的数据同步方法。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种数据同步方法、装置和计算机可读存储介质。为了实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供一种数据同步方法，用于将数据同步至两种类型不同的数据库，包括：获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中；每隔预定时间判断所述缓冲池中的所述待同本文档来自技高网...

【技术保护点】
1.一种数据同步方法，用于将数据同步至两种类型不同的数据库，其特征在于，包括：/n获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中；/n每隔预定时间判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值；若是，则将所述缓冲池中的所述待同步数据批量加载至第二数据库。/n

【技术特征摘要】
1.一种数据同步方法，用于将数据同步至两种类型不同的数据库，其特征在于，包括：
获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中；
每隔预定时间判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值；若是，则将所述缓冲池中的所述待同步数据批量加载至第二数据库。


2.根据权利要求1所述的方法，其特征在于，所述将所述缓冲池中的所述待同步数据批量加载至第二数据库的步骤之后，包括：
清空所述缓冲池中的所述待同步数据。


3.根据权利要求1所述的方法，其特征在于，所述获取第一数据库中的待同步数据，将所述待同步数据写入缓冲池中的步骤，包括：
创建数据写入线程；所述写入线程包括写入事件；
通过触发所述写入事件将待同步数据写入缓冲池中。


4.根据权利要求1所述的方法，其特征在于，所述判断所述缓冲池中的所述待同步数据的数量是否达到预定阈值的步骤，包括：
创建数据同步线程；
每隔预定时间执行一次所述数据同步线程；所述数据同步线程用于判断所述缓冲池中的所述待同步数据是否达到预定阈值。


5.一种数据同步装置，用于将数据同步至两种...

【专利技术属性】
技术研发人员：乔智，张斌，孙军锋，
申请(专利权)人：秒针信息技术有限公司，
类型：发明
国别省市：北京;11