一种数据同步方法及系统技术方案

技术编号:39981976 阅读:29 留言:0更新日期:2024-01-09 01:36
本发明专利技术涉及数据处理技术领域,公开一种数据同步方法及系统,该方法包括:对源数据库进行分析,确定源数据库的数据表模板,并将所述数据表模板同步至目标数据库;获取源数据库中的待同步数据,并根据待同步数据,生成二进制数据日志;通过数据流方式读取并转换所述二进制数据日志,得到对应的数据字符串;并通过多线程批量插入法将所述数据字符串插入至所述目标数据库的数据表模板中。本发明专利技术通过将源数据库中的数据生成二进制数据日志,进而保证了数据插入时语句的准确性,而通过多线程批量插入则保证了数据存储的效率。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别涉及一种数据同步方法及系统


技术介绍

1、目前,传统的数据同步方法是将数据库中的待同步数据同步至目标存储介质中,数据同步系统中的监听模块负责监听数据库中的日志文件的变化,当数据库中的日志文件存在变化时,数据获取模块接收变化事件并将变化事件传输至数据加载模块,数据加载模块将接收到的数据加载至目标存储介质中。为保证加载至目标存储介质中的数据能够准确无误地被加载,通常设置数据获取模块的数量为一个,如此,数据获取模块按照一定的顺序将多个变化事件中的各个变化事件进行逐一加载。

2、然后,由于数据获取模块的数量有限性,相关技术中的这种数据同步方法比较适合于变化数据较少的应用场景,对于变化数据较多的应用场景,其并不适合。

3、因此,如何提供一种能够满足变化数据多的数据同步方法和校验机制,是目前亟待解决的问题。


技术实现思路

1、本专利技术提供了一种数据同步方法及系统,以解决现有技术中的上述技术问题。

2、本专利技术的技术方案是这样实现的:

3、根本文档来自技高网...

【技术保护点】

1.一种数据同步方法,其特征在于,包括:

2.根据权利要求1所述的数据同步方法,其特征在于,在对数据字符串进行多线程批量插入时,以预定数量的数据条数为循环周期进行数据插入。

3.根据权利要求2所述的数据同步方法,其特征在于,所述预定数量为一千条。

4.根据权利要求2所述的数据同步方法,其特征在于,还包括:

5.根据权利要求4所述的数据同步方法,其特征在于,还包括:

6.一种数据同步系统,其特征在于,包括:

7.根据权利要求6所述的数据同步系统,其特征在于,在对数据字符串进行多线程批量插入时,以预定数量的数据条数为循环...

【技术特征摘要】

1.一种数据同步方法,其特征在于,包括:

2.根据权利要求1所述的数据同步方法,其特征在于,在对数据字符串进行多线程批量插入时,以预定数量的数据条数为循环周期进行数据插入。

3.根据权利要求2所述的数据同步方法,其特征在于,所述预定数量为一千条。

4.根据权利要求2所述的数据同步方法,其特征在于,还包括:

5.根据权利要求4所述的数据同步方法,其特征在于,还包括:

...

【专利技术属性】
技术研发人员:王晓东王洪涛
申请(专利权)人:吉林智碳科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1