本申请适用于人工智能技术领域，提供了一种数据同步方法、装置、服务器及存储介质，该方法包括：接收通信连接的从数据库发送的、包括目标操作日志的日志索引标识的数据同步请求，其中，数据同步请求为从数据库基于第一日志文件中的、对应于目标操作日志的日志索引标识生成，第一日志文件用于写入从数据库执行过的操作日志；从主数据库的第二日志文件中，查找日志索引标识对应的目标操作日志，第二日志文件用于写入主数据库的操作日志；将第二日志文件中的、目标操作日志及对应执行时间在目标操作日志之后的操作日志发送至从数据库，以使从数据库基于所接收到的操作日志进行部分数据同步。本申请可以提高数据同步效率。本申请可以提高数据同步效率。本申请可以提高数据同步效率。
【技术实现步骤摘要】
数据同步方法、装置、服务器及存储介质
[0001]本申请涉及人工智能
，尤其涉及一种数据同步方法、装置、服务器及存储介质。
技术介绍
[0002]随着大数据时代的来临，数据处理量的激增带动了数据库的发展，一般采用主数据库以及从数据库共同保障数据库的高可靠性，为保障数据安全不丢失，往往数据库的主数据库与从数据库之间采用同步模式进行数据备份，其中，主从数据库同步过程中需要将主数据库的数据更改同步至从数据库。
[0003]相关技术中，在从数据库出现故障重启后，通常需要对从数据库中的备份数据进行全同步，这将消耗较多的时间将主数据库上的数据同步至从数据库中，导致降低了数据同步效率。
技术实现思路
[0004]有鉴于此，本申请实施例提供了一种数据同步方法、装置、服务器及存储介质，以解决相关技术中，在从数据库出现故障重启后，通常需要对从数据库中的备份数据进行全同步，这将消耗较多的时间将主数据库上的数据同步至从数据库中，导致降低了数据同步效率的问题。
[0005]本申请实施例的第一方面提供了一种数据同步方法，包括：
[0006]接收通信连接的从数据库发送的、包括目标操作日志的日志索引标识的数据同步请求，其中，数据同步请求为从数据库基于第一日志文件中的、对应于目标操作日志的日志索引标识生成，第一日志文件用于写入从数据库执行过的操作日志；
[0007]从主数据库的第二日志文件中，查找日志索引标识对应的目标操作日志，第二日志文件用于写入主数据库的操作日志；
[0008]将第二日志文件中的、目标操作日志及对应执行时间在目标操作日志之后的操作日志发送至从数据库，以使从数据库基于所接收到的操作日志进行部分数据同步。
[0009]进一步地，方法还包括：
[0010]响应于检测到数据操作指令，执行数据操作指令指示的数据操作，将数据操作对应的目标数据存储至第一存储设备；
[0011]针对数据操作对应的操作日志，生成日志索引标识，将日志索引标识和操作日志对应写入第二日志文件；
[0012]将相对应的操作日志和日志索引标识向从数据库发送，以触发从数据库基于所接收的操作日志将目标数据备份至第二存储设备且将相对应的操作日志和日志索引标识写入第一日志文件。
[0013]进一步地，将数据操作对应的目标数据存储至第一存储设备，包括：
[0014]将数据操作对应的目标数据以键值对的形式存储至第一存储设备，其中，键值对
的键为目标数据的数据标识和数据类型，键值对的值为目标数据的取值。
[0015]进一步地，将相对应的操作日志和日志索引标识向从数据库发送，包括：
[0016]在从数据库处于只读状态时，将相对应的操作日志和日志索引标识向从数据库发送。
[0017]进一步地，第一存储设备为固态硬盘，以及第二存储设备为固态硬盘，第二日志文件缓存于主数据库侧的固态硬盘中，第一日志文件缓存于从数据库侧的固态硬盘中。
[0018]进一步地，主数据库在将操作日志写入第二日志文件时，还将操作日志写入恢复日志；以及方法还包括：
[0019]响应于操作日志被同步至从数据库且被从数据库处理完成，将操作日志从恢复日志中删除；
[0020]响应于检测到主数据库启动，加载恢复日志，以及执行恢复日志中的操作日志对应的数据操作。
[0021]进一步地，从数据库具有多个工作线程，以及若从数据库处于非只读状态，则从数据库可用于接收用户端发送的至少一个数据操作指令，分别生成针对各数据操作指令的指令标识，以及按照指令标识将各数据操作指令分配至各工作线程并行执行。
[0022]本申请实施例的第二方面提供了一种数据同步装置，包括：
[0023]请求接收单元，用于接收通信连接的从数据库发送的、包括目标操作日志的日志索引标识的数据同步请求，其中，数据同步请求为从数据库基于第一日志文件中的、对应于目标操作日志的日志索引标识生成，第一日志文件用于写入从数据库执行过的操作日志；
[0024]日志查找单元，用于从主数据库的第二日志文件中，查找日志索引标识对应的目标操作日志，第二日志文件用于写入主数据库的操作日志；
[0025]日志发送单元，用于将第二日志文件中的、目标操作日志及对应执行时间在目标操作日志之后的操作日志发送至从数据库，以使从数据库基于所接收到的操作日志进行部分数据同步。
[0026]进一步地，装置还包括指令检测单元、日志存储单元、日志同步单元；
[0027]指令检测单元，用于响应于检测到数据操作指令，执行数据操作指令指示的数据操作，将数据操作对应的目标数据存储至第一存储设备；
[0028]日志存储单元，用于针对数据操作对应的操作日志，生成日志索引标识，将日志索引标识和操作日志对应写入第二日志文件；
[0029]日志同步单元，用于将相对应的操作日志和日志索引标识向从数据库发送，以触发从数据库基于所接收的操作日志将目标数据备份至第二存储设备且将相对应的操作日志和日志索引标识写入第一日志文件，第一日志文件用于写入从数据库的操作日志。
[0030]进一步地，指令检测单元具体用于将数据操作对应的目标数据以键值对的形式存储至第一存储设备，其中，键值对的键为目标数据的数据标识和数据类型，键值对的值为目标数据的取值。
[0031]进一步地，日志同步单元具体用于在从数据库处于只读状态时，将相对应的操作日志和日志索引标识向从数据库发送。
[0032]进一步地，第一存储设备为固态硬盘，以及第二存储设备为固态硬盘，第二日志文件缓存于主数据库侧的固态硬盘中，第一日志文件缓存于从数据库侧的固态硬盘中。
[0033]进一步地，若主数据库在将操作日志写入第二日志文件时，还将操作日志写入恢复日志，则装置还包括日志删除单元、数据恢复单元；
[0034]日志删除单元，用于响应于操作日志被同步至从数据库且被从数据库处理完成，将操作日志从恢复日志中删除；
[0035]数据恢复单元，用于响应于检测到主数据库启动，加载恢复日志，以及执行恢复日志中的操作日志对应的数据操作。
[0036]进一步地，从数据库具有多个工作线程，以及若从数据库处于非只读状态，则从数据库可用于接收用户端发送的至少一个数据操作指令，分别生成针对各数据操作指令的指令标识，以及按照指令标识将各数据操作指令分配至各工作线程并行执行。
[0037]本申请实施例的第三方面提供了一种服务器，包括存储器、处理器以及存储在存储器中并可在服务器上运行的计算机程序，处理器执行计算机程序时实现第一方面提供的数据同步方法的各步骤。
[0038]本申请实施例的第四方面提供了一种存储介质，存储介质存储有计算机程序，计算机程序被处理器执行时实现第一方面提供的数据同步方法的各步骤。
[0039]实施本申请实施例提供的一种数据同步方法、装置、服务器及存储介质具有以下有益效果：在从数据库出现故障重启时，从数据库可以基于从数据库侧的第一日志文本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据同步方法，其特征在于，所述方法包括：接收通信连接的从数据库发送的、包括目标操作日志的日志索引标识的数据同步请求，其中，所述数据同步请求为所述从数据库基于第一日志文件中的、对应于目标操作日志的日志索引标识生成，所述第一日志文件用于写入所述从数据库执行过的操作日志；从主数据库的第二日志文件中，查找所述日志索引标识对应的目标操作日志，所述第二日志文件用于写入主数据库的操作日志；将所述第二日志文件中的、所述目标操作日志及对应执行时间在所述目标操作日志之后的操作日志发送至所述从数据库，以使所述从数据库基于所接收到的操作日志进行部分数据同步。2.根据权利要求1所述的数据同步方法，其特征在于，所述方法还包括：响应于检测到数据操作指令，执行所述数据操作指令指示的数据操作，将所述数据操作对应的目标数据存储至第一存储设备；针对所述数据操作对应的操作日志，生成日志索引标识，将所述日志索引标识和所述操作日志对应写入所述第二日志文件；将相对应的所述操作日志和所述日志索引标识向所述从数据库发送，以触发所述从数据库基于所接收的操作日志将所述目标数据备份至第二存储设备且将相对应的所述操作日志和所述日志索引标识写入所述第一日志文件。3.根据权利要求2所述的数据同步方法，其特征在于，所述将所述数据操作对应的目标数据存储至第一存储设备，包括：将所述数据操作对应的所述目标数据以键值对的形式存储至所述第一存储设备，其中，所述键值对的键为所述目标数据的数据标识和数据类型，所述键值对的值为所述目标数据的取值。4.根据权利要求2所述的数据同步方法，其特征在于，所述将相对应的所述操作日志和所述日志索引标识向所述从数据库发送，包括：在所述从数据库处于只读状态时，将相对应的所述操作日志和所述日志索引标识向所述从数据库发送。5.根据权利要求2所述的数据同步方法，其特征在于，所述第一存储设备为固态硬盘，以及所述第二存储设备为固态硬盘，所述第二日志文件缓存于所述主数据库侧的...
【专利技术属性】
技术研发人员：董萍，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。