本申请公开了一种数据处理方法、装置及系统，方法包括：获取MySQL数据库主服务器的操作日志binary log，该binary log记录了MySQL数据库主服务器的所有操作命令，进一步对binary log进行解析，得到多种操作类型的命令数据，然后将得到的多种操作类型的命令数据存储到客户端中，以供客户端在收到终端发送的数据请求时，将所请求的操作类型的命令数据发送给终端，以使终端完成相应的数据操作。由于本申请仅需要从主服务器中获取操作日志，因此不会影响主服务器的性能。
【技术实现步骤摘要】
本申请涉及数据处理
，更具体地说，涉及一种数据处理方法、装置及系统。
技术介绍
在数据库领域，随着数据量的增长，数据的迀移、同步等问题也随之而来。现有的数据库数据同步方法主要是基于mysql trigger机制的方式触发增量变更，也即预先在mysql数据库中编写脚本，在监控到有数据变更时通过trigger机制触发数据的增加、删除或修改。这种方式存在以下缺点trigger触发的数据增减等操作需要由mysql数据库执行，占用了 mysql数据库的CPU空间，因此降低了 mysql数据库的性能。
技术实现思路
有鉴于此，本申请提供了一种数据处理方法、装置及系统，用于解决现有数据库的trigger触发机制降低了数据库性能的问题。为了实现上述目的，现提出的方案如下:一种数据处理方法，应用于从属服务器，该方法包括:获取MySQL数据库主服务器的操作日志binary log，所述binary log记录了MySQL数据库主服务器的所有操作命令；对所述binary log进行解析，得到多种操作类型的命令数据；将得到的多种操作类型的命令数据存储到客户端中，以供客户端在收到终端发送的数据请求时，将所请求的操作类型的命令数据发送给终端，以使终端完成相应的数据操作。优选地，所述获取MySQL数据库主服务器的操作日志binary log，包括: 按照预定周期向MySQL数据库主服务器发送dump请求，以触发MySQL数据库主服务器反馈操作日志binary log。优选地，所述获取MySQL数据库主服务器的操作日志binary log，包括:对所述MySQL数据库主服务器进行监听，在监听到MySQL数据库主服务器的操作日志binary log发生变化时，获取变化后的操作日志binary log。优选地，所述对所述binary log进行解析，得到多种操作类型的命令数据，包括:对所述binary log进行解析，得到插入类型的命令数据、更新类型的命令数据、删除类型的命令数据和查询类型的命令数据。一种数据处理方法，应用于客户端，该方法包括:接收终端发送的数据请求，所述数据请求携带有目标数据的操作类型；查询本地消息队列，调取与所述操作类型对应的命令数据，所述本地消息队列中存储有从属服务器发送的多种操作类型的命令数据；将调取的命令数据发送至所述终端，以供终端利用所述命令数据完成相应的数据操作，所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。一种数据处理装置，应用于从属服务器，该装置包括:日志获取单元，用于获取MySQL数据库主服务器的操作日志binarylog,所述binary log记录了 MySQL数据库主服务器的所有操作命令；日志解析单元，用于对所述binarylog进行解析，得到多种操作类型的命令数据；数据存储单元，用于将得到的多种操作类型的命令数据存储到客户端中，以供客户端在收到终端发送的数据请求时，将所请求的操作类型的命令数据发送给终端，以使终端完成相应的数据操作。优选地，所述日志获取单元包括:第一日志获取子单元，用于按照预定周期向MySQL数据库主服务器发送dump请求，以触发MySQL数据库主服务器反馈操作日志binary log。优选地，所述日志获取单元包括:第二日志获取子单元，用于对所述MySQL数据库主服务器进行监听，在监听到MySQL数据库主服务器的操作日志binary log发生变化时，获取变化后的操作日志binarylog。—种数据处理装置，应用于客户端，该装置包括:请求接收单元，用于接收终端发送的数据请求，所述数据请求携带有目标数据的操作类型；数据查询单元，用于查询本地消息队列，调取与所述操作类型对应的命令数据，所述本地消息队列中存储有从属服务器发送的多种操作类型的命令数据；数据发送单元，用于将调取的命令数据发送至所述终端，以供终端利用所述命令数据完成相应的数据操作，所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。—种数据处理系统，包括:MySQL数据库主服务器、从属服务器和客户端，其中，所述从属服务器用于，获取MySQL数据库主服务器的操作日志binary log,所述binary log记录了 MySQL数据库主服务器的所有操作命令；对所述binary log进行解析，得到多种操作类型的命令数据；将得到的多种操作类型的命令数据存储到客户端本地的消息队列中；所述客户端用于，接收终端发送的数据请求，所述数据请求携带有目标数据的操作类型；查询本地消息队列，调取与所述操作类型对应的命令数据；将调取的命令数据发送至所述终端，以供终端利用所述命令数据完成相应的数据操作，所述数据操作包括数据的同步备份、数据的索引重建和/或数据的审计。从上述的技术方案可以看出，本申请实施例提供应用于从属服务器的数据处理方法，获取MySQL数据库主服务器的操作日志binary log，该binary log记录了MySQL数据库主服务器的所有操作命令，进一步对binary log进行解析，得到多种操作类型的命令数据，然后将得到的多种操作类型的命令数据存储到客户端中，以供客户端在收到终端发送的数据请求时，将所请求的操作类型的命令数据发送给终端，以使终端完成相应的数据操作。由于本申请仅需要从主服务器中获取操作日志，因此不会影响主服务器的性能。进一步，本申请使用客户端保存多种操作类型的命令数据，可以供终端进行多元化的数据消费，例如终端获取某种操作类型的命令数据以实现数据同步、备份等各种业务。【附图说明】为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本申请实施例公开的一种数据处理系统结构示意图；图2为本申请实施例在从属服务器一侧公开的一种数据处理方法流程图；图3为本申请实施例在从属服务器一侧公开的另一种数据处理方法流程图；图4为本申请实施例在从属服务器一侧公开的又一种数据处理方法流程图；图5为本申请实施例在客户端侧公开的一种数据处理方法流程图；[0当前第1页1 2 3 4 本文档来自技高网...
【技术保护点】
一种数据处理方法，其特征在于，应用于从属服务器，该方法包括：获取MySQL数据库主服务器的操作日志binary log，所述binary log记录了MySQL数据库主服务器的所有操作命令；对所述binary log进行解析，得到多种操作类型的命令数据；将得到的多种操作类型的命令数据存储到客户端中，以供客户端在收到终端发送的数据请求时，将所请求的操作类型的命令数据发送给终端，以使终端完成相应的数据操作。
【技术特征摘要】
【专利技术属性】
技术研发人员：孟伟，文帅营，闫艳利，王路，陈拓，陈敏锐，骆超锋，彭东江，杨碧天，
申请(专利权)人：郑州悉知信息科技股份有限公司，
类型：发明
国别省市：河南;41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。