数据处理方法以及装置制造方法及图纸

本说明书实施例提供数据处理方法以及装置，其中所述数据处理方法包括：在确定数据库集群的日志文件发生更新的情况下，确定更新的日志文件对应的目标数据库；从所述目标数据库中确定更新后的目标日志文件，并从所述目标日志文件中获取更新的日志数据；解析所述日志数据，确定更新前的日志数据和更新后的日志数据，并将所述更新后的日志数据作为目标数据存放至所述服务器。放至所述服务器。放至所述服务器。

【技术实现步骤摘要】
数据处理方法以及装置


[0001]本说明书实施例涉及计算机
，特别涉及一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质。

技术介绍

[0002]随着计算机技术以及网络技术的高速发展，推动了大数据时代的到来，传统的集中式数据存储系统已经无法满足大规模数据存储的需求，为有效实现大数据存储，分布式数据存储系统得到了长足的发展。但是，在分布式数据存储系统的数据读取过程中，不仅会存在相对严重的时延问题，而且导致了数据库的读取压力，也使得数据访问的效率低。

技术实现思路

[0003]有鉴于此，本说明书施例提供了一种数据处理方法。本说明书一个或者多个实施例同时涉及一种数据处理装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的技术缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种数据处理方法，包括：
[0005]在确定数据库集群的日志文件发生更新的情况下，确定更新的日志文件对应的目标数据库；
[0006]从所述目标数据库中确定更新后的目标日志文件，并从所述目标日志文件中获取更新的日志数据；
[0007]解析所述日志数据，确定更新前的日志数据和更新后的日志数据，并将所述更新后的日志数据作为目标数据存放至所述服务器。
[0008]根据本说明书实施例的第二方面，提供了一种数据处理装置，包括：
[0009]确定模块，被配置为在确定数据库集群的日志文件发生更新的情况下，确定更新的日志文件对应的目标数据库；
[0010]获取模块，被配置为从所述目标数据库中确定更新后的目标日志文件，并从所述目标日志文件中获取更新的日志数据；
[0011]解析模块，被配置为解析所述日志数据，确定更新前的日志数据和更新后的日志数据，并将所述更新后的日志数据作为目标数据存放至所述服务器。
[0012]根据本说明书实施例的第三方面，提供了一种计算设备，包括：
[0013]存储器和处理器；
[0014]所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指令，其中，所述处理器执行所述计算机可执行指令时实现所述数据处理方法的步骤。
[0015]根据本说明书实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机可执行指令，该计算机指令被处理器执行时实现任意一项所述数据处理方法的步骤。
[0016]本说明书一个实施例实现了在确定数据库集群的日志文件发生更新的情况下，确
定更新的日志文件对应的目标数据库；从所述目标数据库中确定更新后的目标日志文件，并从所述目标日志文件中获取更新的日志数据；解析所述日志数据，确定更新前的日志数据和更新后的日志数据，并将所述更新后的日志数据作为目标数据存放至所述服务器，通过在数据库集群外增加服务器，存储目标日志文件中更新后的日志数据，以实现数据库与服务器之间的一种异步更新缓存，进而从服务器中获取数据不仅能够缓解数据库的访问压力，也可提高数据访问效率。
附图说明
[0017]图1是本说明书一个实施例提供的一种数据处理方法应用的系统结构示意图；
[0018]图2是本说明书一个实施例提供的一种数据处理方法的流程图；
[0019]图3是本说明书一个实施例提供的一种数据处理方法的处理过程流程图；
[0020]图4是本说明书一个实施例提供的一种数据处理装置的结构示意图；
[0021]图5是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0022]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0023]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0024]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0025]首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0026]binlog(日志文件)：记录数据库表结构，表数据修改的二进制日志文件，用于分布式数据库数据同步，数据恢复。
[0027]消息中间件：基于队列与消息传递技术，在网络环境提供同步或者异步、可靠的消息传输支持软件系统。
[0028]分布式缓存：分布式环境中，处理大量动态数据提升读取速率，应用于高频率且数据内容小的场景。
[0029]缓存击穿：应用优先会取缓存中的数据，缓存中不存在则再读取数据库的数据，同步到缓存中。
[0030]sql(结构化查询语言)：一种数据库查询和程序设计语言，用于存取数据以及查询、更新和管理关系数据库系统。
[0031]hbase(开源数据库)：一个适合于非结构化数据存储的数据库。
[0032]本申请实施例提供的数据处理方法，为了使用缓存的数据，用于数据链路的高保，减少数据库访问的压力，用户可以先读取缓存中的数据，读取不到的情况下再读取数据库的数据，由于在数据库集群中，数据写入点较多，进而实现中异步更新缓存的方法，需要建立一套基于数据库binlog异步更新缓存的链路。
[0033]目前缓存更新数据有两种方式，先读取缓存中的数据，在缓存中的数据查找不存在的情况下，再读取数据库中的数据，再更新缓存中的数据；在数据库中的数据进行变更的情况下，同时也更新缓存中的数据，以保证数据的一致性，这两种方式无法解决写入点比较多的情况和只执行sql语句没办法监听数据变更的情况。本说明书实施例提供的数据处理方法仅需要考虑数据库中的数据变更情况，进而根据数据变更情况同步缓存数据，不仅保证缓存数据和数据库中的数据保持一致，而且可用于多种数据源，例如搜索引擎、hbase等。
[0034]目前缓存更新依赖于数据的变更，数据变更点比较多，进而无法使用同步的方式来进行缓存更新，需要采用一种异步的方式进行更新，本说明书实施例提供的数据处理方法，通过监听日志文件来异步进行更新缓存。
[0035]在本说明书中，提供了一种数据处理方法，本说明书同时涉及一种数据处理装置，一种计算设备，以及一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于服务器，包括：在确定数据库集群的日志文件发生更新的情况下，确定更新的日志文件对应的目标数据库；从所述目标数据库中确定更新后的目标日志文件，并从所述目标日志文件中获取更新的日志数据；解析所述日志数据，确定更新前的日志数据和更新后的日志数据，并将所述更新后的日志数据作为目标数据存放至所述服务器。2.根据权利要求1所述的数据处理方法，所述解析所述日志数据，确定更新前的日志数据和更新后的日志数据之后，还包括：基于预设传输条件将所述更新前的日志数据和所述更新后的日志数据发送至客户端。3.根据权利要求1或2所述的数据处理方法，所述解析所述日志数据，确定更新前的日志数据和更新后的日志数据，包括：确定所述服务器的数据存储格式，将所述日志数据根据所述数据存储格式进行解析，以确定解析后、转换为所述数据存储格式的更新前的日志数据和更新后的日志数据。4.根据权利要求3所述的数据处理方法，所述在确定数据库集群的日志文件发生更新的情况下，确定更新的日志文件对应的目标数据库，包括：通过事件监听中间件对数据库集群进行监测，在监测到所述数据库集群的日志文件发生更新的情况下，确定更新的日志文件对应的目标数据库。5.根据权利要求4所述的数据处理方法，所述通过事件监听中间件对数据库集群进行监测，包括：根据预设时间间隔通过事件监听中间件对数据库集群进行监测。6.根据权利要求2所述的数据处理方法，所述基于预设传输条件将所述更新前的日志数据和所述更新后的日志数据发送至客户端之前，还包括：将所述更新...

【专利技术属性】
技术研发人员：郭磊，
申请(专利权)人：浙江网商银行股份有限公司，
类型：发明
国别省市：