数据处理方法、装置、计算设备和存储介质制造方法及图纸

技术编号:24206165 阅读:25 留言:0更新日期:2020-05-20 14:45
本申请公开了一种数据处理方法、装置、计算设备和存储介质,以避免业务流程中实现缓存更新的复杂逻辑,并尽可能地避免读取到脏数据。数据处理方法包括:响应数据更新请求,更新持久化数据库;基于持久化数据库成功更新后发送的二进制日志的消息,更新缓存数据库,其中,所发送的二进制日志的消息中携带有所述数据更新请求对应的操作及需要更新的数据的描述信息,所述缓存数据库被配置为响应读取数据的读请求提供所述读请求所请求的数据。

Data processing methods, devices, computing equipment and storage media

【技术实现步骤摘要】
数据处理方法、装置、计算设备和存储介质
本申请涉及数据库
,特别涉及一种数据处理方法、装置、计算设备和存储介质。
技术介绍
本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。关系型数据库,指采用了关系模型来组织数据的数据库,其以行和列的形式存储数据,以便于用户理解。关系模型可以简单理解为二维表格模型,而一个关系型数据库就是由二维表及其之间的关系组成的一个数据组织。通常,业务开发者会将元数据存放在关系型数据库里面。为了更快速地访问到数据,会在数据库之前应用内存缓存技术,将经常会用到的一部分数据存放在内存中。这样,程序逻辑无需每次都访问数据库,而是直接从内存中读取到想要的数据。这样,一方面程序的响应会更加迅速,另一方面也极大地降低了对数据库本身性能等各方面的要求,架构也更加合理。基于内存的缓存数据库与基于持久化存储的关系型数据库之间的协同使用,较为关键之处,在于其中的缓存更新策略及其实现。然而,现有的几种缓存更新策略例如旁路缓存方案(CacheAsidePatter本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,所述方法包括:/n响应数据更新请求,更新持久化数据库;/n基于持久化数据库成功更新后发送的二进制日志的消息,更新缓存数据库,其中,所发送的二进制日志的消息中携带有所述数据更新请求对应的操作及需要更新的数据的描述信息,所述缓存数据库被配置为响应读取数据的读请求提供所述读请求所请求的数据。/n

【技术特征摘要】
1.一种数据处理方法,其特征在于,所述方法包括:
响应数据更新请求,更新持久化数据库;
基于持久化数据库成功更新后发送的二进制日志的消息,更新缓存数据库,其中,所发送的二进制日志的消息中携带有所述数据更新请求对应的操作及需要更新的数据的描述信息,所述缓存数据库被配置为响应读取数据的读请求提供所述读请求所请求的数据。


2.根据权利要求1所述的方法,其特征在于,若未在所述缓存数据库中获取到所述读请求所请求的数据,则从所述持久化数据库获取所请求的数据,并且不将所请求的数据更新到所述缓存数据库。


3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
若未在所述缓存数据库中获取到所述读请求所请求的数据,则从所述持久化数据库获取所请求的数据;并且
在从所述持久化数据库获取到所述读请求所请求的数据之后,在所述持久化数据中针对所述读请求所请求的数据增加更新字段,所述更新字段用于所述持久化数据库生成针对所述读请求所请求的数据的二进制日志的消息,以返回执行所述基于持久化数据库成功更新后发送的二进制日志的消息,更新缓存数据库的步骤。


4.根据权利要求3所述的方法,其特征在于,所述方法还包括:
记录指定时长内所述读请求所请求的数据的请求次数;
若所述请求次数大于预设次数,则返回执行在从所述持久化数据库获取到所述读请求所请求的数据之后,在所述持久化数据中针对该数据增加更新字段的步骤。


5.根据权利要求1-4中任何一项所述的方法,其特征在于,基于持久化数据库成功更新后发送的二进制日志的消息,更新缓存数据库,包括:
解析所述二进制日志的消息,获得所述二进制日志的消息中的描述信息;
若所述二进制日志的消息中的描述信息确定需要更新的数据符合缓存更新规则,则将需要更新的数据更新到所述缓存数据库中。


6.根据权利要求5所述的方法,其特征在于,解析所述二进制日志的消息,还包括:
将所述二进制日志的消息,转换为所述缓存数据库支持的格式。


7.根据权利要求5所述的方法,其特征在于,所述缓存更新规则是基于用户的配置信息得到的。


8.根据权利要求5所述的方法,其特征在于,所述二进制日志基于Binlog日志格式。


9.一种数据处理装置,其特征在于,包括:

【专利技术属性】
技术研发人员:吴双桥王珏杨繁
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1