一种数据处理系统和数据处理方法技术方案

本文公开了一种数据处理系统和处理方法。其中，所述系统包括：源数据库、内存数据库、数据更新装置和若干个数据应用装置；所述源数据库设置为：存储各数据应用装置所使用的源数据；所述内存数据库设置为：存储所述源数据中数据表的更新记录；所述数据更新装置设置为：对所述源数据进行更新，以及对所述更新记录进行更新；各所述数据应用装置设置为：在本数据应用装置的本地缓存中，对本数据应用装置所使用的源数据进行缓存，形成缓存数据；以及根据所述更新记录，从所述源数据库中获取目标源数据，并根据所述目标源数据更新所述缓存数据。并根据所述目标源数据更新所述缓存数据。并根据所述目标源数据更新所述缓存数据。

【技术实现步骤摘要】
一种数据处理系统和数据处理方法


[0001]本专利技术涉及数据缓存
，具体涉及一种数据处理系统和数据处理方法。

技术介绍

[0002]伴随应用系统体量的不断增大，在各类应用或系统架构中，缓存组件的地位可以说是举足轻重的。特别是在互联网的时代，请求的并发量可能会非常高，但是关系型数据库对于高并发的处理能力并不是非常强，而缓存组件由于是在内存中处理，并不需要磁盘的输入输出(IO)，所以非常适合于高并发的处理，也就成为了各个系统中必不可少的一部分。
[0003]根据缓存是否与应用进程属于同一进程，缓存可分为本地缓存与分布式缓存。本地缓存是在同一个进程内的内存空间中缓存数据，数据读写都是在同一个进程内完成。分布式缓存一般都是独立部署的一个进程，并且与应用进程部署在不同的机器上，故需要通过网络来完成分布式缓存数据读写操作的传输。
[0004]在实时性能要求极高且数据量可控的场景中，比如：在实时交易等要求较高系统吞吐量(TPS)的场景，需要将一些业务规则数据缓存在应用本地内存中以提高系统性能。在本地缓存与数据库数据进行同步的过程中，往本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：源数据库、内存数据库、数据更新装置和若干个数据应用装置；所述源数据库设置为：存储各数据应用装置所使用的源数据；所述内存数据库设置为：存储所述源数据中数据表的更新记录；所述数据更新装置设置为：对所述源数据进行更新，以及对所述更新记录进行更新；各所述数据应用装置设置为：在本数据应用装置的本地缓存中，对本数据应用装置所使用的源数据进行缓存，形成缓存数据；以及根据所述更新记录从所述源数据库中获取目标源数据，并根据所述目标源数据更新所述缓存数据。2.如权利要求1所述的系统，其特征在于，各所述数据应用装置还设置为：在满足预设的第一更新触发条件的情况下，根据所述更新记录从所述源数据库中获取所述目标源数据；其中，所述预设的第一更新触发条件至少包括以下之一：预设的第一更新间隔到来；预设的第一更新事件发生。3.如权利要求2所述的系统，其特征在于，各所述数据应用装置还设置为：在满足预设的第一更新触发条件后，确定一随机等待时长；等待所述随机等待时长后，根据所述更新记录从所述源数据库中获取所述目标源数据。4.如权利要求1所述的系统，其特征在于，各所述数据应用装置还设置为：根据所述目标源数据更新所述缓存数据后，记录本地缓存数据最后更新时间；或者，各所述数据应用装置还设置为：记录上一次获取更新记录的时间。5.如权利要求1
‑
4任一项所述的系统，其特征在于，所述数据更新装置还设置为：根据所述源数据的更新情况更新所述更新记录；其中，所述更新记录包括：表名和表最后更新时间；或者，所述更新记录包括：数据库名、表名和表最后更新时间。6.如权利要求5所述的系统，其特征在于，各所述数据应用装置根据所述更新记录从所述源数据库中获取目标源数据，包括...

【专利技术属性】
技术研发人员：魏博，李宗凯，张文凌，
申请(专利权)人：网联清算有限公司，
类型：发明
国别省市：