数据处理方法、装置及电子设备制造方法及图纸

本发明专利技术实施例一种数据处理方法、装置及电子设备。在本发明专利技术实施例中，响应于监听到数据库中的第一数据宽表发生数据变动，查询与第一数据宽表相关的第二数据宽表，根据第一数据宽表和第二数据宽表的数据变动生成数据变动消息，根据数据变动消息更新缓存中对应的聚合宽表，其中，聚合宽表根据所述第一数据宽表和第二数据宽表聚合确定。本发明专利技术实施例通过监听数据库实时更新缓存，实现了持久化缓存，由此，可以提高缓存中数据的实时性和准确性，同时可以提高数据查询请求在缓存中的命中率，进而可以提高数据查询效率，降低数据库的读写负担。降低数据库的读写负担。降低数据库的读写负担。

【技术实现步骤摘要】
数据处理方法、装置及电子设备


[0001]本专利技术涉及计算机
，更具体地，涉及一种数据处理方法、装置及电子设备。

技术介绍

[0002]在当前微服务架构下的系统，数据一般存储在如SQL Server、MySQL这样的关系型数据库中，关系型数据库的优点是安全，方便使用，易于维护且支持复杂的查询场景，但对于高并发的读写请求压力很大，容易到达瓶颈导致读写变慢。

技术实现思路

[0003]有鉴于此，本专利技术实施例提供一种数据处理方法、装置及电子设备，以持久化缓存，提高数据查询速度。
[0004]第一方面，本专利技术实施例提供了一种数据处理方法，所述方法包括：
[0005]响应于监听到数据库中的第一数据宽表发生数据变动，查询与所述第一数据宽表相关的第二数据宽表；
[0006]根据所述第一数据宽表和所述第二数据宽表的数据变动生成数据变动消息；
[0007]根据所述数据变动消息更新缓存中对应的聚合宽表，所述聚合宽表根据所述第一数据宽表和第二数据宽表聚合确定。
[0008]在本专利技术实施例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：响应于监听到数据库中的第一数据宽表发生数据变动，查询与所述第一数据宽表相关的第二数据宽表；根据所述第一数据宽表和所述第二数据宽表的数据变动生成数据变动消息；根据所述数据变动消息更新缓存中对应的聚合宽表，所述聚合宽表根据所述第一数据宽表和第二数据宽表聚合确定。2.根据权利要求1所述的方法，其特征在于，所述聚合宽表包括第一聚合宽表和第二聚合宽表；其中，所述第一聚合宽表的标识根据第一数据宽表的表ID确定，所述第二聚合宽表的标识根据所述第二数据宽表的表ID确定。3.根据权利要求1所述的方法，其特征在于，根据所述数据变动消息更新缓存中对应的聚合宽表包括：响应于接收到数据变动消息，采用多线程反查所述数据库，以确定所述数据变动消息的准确性；响应于所述数据变动消息准确，根据所述数据变动消息更新缓存中对应的聚合宽表。4.根据权利要求1
‑
3中任一项所述的方法，其特征在于，所述方法还包括：初始化所述缓存中的数据。5.根据权利要求4所述的方法，其特征在于，初始化所述缓存中的数据包括：将数据库中的具有相关关系的至少两个数据宽表进行聚合，得到至少两个聚合宽表；将各所述聚合宽表分别存储至所述缓存中的缓存单元中。6.根据权利要求1
‑
5中任一项所述的方法，其特征在于，所述方法还包括：根据第一预定时间段内的所述数据库的数据变化，定时刷新所述缓存中的数据。7.根据权利要求1
‑
6中任一项所述的方法，其特征在于，所述方法还包括：周期性查询第二预定时间段内的所述数据库和所述缓存中更新的数据；响应于所述数据库中的数据和所述缓存中的数据不一致，对所述缓存中的数据进行修复。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：响应于所述数据库中的数据和所述缓存中的数据不一致，和/或所述缓存中具有缺失字段，发送告警消息。9.根据权利要求1

【专利技术属性】
技术研发人员：张祖德，郁之阳，
申请(专利权)人：上海哔哩哔哩科技有限公司，
类型：发明
国别省市：