一种热点缓存动态监控方法技术

本申请公开了一种热点缓存动态监控方法

【技术实现步骤摘要】
一种热点缓存动态监控方法、装置、设备及介质


[0001]本专利技术涉及缓存监控
，特别涉及一种热点缓存动态监控方法
、
装置
、
设备及介质
。

技术介绍

[0002]存储系统为了提高数据访问的高效性，项目通常会引入
NoSQL(
即
Not Only SQL
，非关系型数据库；
SQL
，即
Structured Query Language
，结构化查询语言
)
技术，这是一种基于内存的数据库，并且提供一定的持久化功能
。Redis(REmote DIctionary Server
，远程字典服务
)
技术就是
NoSQL
技术中的一种
。Redis
缓存的使用，极大的提升了应用程序的性能和效率，特别是数据查询方面
。Redis
缓存虽然能够大大提升整个系统的性能，但同时也引入了更多复杂性
。
当大部分甚至所有的业务请求都命中同一份缓存数据，这些请求甚至达到成千上万次，即出现了热点缓存时，则这份数据所在的缓存服务器的压力也会很大
。
一旦缓存空间占用过大得不到有效的释放或热点缓存过期出现缓存击穿等现象，就会导致系统卡顿或僵死
。
[0003]在现有技术下，工程师们往往在系统内部
API(Application Program Interface
，应用程序接口
)
接口调用时埋入监测进程，来实现热点缓存的监控和更新
。
但是此类方案与系统框架代码不仅耦合性太高，而且非常占用内存，维护和迁移困难；同时在部分场景下埋点监测进程无法监测到缓存访问更新，如未调用
API
接口，而是直接调用后台
CLI(Command Line Interface
，命令行界面
)
命令进行访问或修改数据时，则此类方案就无法监测到导致热点缓存更新
。
[0004]综上，如何降低不同降低与系统框架的耦合性，适用于各种
GUI(Graphical User Interface
，图形用户界面
)
界面
、CLI
场景等不同场景下的热点缓存监测；且在监测热点缓存的同时，有效减少内存占用，提高系统内存利用率是本领域有待解决的技术问题
。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种热点缓存动态监控方法
、
装置
、
设备及介质，能够降低不同降低与系统框架的耦合性，适用于各种
GUI
界面
、CLI
场景等不同场景下的热点缓存监测；且在监测热点缓存的同时，有效减少内存占用，提高系统内存利用率
。
其具体方案如下：
[0006]第一方面，本申请公开了一种热点缓存动态监控方法，应用于存储系统，包括：
[0007]接收访问存储数据指令，基于所述访问存储数据指令访问预设缓存，以获取相应的缓存数据；
[0008]通过审计日志实时监测进程记录与所述缓存数据对应的访问键信息以及访问时间，以得到携带缓存日志标识的目标审计日志；
[0009]当预设时间窗口内所述目标审计日志的记录量超过预设记录数量阈值，则将相应的预设时间窗口内所述目标审计日志作为热点缓存监控日志，并触发热点缓存监控进程；
[0010]获取所述热点缓存监控日志中所有访问键信息各自对应的访问次数，当所述访问次数超过预设访问数量阈值，则将与所述热点缓存监控日志对应的所述缓存数据设置为热点缓存
。
[0011]可选的，所述接收访问存储数据指令，包括：
[0012]接收用户端通过所述存储系统的预设图形用户界面发送的访问存储数据指令；
[0013]或，接收用户端通过预约命令行界面写入的访问存储数据指令
。
[0014]可选的，所述接收访问存储数据指令，基于所述访问存储数据指令访问预设缓存，以获取相应的缓存数据，包括：
[0015]接收访问存储数据指令，判断所述访问数据指令中待访问对象是否为预设缓存；
[0016]若所述待访问对象为所述预设缓存，则启动审计日志实时监测进程，并通过第一审计日志记录所述访问存储数据指令；
[0017]基于所述访问存储数据指令访问所述预设缓存，以便从所述预设缓存获取相应的缓存数据；
[0018]相应的，所述通过审计日志实时监测进程记录与所述缓存数据对应的访问键信息以及访问时间，以得到携带缓存日志标识的目标审计日志，包括：
[0019]获取访问所述预设缓存中所述缓存数据时的访问键信息以及访问时间；
[0020]通过所述审计日志实时监测进程记录所述访问键信息以及所述访问时间，并与所述第一审计日志中的所述访问存储数据指令进行合并，以得到第二审计日志；
[0021]利用预设缓存日志标识对所述第二审计日志进行标记，以得到携带缓存日志标识的目标审计日志
。
[0022]可选的，所述通过审计日志实时监测进程记录与所述缓存数据对应的访问键信息以及访问时间，以得到携带缓存日志标识的目标审计日志之后，还包括：
[0023]将所述携带缓存日志标识的目标审计日志输入至预设流处理系统，以便所述预设流处理系统按照所述目标审计日志中的所述访问时间对所述目标审计日志进行实时计算，以得到与若干预设时间窗口内的所述目标审计日志对应的记录量；
[0024]判断所述预设时间窗口内的所述目标审计日志的记录量是否超过预设记录数量阈值，以得到相应的判断结果
。
[0025]可选的，所述判断所述预设时间窗口内的所述目标审计日志的记录量是否超过预设记录数量阈值，以得到相应的判断结果之后，还包括：
[0026]当所述判断结果为所述预设时间窗口内的所述目标审计日志的记录量不超过预设记录数量阈值，则不触发热点缓存监控进程
。
[0027]可选的，所述将所述携带缓存日志标识的目标审计日志输入至预设流处理系统之后，还包括：
[0028]设置预设流处理系统的时间窗口，以便所述预设流处理系统按照所述时间窗口以及目标审计日志中的所述访问时间对接收到的所有所述携带缓存日志标识的目标审计日志进行分组
。
[0029]可选的，所述将与所述热点缓存监控日志对应的所述缓存数据设置为热点缓存之后，还包括：
[0030]触发主节点更新逻辑，以将所有所述热点缓存更新至预设集群服务器主节点；
[0031]触发缓存数据同步逻辑，以将所述预设集群服务器主节点中的热点缓存同步至所有预设集群服务器备用节点
。
[0032]第二方面，本申请公开了一种热点缓存动态监控装置，应用于存储系统，包括：
[0033]数据获取本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种热点缓存动态监控方法，其特征在于，应用于存储系统，包括：接收访问存储数据指令，基于所述访问存储数据指令访问预设缓存，以获取相应的缓存数据；通过审计日志实时监测进程记录与所述缓存数据对应的访问键信息以及访问时间，以得到携带缓存日志标识的目标审计日志；当预设时间窗口内所述目标审计日志的记录量超过预设记录数量阈值，则将相应的预设时间窗口内所述目标审计日志作为热点缓存监控日志，并触发热点缓存监控进程；获取所述热点缓存监控日志中所有访问键信息各自对应的访问次数，当所述访问次数超过预设访问数量阈值，则将与所述热点缓存监控日志对应的所述缓存数据设置为热点缓存
。2.
根据权利要求1所述的热点缓存动态监控方法，其特征在于，所述接收访问存储数据指令，包括：接收用户端通过所述存储系统的预设图形用户界面发送的访问存储数据指令；或，接收用户端通过预约命令行界面写入的访问存储数据指令
。3.
根据权利要求1所述的热点缓存动态监控方法，其特征在于，所述接收访问存储数据指令，基于所述访问存储数据指令访问预设缓存，以获取相应的缓存数据，包括：接收访问存储数据指令，判断所述访问数据指令中待访问对象是否为预设缓存；若所述待访问对象为所述预设缓存，则启动审计日志实时监测进程，并通过第一审计日志记录所述访问存储数据指令；基于所述访问存储数据指令访问所述预设缓存，以便从所述预设缓存获取相应的缓存数据；相应的，所述通过审计日志实时监测进程记录与所述缓存数据对应的访问键信息以及访问时间，以得到携带缓存日志标识的目标审计日志，包括：获取访问所述预设缓存中所述缓存数据时的访问键信息以及访问时间；通过所述审计日志实时监测进程记录所述访问键信息以及所述访问时间，并与所述第一审计日志中的所述访问存储数据指令进行合并，以得到第二审计日志；利用预设缓存日志标识对所述第二审计日志进行标记，以得到携带缓存日志标识的目标审计日志
。4.
根据权利要求1所述的热点缓存动态监控方法，其特征在于，所述通过审计日志实时监测进程记录与所述缓存数据对应的访问键信息以及访问时间，以得到携带缓存日志标识的目标审计日志之后，还包括：将所述携带缓存日志标识的目标审计日志输入至预设流处理系统，以便所述预设流处理系统按照所述目标审计日志中的所述访问时间对所述目标审计日志进行实时计算，以得到与若干预设时间窗口内的所述目标审计日志对应的记录量；判断所述预设时间窗口内的所...

【专利技术属性】
技术研发人员：贾文亮，张建刚，刘申申，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：