一种基于对象存储的自适应数据缓存方法和系统技术方案

本发明专利技术公开了一种对象存储的自适应数据缓存方法和系统，属于分布式对象存储技术领域。系统包括性能监控调度系统、多台网关机器和后端存储器，性能监控调度系统通过多台网关机器与后端存储器连接，每个网关机器均设置有对象存储网关和持久内存，对象存储网关设置有一般内存。方法包括：后端存储器中写入目标数据；判断目标数据是否需要缓存到第一网关机器中；在目标数据需要缓存的情况下，通过性能监控调度系统判断当前第一网关机器的一般缓存是否满足性能要求；在第一网关机器的一般缓存满足性能要求的情况下，将目标数据缓存至第一网关机器的一般缓存，否则，缓存至第一网关机器的持久缓存；通过性能监控调度系统通知第二网关机器更新缓存。网关机器更新缓存。网关机器更新缓存。

【技术实现步骤摘要】
一种基于对象存储的自适应数据缓存方法和系统


[0001]本专利技术属于分布式对象存储
，具体涉及一种基于对象存储的自适应数据缓存方法和系统。

技术介绍

[0002]随着5G技术的快速发展，视频类的数据存储需求呈现出了爆炸式增长。面对海量的数据存储和处理需求，对存储这些海量s3对象数据的性能提出了更高的要求与挑战。目前分布式对象存储系统在面对大量s3对象数据针对热点数据进行频繁读取时，整体时延比较大，错误率比较高，总体吞吐量比较低，系统负载比较高。

技术实现思路

[0003]本专利技术实施例的目的是提供一种基于对象存储的自适应数据缓存方法和系统，能够解决现有的数据缓存方法对热点数据进行频繁读取时，整体时延比较大，错误率比较高，总体吞吐量比较低，系统负载比较高的技术问题。
[0004]为了解决上述技术问题，本专利技术是这样实现的：
[0005]第一方面
[0006]本专利技术实施例提供了一种基于对象存储的自适应数据缓存方法，应用于基于对象存储的自适应数据缓存系统，自适应数据缓存系统包括性能监控调度系统、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对象存储的自适应数据缓存方法，其特征在于，应用于基于对象存储的自适应数据缓存系统，所述自适应数据缓存系统包括性能监控调度系统、多台网关机器和后端存储器，所述性能监控调度系统通过多台所述网关机器与所述后端存储器连接，每个所述网关机器均设置有对象存储网关和持久内存，所述对象存储网关设置有一般内存，多台所述网关机器包括第一网关机器和第二网关机器，所述自适应数据缓存方法包括：S101：所述后端存储器中写入目标数据；S102：判断所述目标数据是否需要缓存到第一网关机器中；S103：在所述目标数据需要缓存的情况下，通过所述性能监控调度系统判断当前所述第一网关机器的一般缓存是否满足性能要求；S104：在所述第一网关机器的一般缓存满足性能要求的情况下，将所述目标数据缓存至所述第一网关机器的一般缓存，否则，缓存至所述第一网关机器的持久缓存；S105：通过所述性能监控调度系统通知第二网关机器更新缓存。2.根据权利要求1所述的自适应数据缓存方法，其特征在于，所述S103具体包括：S1031：所述性能监控调度系统获取监控数据，其中，所述监控数据包括各所述网关机器的负载、一般内存剩余容量、持久内存剩余容量数据和业务负载情况数据；S1032：所述性能监控调度系统对所述监控数据进行预处理，所述预处理包括数据清洗和数据归一化；S1033：所述性能监控调度系统对预处理后的监控数据进行多参数拟合，得出各所述网关机器的缓存策略，其中，所述缓存策略包括当前所述第一网关机器的一般缓存是否满足性能要求。3.根据权利要求1所述的自适应数据缓存方法，其特征在于，在所述S105之后还包括：S106：判断当前所述第二网关机器的一般缓存是否满足性能要求；S107：在所述第二网关机器的一般缓存满足性能要求的情况下，将所述目标数据缓存至所述第二网关机器的一般缓存，否则，缓存至所述第二网关机器的持久缓存。4.根据权利要求1所述的自适应数据缓存方法，其特征在于，在所述S105之后，还包括：S108：读取所述目标数据；S109：判断所述目标数据是否存储于所述一般缓存；在所述目标数据未存储于所述一般缓存的情况下，进入S110；在所述目标数据存储于所述一般缓存的情况下，进入S111；S110：判断所述目标数据是否存储于所述持久缓存；在所述目标数据未存储于所述持久缓存的情况下，进入S112；在所述目标数据存储于所述持久缓存的情况下，进入S111；S111：返回所述目标数据，并更新缓存，进入S113；S112：从所述后端存储器中返回所述目标数据，进入S113；S113：通过所述性能监控调度系统通知其他所述网关机器更新缓存。5.根据权利要求1所述的自适应数据...

【专利技术属性】
技术研发人员：刘汪洋，吴文峰，林洁琬，黄鹄，孔令升，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：