本发明专利技术实施例提供了一种热点数据确定方法、装置、设备和存储介质。通过获得数据访问请求；确定数据访问请求所请求访问的各数据块，确定各数据块所在的至少一个目标数据块组；对任一目标数据块组：当缓存设备中不存在目标数据块组时，记录获得数据访问请求的时刻，将时刻确定为对目标数据块组的访问时刻；获得记录的距离当前时刻最近的预设数量的对目标数据块组的访问时刻，分别确定预设数量的对目标数据块组的访问时刻与当前时刻的时间间隔；根据时间间隔确定目标数据块组的访问热度；根据访问热度确定目标数据块组是否为热点数据。本发明专利技术可以以目标数据块组为粒度计算访问热度，粒度适中且根据时间间隔计算，结果比较符合实际情况。情况。情况。
【技术实现步骤摘要】
一种热点数据确定方法、装置、设备和存储介质
[0001]本专利技术涉及数据存储
，特别是涉及一种热点数据确定方法、装置、设备和存储介质。
技术介绍
[0002]缓存设备具有较高的数据读写速度，因此应用广泛。由于缓存设备中的存储空间有限，因此仅能将使用较多的热点数据保存在缓存设备中。
[0003]确定哪些数据是热点数据的过程也称为热点统计，通过热点统计可以决定什么数据存储到缓存设备中。不管是在基于文件的热点统计，还是基于数据块的热点统计，都可以将需要统计的目标看作一个对象。一般地，热点统计的过程中，需要记录该对象最近一段时间的访问信息，包括时间、次数、频率，然后根据这些信息计算出一个分数，代表该对象的热度。
[0004]目前，在进行热点统计时，一般是以文件为粒度或是以数据块为粒度计算对象的热度。以文件为粒度，粒度太大，当只有文件的部分数据过热时，整个文件都会保存到缓存设备。以数据块为粒度，粒度太小，需要统计热度的对象数目太多，导致统计过程的计算量较多且统计得到的热度信息占用的存储空间较多。
技术实现思路
[0005]本专利技术实施例的目的在于提供一种热点数据确定方法、装置、设备和存储介质，以实现以目标数据块组为粒度计算目标数据块组的访问热度，避免了因粒度太大导致文件部分数据过热，引起文件整体进缓存或因粒度太小，需要统计热度的对象数目太多，导致保存热度信息的空间巨大的问题。本专利技术的粒度适中，所确定的热点数据更加符合实际情况。具体技术方案如下：
[0006]第一方面，一种热点数据确定方法，包括：
[0007]获得数据访问请求；
[0008]确定所述数据访问请求所请求访问的各数据块，确定所述各数据块所在的至少一个目标数据块组；
[0009]对任一所述目标数据块组：当缓存设备中不存在所述目标数据块组时，记录获得所述数据访问请求的时刻，将所述时刻确定为对所述目标数据块组的访问时刻；获得记录的距离当前时刻最近的预设数量的对所述目标数据块组的访问时刻，分别确定所述预设数量的对所述目标数据块组的访问时刻与当前时刻的时间间隔；根据所述时间间隔确定所述目标数据块组的访问热度；根据所述访问热度确定所述目标数据块组是否为热点数据。
[0010]结合第一方面，在某些可选的实施方式中，所述数据访问请求至少包括：数据偏移量和数据访问量，所述方法还包括：
[0011]对任一所述目标数据块组：根据所述数据偏移量和数据访问量，确定所述数据访问请求所请求访问的、位于所述目标数据块组中的数据的第一数据量；
[0012]所述根据所述时间间隔确定所述目标数据块组的访问热度，具体包括：
[0013]根据所述时间间隔和所述第一数据量确定所述目标数据块组的访问热度。
[0014]结合第一方面，在某些可选的实施方式中，所述根据所述时间间隔和所述第一数据量确定所述目标数据块组的访问热度，包括：
[0015]计算所述第一数据量和所述目标数据块组的数据量的比值得到所述目标数据块组的当前访问覆盖率并记录；
[0016]获得记录的距离当前时刻最近的预设数量的对所述目标数据块组的访问覆盖率；
[0017]根据所述时间间隔和所述预设数量的对所述目标数据块组的访问覆盖率确定所述目标数据块组的访问热度。
[0018]结合上一个实施方式，在某些可选的实施方式中，所述根据所述时间间隔和所述预设数量的对所述目标数据块组的访问覆盖率确定所述目标数据块组的访问热度，包括：
[0019]根据公式1：
[0020]计算得到目标数据块组j的访问热度，其中，所述j是目标数据块组的标号，所述i是访问顺序的标号，所述n为所述预设数量，所述score
j
是目标数据块组j的访问热度，所述coverage
ji
是对所述目标数据块组j的、当前时刻之前的第i次访问进行计算得到并记录的访问覆盖率，所述zoom_factor是预设的缩放因子，所述delta_time
ji
是对所述目标数据块组j进行所述第i次访问的访问时刻与所述当前时刻的时间间隔，所述目标数据块组j至少包括一个数据块。
[0021]结合第一方面，在某些可选的实施方式中，所述根据所述时间间隔确定所述目标数据块组的访问热度，包括：
[0022]根据公式2：计算得到目标数据块组j的访问热度，其中，所述j是目标数据块组的标号，所述i是访问顺序的标号，所述n为所述预设数量，所述score
j
是所述目标数据块组j的访问热度，所述zoom_factor是所述预设的缩放因子，所述delta_time
ji
为对所述目标数据块组j进行所述第i次访问的访问时刻与所述当前时刻的时间间隔。
[0023]结合第一方面，在某些可选的实施方式中，所述根据所述访问热度确定所述目标数据块组是否为热点数据，包括：
[0024]对于任一个目标数据块组，若所述目标数据块组的访问热度大于热度阈值，则确定所述目标数据块组为热点数据块组，否则确定所述目标数据块组不是热点数据块组。
[0025]结合上一个实施方式，在某些可选的实施方式中，还包括：若确定所述目标数据块组为热点数据块组，则将所述目标数据块组包括的各数据块的数据存储至所述缓存设备。
[0026]第二方面，一种热点数据确定装置，包括：请求获得单元、数据块确定单元和热点数据确定单元；
[0027]所述请求获得单元，被配置为执行获得数据访问请求；
[0028]所述数据块确定单元，被配置为执行确定所述数据访问请求所请求访问的各数据块，确定所述各数据块所在的至少一个目标数据块组；
[0029]所述热点数据确定单元，被配置为对任一所述目标数据块组执行如下处理：
[0030]当缓存设备中不存在所述目标数据块组时，记录获得所述数据访问请求的时刻，将所述时刻确定为对所述目标数据块组的访问时刻；获得记录的距离当前时刻最近的预设数量的对所述目标数据块组的访问时刻，分别确定所述预设数量的对所述目标数据块组的访问时刻与当前时刻的时间间隔；根据所述时间间隔确定所述目标数据块组的访问热度；根据所述访问热度确定所述目标数据块组是否为热点数据。
[0031]第三方面，一种存储介质，所述存储介质用于存储程序，所述程序被处理器执行时实现任一项所述的热点数据确定方法。
[0032]第四方面，一种设备，所述设备包括至少一个处理器、以及与所述处理器连接的至少一个存储器、总线；其中，所述处理器、所述存储器通过所述总线完成相互间的通信；所述处理器用于调用所述存储器中的程序，所述程序至少用于实现任一项所述的热点数据确定方法。
[0033]本专利技术实施例提供的一种热点数据确定方法、装置、设备和存储介质，通过获得数据访问请求；确定所述数据访问请求所请求访问的各数据块，确定所述各数据块所在的至少一个目标数据块组；对任一所述目标数据块组：当缓存设备中不存在所述目标数据块组时，记录获得所述数据访问请求本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种热点数据确定方法，其特征在于，包括：获得数据访问请求；确定所述数据访问请求所请求访问的各数据块，确定所述各数据块所在的至少一个目标数据块组；对任一所述目标数据块组：当缓存设备中不存在所述目标数据块组时，记录获得所述数据访问请求的时刻，将所述时刻确定为对所述目标数据块组的访问时刻；获得记录的距离当前时刻最近的预设数量的对所述目标数据块组的访问时刻，分别确定所述预设数量的对所述目标数据块组的访问时刻与当前时刻的时间间隔；根据所述时间间隔确定所述目标数据块组的访问热度；根据所述访问热度确定所述目标数据块组是否为热点数据。2.根据权利要求1所述的方法，其特征在于，所述数据访问请求至少包括：数据偏移量和数据访问量，所述方法还包括：对任一所述目标数据块组：根据所述数据偏移量和数据访问量，确定所述数据访问请求所请求访问的、位于所述目标数据块组中的数据的第一数据量；所述根据所述时间间隔确定所述目标数据块组的访问热度，具体包括：根据所述时间间隔和所述第一数据量确定所述目标数据块组的访问热度。3.根据权利要求2所述的方法，其特征在于，所述根据所述时间间隔和所述第一数据量确定所述目标数据块组的访问热度，包括：计算所述第一数据量和所述目标数据块组的数据量的比值得到所述目标数据块组的当前访问覆盖率并记录；获得记录的距离当前时刻最近的预设数量的对所述目标数据块组的访问覆盖率；根据所述时间间隔和所述预设数量的对所述目标数据块组的访问覆盖率确定所述目标数据块组的访问热度。4.根据权利要求3所述的方法，其特征在于，所述根据所述时间间隔和所述预设数量的对所述目标数据块组的访问覆盖率确定所述目标数据块组的访问热度，包括：根据公式1：计算得到目标数据块组j的访问热度，其中，所述j是目标数据块组的标号，所述i是访问顺序的标号，所述n为所述预设数量，所述score
j
是目标数据块组j的访问热度，所述coverage
ji
是对所述目标数据块组j的、当前时刻之前的第i次访问进行计算得到并记录的访问覆盖率，所述zoom_factor是预设的缩放因子，所述delta_time
ji
是对所述目标数据块组j进行所述第i次访问的访问时刻与所述当前时刻的时间间隔，所述目标数据块组j至少包括一个数据块。5.根据...
【专利技术属性】
技术研发人员：徐佳宏，朱吕亮，刘瑞顺，
申请(专利权)人：深圳市茁壮网络股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。