热点数据的识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术提供了一种热点数据的识别方法、装置、设备及存储介质，属于存储技术领域。本发明专利技术考虑到云存储系统的流式存储方式，提供了能够适用于云存储系统的热点数据识别方法，通过结合云存储系统当前的存储周期，来确定热点数据的统计周期，将统计周期划分为一个个时间分片，根据每个数据采集设备在每个时间分片的访问行为次数，来确定云存储系统在当前的统计周期的热点数据，令识别热点数据的过程也具有时间属性，成为一个动态的过程，由于热点数据的统计周期属于云存储系统的存储周期，可以保证统计范围的所有数据均是云存储系统当前正在存储的数据，而不包含已被删除或已被覆盖写的老数据，极大地提高了云存储系统中识别热点数据的准确性。

Hot spot data identification method, device, equipment and storage medium

【技术实现步骤摘要】
热点数据的识别方法、装置、设备及存储介质
本专利技术涉及存储
，特别涉及一种热点数据的识别方法、装置、设备及存储介质。
技术介绍
热点数据是指存储系统中被频繁访问的数据，对于存储系统来说，如何从存储系统存储的大量数据中识别出热点数据，对于存储系统来说有着重要的影响。在存储系统运行中，每当用户对任一存储空间的数据触发访问行为时，存储系统可以记录当前时间点，作为该存储空间的访问时间点，在识别热点数据的过程中，对于每个存储空间，可以根据该存储空间对应的访问时间点，确定该存储空间最近几次被访问的时间间隔，当该时间间隔小于时间间隔阈值时，会将该存储空间存储的数据，作为存储系统的热点数据。上述方案仅适用于采用静态存储方式的存储系统来识别热点数据，而对于采用流式存储方式的云存储系统来说，云存储系统每经过当前的存储周期，就会在存储节点中已经存储的数据的基础上，覆盖写入新数据，由于每个存储节点存储的数据会随着时间的推移而动态刷新，导致云存储系统无法应用上述方案识别热点数据。
技术实现思路
本专利技术实施例提供了一种热点数本文档来自技高网...

【技术保护点】
1.一种热点数据的识别方法，其特征在于，所述方法包括：/n根据云存储系统当前的存储周期，确定热点数据的统计周期，所述统计周期属于所述存储周期；/n将所述统计周期划分为至少一个时间分片；/n根据至少一条用户行为记录，获取至少一个数据采集设备在所述至少一个时间分片的访问行为次数，所述至少一个数据采集设备采集的数据存储于所述云存储系统中，每条用户行为记录用于记录用户对任一数据采集设备在任一时间段的数据的一次访问行为；/n当任一数据采集设备在任一时间分片的访问行为次数满足预设条件时，将所述数据采集设备的所述时间分片的数据，作为所述云存储系统在所述统计周期的热点数据。/n

【技术特征摘要】
1.一种热点数据的识别方法，其特征在于，所述方法包括：
根据云存储系统当前的存储周期，确定热点数据的统计周期，所述统计周期属于所述存储周期；
将所述统计周期划分为至少一个时间分片；
根据至少一条用户行为记录，获取至少一个数据采集设备在所述至少一个时间分片的访问行为次数，所述至少一个数据采集设备采集的数据存储于所述云存储系统中，每条用户行为记录用于记录用户对任一数据采集设备在任一时间段的数据的一次访问行为；
当任一数据采集设备在任一时间分片的访问行为次数满足预设条件时，将所述数据采集设备的所述时间分片的数据，作为所述云存储系统在所述统计周期的热点数据。


2.根据权利要求1所述的方法，其特征在于，所述根据云存储系统当前的存储周期，确定热点数据的统计周期，包括：
根据当前时间点以及所述存储周期的时长，确定所述统计周期，所述统计周期包含所述当前时间点，且所述统计周期的时长小于或等于所述存储周期的时长。


3.根据权利要求1所述的方法，其特征在于，所述根据至少一条用户行为记录，获取至少一个数据采集设备在所述至少一个时间分片的访问行为次数，包括：
对于任一条用户行为记录，确定所述用户行为记录对应的数据采集设备以及时间段；
当所述时间段属于一个时间分片时，对所述数据采集设备在所述时间分片的访问行为次数递增；或，当所述时间段跨越多个时间分片时，对所述数据采集设备在所述多个时间分片的访问行为次数均递增。


4.根据权利要求1所述的方法，其特征在于，所述根据至少一条用户行为记录，获取至少一个数据采集设备在所述至少一个时间分片的访问行为次数，包括：
根据所述至少一条用户行为记录以及至少一种行为类型，获取至少一个数据采集设备在所述至少一个时间分片的至少一种行为类型对应的访问行为次数；
所述当任一数据采集设备在任一时间分片的访问行为次数满足预设条件时，将所述数据采集设备的所述时间分片的数据，作为所述云存储系统在所述统计周期的热点数据，包括：
当任一数据采集设备在任一时间分片的所述至少一种行为类型对应的访问行为次数满足预设条件时，将所述数据采集设备的所述时间分片的数据，作为所述云存储系统在所述统计周期的热点数据。


5.根据权利要求4所述的方法，其特征在于，所述当任一数据采集设备在任一时间分片的所述至少一种行为类型对应的访问行为次数满足预设条件时，将所述数据采集设备的所述时间分片的数据，作为所述云存储系统在所述统计周期的热点数据，包括：
根据所述至少一种行为类型对应的权重，对所述至少一种行为类型对应的访问行为次数加权求和，得到加权和值；
当所述加权和值大于或等于加权和值阈值时，将所述数据采集设备的所述时间分片的数据，作为所述云存储系统在所述统计周期的热点数据。


6.根据权利要求1所述的方法，其特征在于，所述根据至少一条用户行为记录，获取至少一个数据采集设备在所述至少一个时间分片的访问行为次数之前，所述方法还包括：
接收所述云存储系统中至少一个存储节点的至少一条用户行为信息，每条用户行为信息携带用户行为标识，所述用户行为标识用于标识用户对任一数据采集设备在任一时间段的数据的一次访问行为；
将同一用户行为标识对应的至少一条用户行为信息，合并为一条用户行为记录。


7.根据权利要求6所述的方法，其特征在于，所述接收所述云存储系统中至少一个存储节点的至少一条用户行为信息之前，所述方法还包括：
当检测到用户对任一数据采集设备在任一时间段的数据的一次访问行为时，生成用户行为标识；
根据所述数据划分的至少一个数据分片，确定所述云存储系统中存储了任一数据分片的存储节点，得到至少一个存储节点；
向所述至少一个存储节点，发送数据获取请求，所述数据获取请求携带所述用户行为标识，所述数据获取请求用于指示存储节点基于所述用户行为标识，生成用户行为信息；
接收所述至少一个存储节点的数据分片。


8.根据权利要求1所述的方法，其特征在于，所述将所述数据采集设备的所述时间分片的数据，作为所述云存储系统在所述统计周期的热点数据之后，所述方法还包括：
将所述热点数据从所述云存储系统的至少一个存储节点，转存至加速服务节点中；
当检测到...

【专利技术属性】
技术研发人员：丁光凯，王伟，林起芊，汪渭春，
申请(专利权)人：杭州海康威视系统技术有限公司，
类型：发明
国别省市：浙江;33