一种基于神经网络的热点数据的预测方法及系统技术方案

本申请提供的一种基于神经网络的热点数据的预测方法，首先获取用户在预设时间段内的历史访问记录作为监督数据集，然后以所述监督数据集为训练数据，对多层神经网络模型进行训练，直到所述多层神经网络模型预测热点数据的准确率大于阈值，得到目标多层神经网络模型；最后对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据。本发明专利技术根据用户的历史访问记录，有效的预测将来用户可能要访问的数据，提前加载下一时间单位的热点数据，并提前卸载缓存中下一时间单位的非热点数据，改善了用户使用体验，提升了系统性能。

A prediction method and system of hot spot data based on Neural Network

This application provides a method to predict the hot data based on neural network, the first access to the user in a preset period of time, the historical access records as supervision data set, and then the training data for the supervised data set for training multilayer neural network model, until the multilayer neural network model to predict the accuracy of hot data the target is greater than the threshold, a multilayer neural network model; finally through a plurality of data currently stored on the storage system, the target based on multilayer neural network model, in order to judge the storage system when stored in each data before a preset time whether the hot data unit. According to the historical records of data access to the user, effectively predict the future users may want to access the hot data loaded in advance next time units, and advance the non hot data cache next time unloading unit, improve the user experience, improve the performance of the system.

【技术实现步骤摘要】
一种基于神经网络的热点数据的预测方法及系统
本专利技术涉及数据存储
，更具体的，涉及一种基于神经网络的热点数据的预测方法及系统。
技术介绍
在现代存储系统中缓存加载和热点数据统计都具有滞后性，一般都是数据被访问一次或者多次之后才会被加载到缓存，才会知道这是数据热点，才会进行被加速加载，影响了系统的整体性能和用户体验。另外有一些老热点数据迟迟不释放缓存，这些老热点数据由于在过去的时间段经常被访问所以被加载到缓存，但在当前和未来时间段，这些老热点数据不再经常被访问但是仍然存储在缓存中，导致缓存拥挤，新的热点数据无法加入到缓存，影响系统性能的提升。
技术实现思路
有鉴于此，本专利技术提供了一种基于神经网络的热点数据的预测方法及装置，基于多层神经网络模型预设下一时间的热点数据，提升了系统性能和用户的使用体验。为了实现上述专利技术目的，本专利技术提供的具体的技术方案如下：一种基于神经网络的热点数据的预测方法，包括：获取监督数据集，所述监督数据集以预设时间单位为单位记录了预设时间段内用户的访问数据；以所述监督数据集为训练数据，对多层神经网络模型进行训练，直到所述多层神经网络模型预测热点数据的准确率大于阈值，得到目标多层神经网络模型；对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据。优选的，在所述依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据之后，所述方法还包括：根据所述目标多层神经网络模型的预测结果，依次判断每个下一预设时间单位的热点数据是否已加载到缓存；若否，将下一预设时间单位未加载到缓存的热点数据加载到缓存。优选的，在所述依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据之后，所述方法还包括：根据所述目标多层神经网络模型的预测结果，依次判断缓存中的数据是否为下一预设时间单位的热点数据；若否，对缓存中不是下一预设时间单位的数据进行卸载。优选的，所述获取监督数据集，包括：在所述预设时间段内，分别获取每个所述预设时间单位内用户访问数据在所述存储系统中的位置和访问频次；根据每个所述预设时间单位内的数据位置和访问频次，生成监督数据集。优选的，所述对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据，包括：按照遍历顺序，依次将存储系统当前存储的每个数据的时间参数和位置参数输入所述目标多层神经网络模型，每个所述数据的时间参数为下一预设时间单位，每个所述数据的位置参数为在所述存储系统中的相应位置；获取与每个所述数据相对应的所述目标多层神经网络模型的输出结果，所述输出结果为访问或未访问，当输出结果为访问时，相应的所述数据为热点数据。一种基于神经网络的热点数据的预测系统，包括：获取单元，用于获取监督数据集，所述监督数据集以预设时间单位为单位记录了预设时间段内用户的访问数据；训练单元，用于以所述监督数据集为训练数据，对多层神经网络模型进行训练，直到所述多层神经网络模型预测热点数据的准确率大于阈值，得到目标多层神经网络模型；预测单元，用于对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据。优选的，所述系统还包括：第一判断单元，用于根据所述目标多层神经网络模型的预测结果，依次判断每个下一预设时间单位的热点数据是否已加载到缓存；若否，将下一预设时间单位未加载到缓存的热点数据加载到缓存。优选的，所述系统还包括：第二判断单元，用于根据所述目标多层神经网络模型的预测结果，依次判断缓存中的数据是否为下一预设时间单位的热点数据；若否，对缓存中不是下一预设时间单位的数据进行卸载。优选的，所述获取单元包括：第一获取子单元，用于在所述预设时间段内，分别获取每个所述预设时间单位内用户访问数据在所述存储系统中的位置和访问频次；生成子单元，用于根据每个所述预设时间单位内的数据位置和访问频次，生成监督数据集。优选的，所述预测单元包括：输入子单元，用于按照遍历顺序，依次将存储系统当前存储的每个数据的时间参数和位置参数输入所述目标多层神经网络模型，每个所述数据的时间参数为下一预设时间单位，每个所述数据的位置参数为在所述存储系统中的相应位置；第二获取子单元，用于获取与每个所述数据相对应的所述目标多层神经网络模型的输出结果，所述输出结果为访问或未访问，当输出结果为访问时，相应的所述数据为热点数据。相对于现有技术，本专利技术的有益效果如下：本专利技术提供的一种基于神经网络的热点数据的预测方法，首先获取用户在预设时间段内的历史访问记录作为监督数据集，然后以所述监督数据集为训练数据，对多层神经网络模型进行训练，直到所述多层神经网络模型预测热点数据的准确率大于阈值，得到目标多层神经网络模型；最后对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据。本专利技术根据用户的历史访问记录，有效的预测将来用户可能要访问的数据，提前加载下一时间单位的热点数据，使用户实际访问该热点数据时，该热点数据已经被加载到缓存，快速向用户反馈用户所要访问的数据，改善了用户使用体验。同时，提前卸载缓存中下一时间单位的非热点数据，提高了缓存的利用效率，提升了系统性能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1为本专利技术实施例公开的一种基于神经网络的热点数据的预测方法流程图；图2为本专利技术实施例公开的另一种基于神经网络的热点数据的预测方法流程图；图3为本专利技术实施例公开的一种基于神经网络的热点数据的预测系统结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本实施例公开了一种基于神经网络的热点数据的预测方法，具体包括以下步骤：S101：获取监督数据集；所述监督数据集以预设时间单位为单位记录了预设时间段内用户的访问数据。所述预设时间段为当前时间之前的某段时间，可以为一周、一个月等等。预设时间单位为监督数据集的数据存储单位，可以为分钟等时间单位。优选的，S101的具体执行过程如下：在所述预设时间段内，分别获取每个所述预设时间单位内用户访问数据在所述存储系统中的位置和访问频次；根据每个所述预设时间单位内的数据位置和访问频次，生成监督数据集。可以理解的是，所述监督数据集包含了所述预设时间段内每个预设时间单位的所有被用户访问的数据。需要说明的是，所述监督数据集中数据对应的时间要素包括：年、月、日、星期、时、分、秒、是否节假日。若所述预设时间段为一周，则年、月日可不必输入，若所述预设时间单位本文档来自技高网...

【技术保护点】
一种基于神经网络的热点数据的预测方法，其特征在于，包括：获取监督数据集，所述监督数据集以预设时间单位为单位记录了预设时间段内用户的访问数据；以所述监督数据集为训练数据，对多层神经网络模型进行训练，直到所述多层神经网络模型预测热点数据的准确率大于阈值，得到目标多层神经网络模型；对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据。

【技术特征摘要】
1.一种基于神经网络的热点数据的预测方法，其特征在于，包括：获取监督数据集，所述监督数据集以预设时间单位为单位记录了预设时间段内用户的访问数据；以所述监督数据集为训练数据，对多层神经网络模型进行训练，直到所述多层神经网络模型预测热点数据的准确率大于阈值，得到目标多层神经网络模型；对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据。2.根据权利要求1所述的方法，其特征在于，在所述依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据之后，所述方法还包括：根据所述目标多层神经网络模型的预测结果，依次判断每个下一预设时间单位的热点数据是否已加载到缓存；若否，将下一预设时间单位未加载到缓存的热点数据加载到缓存。3.根据权利要求1所述的方法，其特征在于，在所述依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据之后，所述方法还包括：根据所述目标多层神经网络模型的预测结果，依次判断缓存中的数据是否为下一预设时间单位的热点数据；若否，对缓存中不是下一预设时间单位的数据进行卸载。4.根据权利要求1所述的方法，其特征在于，所述获取监督数据集，包括：在所述预设时间段内，分别获取每个所述预设时间单位内用户访问数据在所述存储系统中的位置和访问频次；根据每个所述预设时间单位内的数据位置和访问频次，生成监督数据集。5.根据权利要求1所述的方法，其特征在于，所述对存储系统当前存储的多个数据进行遍历，基于所述目标多层神经网络模型，依次判断所述存储系统当前存储的每个数据在下一预设时间单位是否为热点数据，包括：按照遍历顺序，依次将存储系统当前存储的每个数据的时间参数和位置参数输入所述目标多层神经网络模型，每个所述数据的时间参数为下一预设时间单位，每个所述数据的位置参数为在所述存储系统中的相应位置；获取与每个所述数据相对应的所述目标多层神经网络模型的输出结果...

【专利技术属性】
技术研发人员：朱广传，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41