热点数据迁移流控方法、装置、电子设备及存储介质制造方法及图纸

一种热点数据迁移流控方法，包括：每隔预设时间段记录用户访问的数据集；将所述数据集划分为多个数据块；判断所述多个数据块中是否有数据块为热点数据；当确定有数据块为热点数据时，判断被确定为热点数据的数据块是否写入缓存中；当判断被确定为热点数据的数据块没有写入缓存中时，获取迁移周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，将所述被确定为热点数据的数据块写入到缓存中。本发明专利技术还提供一种热点数据迁移流控装置、电子设备及存储介质。本发明专利技术能够在将热点数据写入缓存中、节省读取热点数据的时间的同时，避免对正常输入输出业务性能造成明显冲击，具有很好的流控效果。

Hot data migration flow control method, device, electronic device and storage medium

A flow control method for hot data migration includes: recording data sets accessed by users at preset intervals; dividing the data sets into multiple data blocks; judging whether there are data blocks in the multiple data blocks as hot data; and judging data blocks identified as hot data blocks when determining that there are data blocks as hot data Whether to write to the cache or not; when it is judged that the data block identified as the hot data is not written to the cache, the flow control threshold corresponding to the current statistical period in the migration cycle is obtained; based on the flow control threshold corresponding to the current statistical period, the data block identified as the hot data is written to the cache. The invention also provides a hot data migration flow control device, an electronic device and a storage medium. The invention can write hot data into the cache, save time for reading hot data, avoid obvious impact on normal input and output service performance, and has good flow control effect.

【技术实现步骤摘要】
热点数据迁移流控方法、装置、电子设备及存储介质
本专利技术涉及计算机
，具体涉及一种热点数据迁移流控方法、装置、电子设备及存储介质。
技术介绍
缓存就是数据交换的缓冲区，当某一硬件，如CPU，要读取数据时，会首先从缓存中查找需要的数据，如果找到了则直接执行，找不到的话则从内存中找。缓存的运行速度比内存快得多，故缓存的作用就是帮助硬件更快地运行。然而，缓存只是内存中少部分数据的复制品，所以硬件到缓存中寻找数据时，会出现找不到的情况(因为这些数据没有从内存复制到缓存中去)，此时硬件去内存中找数据，这样整个系统的运行速度就会慢下来。热点数据是硬件经常需要用到的数据，将热点数据提前存入到缓存中去，可以便于硬件调用热点数据时，能够直接从缓存中获取，以此节省数据获取的时间。然而，在将热点数据存储到缓存的过程中，会产生大量的输入输出(Input/Output，IO)，如果此时正好是用户应用的IO高峰期，会影响用户应用的响应时间，给用户带来不好的体验。
技术实现思路
鉴于以上内容，有必要提出一种热点数据迁移流控方法、装置、电子设备及存储介质，能够在将热点数据写入缓存中、节省读取热点数据的时间的同时，避免对正常输入输出业务性能造成明显冲击，具有很好的流控效果。本专利技术的第一方面提供一种热点数据迁移流控方法，所述方法包括：每隔预设时间段记录用户访问的数据集；将所述数据集划分为多个数据块；判断所述多个数据块中是否有数据块为热点数据；当确定有数据块为热点数据时，判断被确定为热点数据的数据块是否写入缓存中；当判断被确定为热点数据的数据块没有写入缓存中时，获取迁移周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，将所述被确定为热点数据的数据块写入到缓存中。优选的，将所述数据集划分为多个数据块包括：将所述数据集平均划分为预设数量的数据块；或将所述数据集随机划分为预设数量的数据块；或将所述数据集按照预设大小划分为多个数据块。优选的，所述判断所述多个数据块中是否有数据块为热点数据是通过计算数据块被访问的概率值，基于所述概率值预测数据块是否为热点数据，包括：统计每个数据块在所述预设时间段内被访问的次数；基于每个数据块在所述预设时间段内被访问的次数，计算每个数据块在所述预设时间段内被访问的概率值；判断每个数据块被访问的概率值是否大于预设概率值；当判断数据块被访问的概率值大于所述预设概率值时，确定大于所述预设概率值的被访问的概率值对应的数据块为热点数据；当判断数据块被访问的概率值小于或者等于所述预设概率值时，确定小于或者等于所述预设概率值的被访问的概率值对应的数据块为非热点数据。优选的，所述获取迁移周期内的当前统计周期对应的流控阈值包括：判断当前统计周期是否为第一个统计周期；当确定所述当前统计周期为第一个统计周期时，将预设流控阈值确定为所述当前统计周期对应的流控阈值；当确定所述当前统计周期不为第一个统计周期时，获取上一个统计周期内用户应用的IO负载，根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值。优选的，根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值包括：获取上一个统计周期内用户应用的每一个IO的数据块大小，计算所述上一个统计周期内的IO的平均数据块大小；获取所述上一个统计周期内的每个数据块的传输时延，计算所述上一个统计周期内的IO的平均数据块时延；获取预先设置的IO的数据块大小的基准值及对应的数据块时延的基准值；根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度；根据所述上一个统计周期内的IO负载强度，利用预先训练好的负载分类模型确定所述上一个统计周期内的IO负载类别；根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值。优选的，所述根据所述上一个统计周期内的所述IO的平均数据块大小、平均数据块时延、数据块大小的基准值、对应的数据块时延的基准值，计算所述上一个统计周期内的IO负载强度的计算公式为：其中，X为上述上一个统计周期内的所述IO的平均数据块大小，Y为所述平均数据块时延，M为所述数据块大小的基准值，N为所述对应的数据块时延的基准值。优选的，所述根据上一个统计周期内的IO负载类别计算当前统计周期对应的流控阈值包括：当所述上一个统计周期内的IO负载类别为高负载类别时，将所述上一个统计周期对应的流控阈值降低第一预设幅度，得到当前统计周期对应的流控阈值；当所述上一个统计周期内的IO负载类别为低负载类别时，将所述上一个统计周期对应的流控阈值提高第二预设幅度，得到当前统计周期对应的流控阈值；当所述上一个统计周期内的IO负载类别为正常负载类别时，将所述上一个统计周期对应的流控阈值作为当前统计周期对应的流控阈值。本专利技术的第二方面提供一种热点数据迁移流控装置，所述装置包括：记录模块，用于每隔预设时间段记录用户访问的数据集；划分模块，用于将所述数据集划分为多个数据块；判断模块，用于判断所述多个数据块中是否有数据块为热点数据；判断模块，还用于当确定有数据块为热点数据时，判断被确定为热点数据的数据块是否写入缓存中；获取模块，用于当所述判断模块判断被确定为热点数据的数据块没有写入缓存中时，获取迁移周期内的当前统计周期对应的流控阈值；迁移模块，用于基于所述当前统计周期对应的流控阈值，将所述被确定为热点数据的数据块写入到缓存中。本专利技术的第三方面提供一种电子设备，所述电子设备包括处理器和存储器，所述处理器用于执行所述存储器中存储的计算机程序时实现所述热点数据迁移流控方法。本专利技术的第四方面提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现所述热点数据迁移流控方法。本专利技术所述的热点数据迁移流控方法、装置、电子设备及存储介质，每隔预设时间段记录用户访问的数据集，将所述数据集划分为多个数据块，在确定有数据块为热点数据且未被写入缓存时，通过获取迁移周期内的不同统计周期对应的流控阈值，基于所述每一个统计周期对应的流控阈值，将所述被确定为热点数据的数据块写入到缓存中，在提高用户数据迁移至缓存的效率、降低数据丢失风险的同时，能够避免对正常输入输出业务性能造成明显冲击，具有很好的流控效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。图1是本专利技术实施例一提供的热点数据迁移流控方法的流程图。图2是本专利技术实施例二提供的根据上一个统计周期内用户应用的IO负载确定当前统计周期对应的流控阈值的方法的流程图。图3是本专利技术实施例三提供的热点数据迁移流控装置的功能模块图。图4是本专利技术实施例四提供的电子设备的示意图。如下具体实施方式将结合上述附图进一步说明本专利技术。具体实施方式为了能够更清楚地理解本专利技术的上述目的、特征和优点，下面结合附图和具体实施例对本专利技术进行详细描述。需要说明的是，在不冲突的情况下，本专利技术的实施例及实施例中的特征本文档来自技高网...

【技术保护点】
1.一种热点数据迁移流控方法，其特征在于，所述方法包括：每隔预设时间段记录用户访问的数据集；将所述数据集划分为多个数据块；判断所述多个数据块中是否有数据块为热点数据；当确定有数据块为热点数据时，判断被确定为热点数据的数据块是否写入缓存中；当判断被确定为热点数据的数据块没有写入缓存中时，获取迁移周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，将所述被确定为热点数据的数据块写入到缓存中。

【技术特征摘要】
1.一种热点数据迁移流控方法，其特征在于，所述方法包括：每隔预设时间段记录用户访问的数据集；将所述数据集划分为多个数据块；判断所述多个数据块中是否有数据块为热点数据；当确定有数据块为热点数据时，判断被确定为热点数据的数据块是否写入缓存中；当判断被确定为热点数据的数据块没有写入缓存中时，获取迁移周期内的当前统计周期对应的流控阈值；基于所述当前统计周期对应的流控阈值，将所述被确定为热点数据的数据块写入到缓存中。2.如权利要求1所述的方法，其特征在于，将所述数据集划分为多个数据块包括：将所述数据集平均划分为预设数量的数据块；或将所述数据集随机划分为预设数量的数据块；或将所述数据集按照预设大小划分为多个数据块。3.如权利要求1所述的方法，其特征在于，所述判断所述多个数据块中是否有数据块为热点数据是通过计算数据块被访问的概率值，基于所述概率值预测数据块是否为热点数据，包括：统计每个数据块在所述预设时间段内被访问的次数；基于每个数据块在所述预设时间段内被访问的次数，计算每个数据块在所述预设时间段内被访问的概率值；判断每个数据块被访问的概率值是否大于预设概率值；当判断数据块被访问的概率值大于所述预设概率值时，确定大于所述预设概率值的被访问的概率值对应的数据块为热点数据；当判断数据块被访问的概率值小于或者等于所述预设概率值时，确定小于或者等于所述预设概率值的被访问的概率值对应的数据块为非热点数据。4.如权利要求1所述的方法，其特征在于，所述获取迁移周期内的当前统计周期对应的流控阈值包括：判断当前统计周期是否为第一个统计周期；当确定所述当前统计周期为第一个统计周期时，将预设流控阈值确定为所述当前统计周期对应的流控阈值；当确定所述当前统计周期不为第一个统计周期时，获取上一个统计周期内用户应用的IO负载，根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值。5.如权利要求4所述的方法，其特征在于，根据所述上一个统计周期内用户应用的IO负载，确定所述当前统计周期对应的流控阈值包括：获取上一个统计周期内用户应用的每一个IO的数据块大小，计算所述上一个统计周期内的IO的平均数据块大小；获取所述上一个统计周期内的每个数据块的传输时延，计算所述上一个统计周期内的IO的平均数据块时延；获取预先设置的IO的数据块大小的基准值及对应的数据块时延的基准值；根据所述上一个统计周期内的所...

【专利技术属性】
技术研发人员：陈学伟，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44