System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据处理,尤其涉及一种缓存预热方案的获取方法、装置及电子设备。
技术介绍
1、一般情况下,大中型企业会建设多个信息系统,多个信息系统通过分工协作,共同完成企业业务内部管理功能,或者对外部企业客户提供服务。由于每个信息系统功能定位不同,具有自己的专属功能,也具有自己的专属业务数据。例如,中后台系统一般为渠道系统提供通用数据支持,通用业务支持等,因此很多情况下需要频繁在数据库查询业务数据,而在某一时刻访问量较大的情况下,频繁查询数据库会影响数据库性能,严重情况甚至会导致数据库宕机。因此在业务数据更新频率不高的情况下,引入缓存系统能避免频繁访问数据库从而提升系统性能。
2、目前,常用的预热方案主要有定时预热。定时预热是指在系统低峰时段,通过程序定时启动预热缓存。但是,定时预热需要事先规划好预热时间和预热数据,这样在预热时间将预热数据放入缓存系统。而预热时间和预热数据的规划比较依赖于人工经验,存在预热准确性较差的问题。
3、因此,亟需一种能够获得预热时间和预热数据的技术方案,以提高预热缓存的准确性。
技术实现思路
1、有鉴于此,本申请提供一种缓存预热方案的获取方法、装置及电子设备,用以解决现有技术中预热缓存的准确性较低的技术问题,如下:
2、一种缓存预热方案的获取方法,所述方法包括:
3、根据数据库在第一日期的实际访问数据,获得所述数据库在第二日期的预测访问数据,所述第二日期为所述第一日期之后的未来日期,所述预测访问数据包括:在所述
4、根据每个所述时段中的所述预测访问语句,获得高峰阈值和低峰阈值;
5、按照所述高峰阈值和所述低峰阈值,在所述多个时段中筛选出高峰时段和与所述高峰时段满足关联条件的低峰时段;
6、根据所述高峰时段中的所述预测访问语句在所述数据库中对应的热点数据和与所述高峰时段满足所述关联条件的低峰时段,生成缓存预热方案,所述缓存预热方案用于指示在第二日期中的所述低峰时段将所述热点数据保存到缓存系统。
7、上述方法,优选的,根据数据库在第一日期的实际访问数据,获得所述数据库在第二日期的预测访问数据,包括:
8、对数据库在第一日期的实际访问数据中的实际访问语句提取语句关键信息;
9、将所述语句关键信息进行处理,以得到信息序列;
10、将所述信息序列输入到基于transformer的预测模型,以得到基于transformer的预测模型输出的预测访问关键词和预测访问时间,所述预测访问关键词对应于预测访问语句;所述预测访问语句和所述预测访问时间组成所述数据库在第二日期的预测访问数据;
11、其中,所述基于transformer的预测模型基于输入样本和输出样本进行训练得到,所述输入样本包括:第一历史日期的实际访问数据对应的信息序列,所述输出样本包括:第二历史日期的实际访问关键词和实际访问时间。
12、上述方法,优选的,所述方法还包括:
13、根据所述热点数据在所述缓存系统中的访问命中率,更新所述基于transformer的预测模型中的至少部分模型参数。
14、上述方法,优选的,所述预测访问语句为预测查询语句或其他访问语句,所述预测查询语句用于在所述数据库中进行数据查询;
15、其中,根据每个所述时段中的所述预测访问语句,获得高峰阈值和低峰阈值,包括:
16、至少根据所述第二日期中每个所述时段之间在所述预测查询语句上的平均数量,和所述第二日期所包含的每个所述时段中在所述预测查询语句上的最大数量,获得高峰阈值;
17、至少根据所述第二日期中每个所述时段之间在预测访问语句上的平均数量,和所述第二日期所包含的每个所述时段中在所述预测访问语句上的最小数量,获得低峰阈值。
18、上述方法,优选的,所述预测访问语句为预测查询语句或预测更新语句,所述预测查询语句用于在所述数据库中进行数据查询,所述预测更新语句用于在所述数据库中进行数据修改;
19、其中,按照所述高峰阈值和所述低峰阈值,在所述多个时段中筛选出高峰时段和与所述高峰时段满足关联条件的低峰时段,包括:
20、根据每个所述时段中所述预测查询语句的数量和所述预测更新语句的数量,获得每个所述时段对应的热点参数;
21、将所述热点参数大于所述高峰阈值的时段确定为高峰时段;
22、将所述热点参数小于所述低峰阈值且与所述高峰时段满足关联条件的时段确定为所述高峰时段对应的低峰时段。
23、上述方法,优选的,所述关联条件包括:所述低峰时段在其对应的高峰时段之前,且,所述低峰时段与其对应的高峰时段最近,且,所述热点数据在所述低峰时段到所述高峰时段之间的时段上没有所述热点数据对应的所述预测更新语句。
24、上述方法,优选的,所述热点参数为:所述时段中所述预测查询语句的数量,减去,使用热点系数对所述预测更新语句的数量进行调整后的数量。
25、上述方法,优选的,所述方法还包括:
26、为保存到所述缓存系统的所述热点数据设置对应的过期时长;
27、其中,所述过期时长根据所述热点数据从当前时段到目标时段之间的时段数量确定,所述目标时段为有所述热点数据对应的预测访问语句的时段。
28、一种缓存预热方案的获取装置,所述装置包括:
29、访问预测单元,用于根据数据库在第一日期的实际访问数据,获得所述数据库在第二日期的预测访问数据,所述第二日期为所述第一日期之后的未来日期,所述预测访问数据包括:在所述第二日期中针对所述数据库的预测访问语句和所述预测访问语句对应的预测访问时间;且,所述第二日期被划分为多个时段,所述预测访问语句按照其对应的预测访问时间被划分到相应的时段;
30、阈值获得单元,用于根据每个所述时段中的所述预测访问语句,获得高峰阈值和低峰阈值;
31、时段筛选单元,用于按照所述高峰阈值和所述低峰阈值,在所述多个时段中筛选出高峰时段和与所述高峰时段满足关联条件的低峰时段;
32、方案生成单元,用于根据所述高峰时段中的所述预测访问语句在所述数据库中对应的热点数据和与所述高峰时段满足所述关联条件的低峰时段,生成缓存预热方案,所述缓存预热方案用于指示在第二日期中的所述低峰时段将所述热点数据保存到缓存系统。
33、一种电子设备,包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如上述中任一项所述的缓存预热方案的获取方法。
34、从上述技术方案可以看出,本申请公开的一种缓存预热方案的获取方法、装置及电子设备本文档来自技高网...
【技术保护点】
1.一种缓存预热方案的获取方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,根据数据库在第一日期的实际访问数据,获得所述数据库在第二日期的预测访问数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1或2所述的方法,其特征在于,所述预测访问语句为预测查询语句或其他访问语句,所述预测查询语句用于在所述数据库中进行数据查询;
5.根据权利要求1或2所述的方法,其特征在于,所述预测访问语句为预测查询语句或预测更新语句,所述预测查询语句用于在所述数据库中进行数据查询,所述预测更新语句用于在所述数据库中进行数据修改;
6.根据权利要求5所述的方法,其特征在于,所述关联条件包括:所述低峰时段在其对应的高峰时段之前,且,所述低峰时段与其对应的高峰时段最近,且,所述热点数据在所述低峰时段到所述高峰时段之间的时段上没有所述热点数据对应的所述预测更新语句。
7.根据权利要求5所述的方法,其特征在于,所述热点参数为:所述时段中所述预测查询语句的数量,减去,使用热点系数
8.根据权利要求1或2所述的方法,其特征在于,所述方法还包括:
9.一种缓存预热方案的获取装置,其特征在于,所述装置包括:
10.一种电子设备,其特征在于,包括至少一个处理器、以及与处理器连接的至少一个存储器、总线;其中,所述处理器、所述存储器通过所述总线完成相互间的通信;所述处理器用于调用所述存储器中的程序指令,以执行如权利要求1-8中任一项所述的缓存预热方案的获取方法。
...【技术特征摘要】
1.一种缓存预热方案的获取方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,根据数据库在第一日期的实际访问数据,获得所述数据库在第二日期的预测访问数据,包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1或2所述的方法,其特征在于,所述预测访问语句为预测查询语句或其他访问语句,所述预测查询语句用于在所述数据库中进行数据查询;
5.根据权利要求1或2所述的方法,其特征在于,所述预测访问语句为预测查询语句或预测更新语句,所述预测查询语句用于在所述数据库中进行数据查询,所述预测更新语句用于在所述数据库中进行数据修改;
6.根据权利要求5所述的方法,其特征在于,所述关联条件包括:所述低峰时段在其对应的高峰时...
【专利技术属性】
技术研发人员:陈人杰,
申请(专利权)人:中国农业银行股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。