数据处理方法、装置、计算机可读存储介质及电子设备制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、计算机可读存储介质及电子设备。涉及大数据领域，该方法包括：响应目标对象对数据的访问请求，确定目标数据；在缓存区域未存储目标数据的情况下，从数据库获取目标数据；确定存储在缓存区域中的N个数据，并对于每个数据，根据数据的历史访问时间点以及数据在缓存区域中的被访问次数，确定数据的第一缓存价值；按照N个数据的第一缓存价值的大小顺序，对缓存区域中的数据进行删除，直至将目标数据存储至缓存区域；将目标数据反馈给目标对象。本发明专利技术解决了现有技术中为了提高在响应用户的访问请求时的缓存命中率，对数据进行缓存替换所存在的替换准确性差的技术问题。换准确性差的技术问题。换准确性差的技术问题。

【技术实现步骤摘要】
数据处理方法、装置、计算机可读存储介质及电子设备


[0001]本专利技术涉及大数据领域，具体而言，涉及一种数据处理方法、装置、计算机可读存储介质及电子设备。

技术介绍

[0002]各大应用、系统为了减少I/O(输入/输出，Input/Output)、CPU(中央处理器，Central Processing Unit)等资源消耗，提高运行处理效率都会加入缓存机制以实现快速响应用户访问请求。缓存在实际应用中有着重要作用，能减少数据库访问次数，降低数据库负载。缓存的命中率是一个重要的判断缓存好坏有效与否的指标。而缓存替换策略则是提高缓存命中率的一个关键策略。目前，相关技术中的缓存替换算法通常基于数据的大小、将数据引入缓存的消耗等因素确定数据的缓存价值，然后根据缓存价值确定是否将数据从缓存中删除，从而具有对数据进行缓存替换所存在的替换准确性差的问题，进而导致缓存命中率低。
[0003]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0004]本专利技术实施例提供了一种数据处理方法、装置、计算机可读存储介质及电子设备，以至少解决现有技术中为了提高在响应用户的访问请求时的缓存命中率，对数据进行缓存替换所存在的替换准确性差的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种数据处理方法，包括：响应目标对象对数据的访问请求，根据访问请求确定目标对象请求访问的目标数据；在缓存区域未存储目标数据的情况下，从数据库中获取目标数据；在缓存区域的剩余缓存空间小于目标数据的数据大小的情况下，确定存储在缓存区域中的N个数据，并对于每个数据，根据数据的历史访问时间点以及数据在缓存区域中的被访问次数，确定数据的第一缓存价值，其中，N为正整数；按照N个数据的第一缓存价值的大小顺序，对缓存区域中的数据进行删除，直至缓存区域的剩余缓存空间大于或等于目标数据的数据大小的情况下，将目标数据存储至缓存区域；将数据库中的目标数据反馈给目标对象，或者，将缓存区域中的目标数据反馈给目标对象。
[0006]进一步地，历史访问时间点为多个，其中，数据处理方法还包括：根据当前访问时间点以及数据的历史访问时间点，确定当前访问时间点与所有历史访问时间点在日期维度上的关联程度值，得到第一数值；根据当前访问时间点以及数据的历史访问时间点，确定当前访问时间点与所有历史访问时间点在星期维度上的关联程度值，得到第二数值；根据第一数值和第二数值，确定第一目标数值，并根据第一目标数值与数据在缓存区域中的被访问次数，确定数据的第一缓存价值。
[0007]进一步地，数据处理方法还包括：确定每个历史访问时间点匹配的历史日期的日信息，并确定当前访问时间点匹配的当前日期的日信息；根据所有历史日期的日信息确定
历史平均访问日的日信息，得到目标日信息，并根据当前月份总天数、目标日信息以及当前日期的日信息，确定当前日期的日信息与目标日信息之间的日期差值，得到第一日期差值；确定每个历史访问时间点所属的月份，得到至少一个目标月份，并对于每个目标月份，确定目标月份下的历史访问时间点的时间分散程度值，得到目标月份匹配的时间分散值；计算各个目标月份匹配的时间分散值的均值，得到平均时间分散值；根据当前月份总天数、第一日期差值以及平均时间分散值，确定第一数值，其中，平均时间分散值、第一日期差值与第一数值负相关，当前月份总天数与第一数值正相关。
[0008]进一步地，数据处理方法还包括：确定每个历史访问时间点匹配的历史星期信息，并确定当前访问时间点匹配的当前星期信息；根据所有历史星期信息确定历史平均访问日的星期信息，得到目标星期信息，并根据星期总天数、目标星期信息和当前星期信息，确定当前星期信息与目标星期信息之间的日期差值，得到第二日期差值；计算平均时间分散值与当前月份总天数的比值，得到目标比值；根据星期总天数、第二日期差值以及目标比值，确定第二数值，其中，第二日期差值与第二数值负相关，星期总天数、目标比值与第一数值正相关。
[0009]进一步地，数据处理方法还包括：计算第一数值与第二数值的和，得到第一目标数值；根据数据在缓存区域中的被访问次数以及数据的数据大小确定数据的第一初始价值；计算第一目标数值和第一初始价值的乘积，得到第二初始价值；确定数据的膨胀因子，其中，膨胀因子为预设初始值，或者，膨胀因子为基于缓存区域中被数据替换掉的数据的第一缓存价值确定的；计算第二初始价值与膨胀因子的和，得到数据的第一缓存价值。
[0010]进一步地，数据处理方法还包括：在响应目标对象对数据的访问请求，根据访问请求确定目标对象请求访问的目标数据之后，在缓存区域存储有目标数据的情况下，从缓存区域中获取目标数据。
[0011]进一步地，数据处理方法还包括：在响应目标对象对数据的访问请求，根据访问请求确定目标对象请求访问的目标数据之前，清空缓存区域内的数据；确定数据库中具有历史访问记录的M个数据，得到M个历史数据，并确定每个历史数据的第二缓存价值，其中，M为正整数；按照M个历史数据的第二缓存价值的大小顺序，将M个历史数据中的历史数据存储至缓存区域内，直至缓存区域内的剩余缓存空间连续O次无法满足存储历史数据的条件，其中，O为正整数。
[0012]进一步地，数据处理方法还包括：对于每个历史数据，确定历史数据第一次被访问的月份；确定历史数据第一次被访问的月份与当前月份之间的月份数量；根据月份数量、历史数据的总被访问次数确定月均被访问次数；根据月均被访问次数、历史数据的历史访问时间点确定历史数据的第二缓存价值。
[0013]进一步地，历史数据的历史访问时间点为多个，其中，数据处理方法还包括：根据当前时间点以及历史数据的历史访问时间点，确定当前时间点与历史数据的所有历史访问时间点在日期维度上的关联程度值，得到第三数值；根据当前时间点以及历史数据的历史访问时间点，确定当前时间点与历史数据的所有历史访问时间点在星期维度上的关联程度值，得到第四数值；根据第三数值和第四数值，确定第二目标数值；对月均被访问次数取对数计算，得到第五数值，并计算第五数值与第二目标数值的乘积，得到历史数据的第二缓存价值。
[0014]根据本专利技术实施例的另一方面，还提供了一种数据处理装置，包括：第一确定模块，用于响应目标对象对数据的访问请求，根据访问请求确定目标对象请求访问的目标数据；第一获取模块，用于在缓存区域未存储目标数据的情况下，从数据库中获取目标数据；第二确定模块，用于在缓存区域的剩余缓存空间小于目标数据的数据大小的情况下，确定存储在缓存区域中的N个数据，并对于每个数据，根据数据的历史访问时间点以及数据在缓存区域中的被访问次数，确定数据的第一缓存价值，其中，N为正整数；第一存储模块，用于按照N个数据的第一缓存价值的大小顺序，对缓存区域中的数据进行删除，直至缓存区域的剩余缓存空间大于或等于目标数据的数据大小的情况下，将目标数据存储至缓存区域；发送模块，用于将数据库中的目标数据反馈给目标对象，或者，将缓存区域中的目标数据反馈给目标对象。
[0015]根据本专利技术实施例的另一方面，还提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：响应目标对象对数据的访问请求，根据所述访问请求确定所述目标对象请求访问的目标数据；在缓存区域未存储所述目标数据的情况下，从数据库中获取所述目标数据；在所述缓存区域的剩余缓存空间小于所述目标数据的数据大小的情况下，确定存储在所述缓存区域中的N个数据，并对于每个数据，根据所述数据的历史访问时间点以及所述数据在所述缓存区域中的被访问次数，确定所述数据的第一缓存价值，其中，N为正整数；按照所述N个数据的第一缓存价值的大小顺序，对所述缓存区域中的数据进行删除，直至所述缓存区域的剩余缓存空间大于或等于所述目标数据的数据大小的情况下，将所述目标数据存储至所述缓存区域；将所述数据库中的目标数据反馈给所述目标对象，或者，将所述缓存区域中的目标数据反馈给所述目标对象。2.根据权利要求1所述的方法，其特征在于，所述历史访问时间点为多个，其中，根据所述数据的历史访问时间点以及所述数据在所述缓存区域中的被访问次数，确定所述数据的第一缓存价值，包括：根据当前访问时间点以及所述数据的历史访问时间点，确定所述当前访问时间点与所有历史访问时间点在日期维度上的关联程度值，得到第一数值；根据所述当前访问时间点以及所述数据的历史访问时间点，确定所述当前访问时间点与所有历史访问时间点在星期维度上的关联程度值，得到第二数值；根据所述第一数值和所述第二数值，确定第一目标数值，并根据所述第一目标数值与所述数据在所述缓存区域中的被访问次数，确定所述数据的第一缓存价值。3.根据权利要求2所述的方法，其特征在于，根据当前访问时间点以及所述数据的历史访问时间点，确定所述当前访问时间点与所有历史访问时间点在日期维度上的关联程度值，得到第一数值，包括：确定每个历史访问时间点匹配的历史日期的日信息，并确定所述当前访问时间点匹配的当前日期的日信息；根据所有历史日期的日信息确定历史平均访问日的日信息，得到目标日信息，并根据当前月份总天数、所述目标日信息以及所述当前日期的日信息，确定所述当前日期的日信息与所述目标日信息之间的日期差值，得到第一日期差值；确定所述每个历史访问时间点所属的月份，得到至少一个目标月份，并对于每个目标月份，确定所述目标月份下的历史访问时间点的时间分散程度值，得到所述目标月份匹配的时间分散值；计算各个目标月份匹配的时间分散值的均值，得到平均时间分散值；根据所述当前月份总天数、所述第一日期差值以及所述平均时间分散值，确定所述第一数值，其中，所述平均时间分散值、所述第一日期差值与所述第一数值负相关，所述当前月份总天数与所述第一数值正相关。4.根据权利要求3所述的方法，其特征在于，根据所述当前访问时间点以及所述数据的历史访问时间点，确定所述当前访问时间点与所有历史访问时间点在星期维度上的关联程度值，得到第二数值，包括：
确定所述每个历史访问时间点匹配的历史星期信息，并确定所述当前访问时间点匹配的当前星期信息；根据所有历史星期信息确定历史平均访问日的星期信息，得到目标星期信息，并根据星期总天数、所述目标星期信息和所述当前星期信息，确定所述当前星期信息与所述目标星期信息之间的日期差值，得到第二日期差值；计算所述平均时间分散值与所述当前月份总天数的比值，得到目标比值；根据所述星期总天数、所述第二日期差值以及所述目标比值，确定所述第二数值，其中，所述第二日期差值与所述第二数值负相关，所述星期总天数、所述目标比值与所述第一数值正相关。5.根据权利要求2所述的方法，其特征在于，根据所述第一数值和所述第二数值，确定第一目标数值，并根据所述第一目标数值与所述数据在所述缓存区域中的被访问次数，确定所述数据的第一缓存价值，包括：计算所述第一数值与所述第二数值的和，得到所述第一目标数值；根据所述数据在所述缓存区域中的被访问次数以及所述数据的数据大小确定所述数据...

【专利技术属性】
技术研发人员：吴祯慷，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：