本申请实施例公开了一种数据处理方法、装置、设备、存储介质及计算机程序产品；可获取本地存储中的项目数据包，并根据项目数据包确定缓存在历史时刻的待修复数据和有效数据；根据缓存在历史时刻的数据访问记录，确定待修复数据的无效访问率，以及确定有效数据的有效访问率；根据无效访问率及有效访问率确定当前时刻的修复增益值；根据有效访问率及修复增益值确定当前时刻的待修复数据的控制比值；根据项目数据包，按照待修复数据的控制比值对待修复数据进行修复处理。以此，实现根据控制比值对缓存中的待修复数据进行更新、修复，避免同一时间对缓存中的大量数据进行更新，降低系统的运行负载，有效避免过载的现象，保障系统性能。保障系统性能。保障系统性能。
【技术实现步骤摘要】
数据处理方法、装置、设备、存储介质及计算机程序产品
[0001]本申请涉及计算机
，具体涉及一种数据处理方法、装置、设备、存储介质及计算机程序产品。
技术介绍
[0002]随着信息技术的发展，满足人们对业务信息的查询、获取需求，其主要依赖于存储系统或缓存中的数据支撑。然而，通过缓存读取的方式可以提高用户在查询业务信息时的效率，当存储系统中的旧数据被重新发布、更新时，缓存中相应的数据将会失效，影响对缓存中数据的使用。为了确保缓存中数据的有效性，相关技术在检测到存储系统中的数据被修改、发布时，即时将存储系统中的更新数据重新加载至缓存中，以确保缓存中的数据有效。
[0003]在对现有技术的研究和实践过程中，本申请的专利技术人发现现有技术在检测到存储系统中的批量数据被修改、发布时，同时对缓存中的大量数据进行更新，这将会增加系统的运行负载，容易造成过载的现象，影响系统性能。
技术实现思路
[0004]本申请实施例提供一种数据处理方法、装置、设备、存储介质及计算机程序产品。可降低系统的运行负载，有效避免过载的现象，保障系统性能。
[0005]本申请实施例提供一种数据处理方法，包括：
[0006]获取本地存储中的项目数据包，并根据所述项目数据包确定缓存在历史时刻的待修复数据和有效数据；
[0007]根据所述缓存在历史时刻的数据访问记录，确定所述待修复数据的无效访问率，以及确定所述有效数据的有效访问率；
[0008]根据所述无效访问率及有效访问率确定当前时刻的修复增益值；
[0009]根据所述有效访问率及修复增益值确定当前时刻的待修复数据的控制比值；
[0010]根据所述项目数据包，按照所述待修复数据的控制比值对所述待修复数据进行修复处理。
[0011]相应的，本申请实施例提供一种数据处理装置，包括：
[0012]获取单元，用于获取本地存储中的项目数据包，并根据所述项目数据包确定缓存在历史时刻的待修复数据和有效数据；
[0013]第一确定单元，用于根据所述缓存在历史时刻的数据访问记录，确定所述待修复数据的无效访问率，以及确定所述有效数据的有效访问率；
[0014]第二确定单元，用于根据所述无效访问率及有效访问率确定当前时刻的修复增益值；
[0015]第三确定单元，用于根据所述有效访问率及修复增益值确定当前时刻的待修复数据的控制比值；
[0016]处理单元，用于根据所述项目数据包，按照所述待修复数据的控制比值对所述待修复数据进行修复处理。
[0017]在一些实施例中，所述获取单元，还用于：
[0018]获取本地存储中每一项目数据包对应的更新时间；
[0019]根据更新时间确定缓存在历史时刻的待修复数据和有效数据。
[0020]在一些实施例中，所述获取单元，还用于：
[0021]获取与所述项目数据包对应的目标缓存数据的缓存更新时间；
[0022]根据所述缓存更新时间及对应的所述更新时间，确定所述目缓存标数据与对应的所述项目数据包之间的更新时序；
[0023]根据每一所述更新时序，确定所述缓存在历史时刻的待修复数据和有效数据。
[0024]在一些实施例中，所述获取单元，还用于：
[0025]将缓存中每一目标缓存数据与本地存储中对应的所述项目数据包进行对比，得到每一目标缓存数据对应的对比结果；
[0026]根据所述对比结果，确定所述缓存在历史时刻的待修复数据和有效数据。
[0027]在一些实施方式，所述获取单元，还用于：
[0028]若所述对比结果为所述目标缓存数据与对应的所述项目数据包相同，则将所述与对应的所述项目数据包相同的目标缓存数据确定为所述缓存在历史时刻的有效数据；以及
[0029]若所述对比结果为所述目标缓存数据与对应的所述项目数据包不同，则将所述与对应的所述项目数据包不同的目标缓存数据确定为待确认数据，并根据所述待确认数据确定所述缓存在历史时刻的待修复数据。
[0030]在一些实施方式，所述获取单元，还用于：
[0031]根据所述更新时间确定对应的所述项目数据包在所述历史时刻的时间差值；
[0032]获取缓存对应的预设更新时效，并将所述时间差值与所述预设更新时效进行对比；
[0033]若所述时间差值大于或等于所述预设更新时效，则将所述待确认数据中与所述大于或等于所述预设更新时效的项目数据包对应的待确认子数据确定为无效数据；
[0034]若所述时间差值小于所述预设更新时效，则获取位于所述历史时刻的前一时刻对应的待修复数据的第一控制比值，以及获取所述历史时刻对应的待修复数据比值；
[0035]若所述待修复数据比值小于所述第一控制比值，则将所述待确认数据中所述时间差值小于所述预设更新时效对应的待确认子数据确定为无效数据；
[0036]将所述无效数据确定为所述缓存在历史时刻的待修复数据。
[0037]在一些实施方式，所述第一确定单元，还用于：
[0038]获取所述缓存在历史时刻的数据访问记录；
[0039]识别所述数据访问记录中的总访问量、所述待修复数据的第一访问量及有效数据的第二访问量；
[0040]根据所述第一访问量与所述总访问量的比值，确定所述待修复数据的无效访问率；以及
[0041]根据所述第二访问量与所述总访问量的比值，确定所述有效数据的有效访问率。
[0042]在一些实施方式，所述第二确定单元，还用于：
[0043]获取所述无效访问率与所述有效访问率之间的访问率差值；
[0044]获取预设数据修复时间，并根据所述访问率差值及预设数据修复时间确定当前时刻的修复增益值。
[0045]在一些实施方式，所述数据处理装置还包括第四确定单元，用于：
[0046]根据所述无效访问率与所述有效访问率确定当前时刻的目标访问率差值；
[0047]将所述目标访问率差值与所述历史时刻对应的访问率差值进行对比；
[0048]若所述目标访问率差值小于所述历史时刻对应的访问率差值，则获取所述缓存在所述历史时刻的待修复数据的历史控制比值；
[0049]若所述历史控制比值小于所述当前时刻的待修复数据的控制比值，则将所述历史控制比值确定为当前时刻的待修复数据的目标控制比值；
[0050]则所述处理单元，还用于根据所述项目数据包按照所述目标控制比值对所述待修复数据进行修复处理。
[0051]此外，本申请实施例还提供一种计算机设备，包括处理器和存储器，所述存储器存储有计算机程序，所述处理器用于运行所述存储器内的计算机程序实现本申请实施例提供的数据处理方法中的步骤。
[0052]此外，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本申请实施例所提供的任一种数据处理方法中的步骤。
[0053]此外，本申请实施例还提供一种本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取本地存储中的项目数据包，并根据所述项目数据包确定缓存在历史时刻的待修复数据和有效数据；根据所述缓存在历史时刻的数据访问记录，确定所述待修复数据的无效访问率，以及确定所述有效数据的有效访问率；根据所述无效访问率及有效访问率确定当前时刻的修复增益值；根据所述有效访问率及修复增益值确定当前时刻的待修复数据的控制比值；根据所述项目数据包，按照所述待修复数据的控制比值对所述待修复数据进行修复处理。2.根据权利要求1所述的方法，其特征在于，所述根据所述项目数据包确定缓存在历史时刻的待修复数据和有效数据，包括：识别所述项目数据包对应的更新时间；根据所述更新时间确定缓存在历史时刻的待修复数据和有效数据。3.根据权利要求1所述的方法，其特征在于，所述根据所述更新时间确定缓存在历史时刻的待修复数据和有效数据，包括：获取与所述项目数据包对应的目标缓存数据的缓存更新时间；根据所述缓存更新时间及对应的所述更新时间，确定所述目缓存标数据与对应的所述项目数据包之间的更新时序；根据每一所述更新时序，确定所述缓存在历史时刻的待修复数据和有效数据。4.根据权利要求2所述的方法，其特征在于，所述根据每一所述更新时序，确定所述缓存在历史时刻的待修复数据和有效数据，包括：识别每一所述更新时序，得到每一所述更新时序对应的识别结果；若所述识别结果为所述缓存更新时间在对应的所述更新时间之后，则将所述缓存更新时间在对应的所述更新时间之后的目标缓存数据确定为所述缓存在历史时刻的有效数据；若所述识别结果为所述缓存更新时间在对应的所述更新时间之前，则将所述缓存更新时间在对应的所述更新时间之前的目标缓存数据确定为待确认数据，并根据所述待确认数据确定所述缓存在历史时刻的待修复数据。5.根据权利要求4所述的方法，其特征在于，所述根据所述待确认数据确定所述缓存在历史时刻的待修复数据，包括：根据所述更新时间确定对应的所述项目数据包在所述历史时刻的时间差值；获取缓存对应的预设更新时效，并将所述时间差值与所述预设更新时效进行对比；若所述时间差值大于或等于所述预设更新时效，则将所述待确认数据中与所述大于或等于所述预设更新时效的项目数据包对应的待确认子数据确定为无效数据；若所述时间差值小于所述预设更新时效，则获取位于所述历史时刻的前一时刻对应的待修复数据的第一控制比值，以及获取所述历史时刻对应的待修复数据比值；若所述待修复数据比值小于所述第一控制比值，则将所述待确认数据中所述时间差值小于所述预设更新时效对应的待确认子数据确定为无效数据；将所述无效数据确定为所述缓存在历史时刻的待修复数据。6.根据权利要...
【专利技术属性】
技术研发人员：林兆祥，李晓松，王津铭，李彪，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。