数据处理方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种数据处理方法、装置、电子设备及存储介质，涉及区块链技术领域。该方法包括：获取目标数据，目标数据为响应于消息队列中对应的读请求，从除缓存之外的存储介质获取到的数据，缓存包括一级缓存队列和至少一个二级缓存队列；若确定一级缓存队列符合数据清理条件，则确定一级缓存队列中待清理的数据以及待清理的数据对应的参考读请求的数量；根据数量确定存储待清理的数据的二级缓存队列的序号，将待清理的数据从一级缓存队列中删除、并存储至相应序号的二级缓存队列，将目标数据存储至一级缓存队列。本申请实施例能够实现通道间负载均衡，最终降低读请求的平均响应时间。应时间。应时间。

【技术实现步骤摘要】
数据处理方法、装置、电子设备及存储介质


[0001]本申请涉及区块链
，具体而言，本申请涉及一种数据处理方法、装置、电子设备及存储介质。

技术介绍

[0002]当使用者第一次向数据库发出查询数据的请求的时候，数据库会先在缓存中查找该数据，如果要访问的数据恰好已经在缓存中(一般称之为Cache Hit)那么就直接用缓存中读取该数据，反之如果缓存中没有使用者要查询的数据那么这种情况称之为Cache Miss，在这种情况下数据库就会先从磁盘上读取使用者要的数据放入缓存，使用者再从缓存读取该数据。
[0003]基于Flash的SSD是磁盘的一种常见形式，该磁盘内部包含多个独立通道，这些通道之间的负载在特定的时间段内可能是不均衡的，含有较多热数据(即访问频率较高的数据)的通道的负载相应会更高，而另一些通道只包含冷数据(访问频率低的数据)很难被访问到。这种情况下，发送到负载较高的通道的读请求会有很长的等待延迟。
[0004]传统的缓存清理策略认为所有数据的缺失延迟(即数据未存储在缓存时，从SSD获取数据所造成的延迟)是一致的，并将命中率(命中数/(命中数+没有命中数)，若被访问的数据在缓存中则称之为命中)被作为衡量性能的主要指标，这种方式往往导致通道间的负载并不均衡，并且数据读读取请求的平均响应时间较高。

技术实现思路

[0005]本专利技术实施例提供一种克服上述问题或者至少部分地解决上述问题的数据处理方法、装置、电子设备及存储介质。
[0006]第一方面，提供了一种数据处理方法，该方法包括：
[0007]获取目标数据，目标数据为响应于消息队列中对应的读请求，从除缓存之外的存储介质获取到的数据，缓存包括一级缓存队列和至少一个二级缓存队列；
[0008]若确定一级缓存队列符合数据清理条件，则确定一级缓存队列中待清理的数据以及待清理的数据对应的参考读请求的数量；
[0009]根据数量确定存储待清理的数据的二级缓存队列的序号，将待清理的数据从一级缓存队列中删除、并存储至相应序号的二级缓存队列，将目标数据存储至一级缓存队列；
[0010]其中，序号用于表示相应的二级缓存队列中的数据被清理出缓存的优先级；参考读请求为在待清理的数据对应的读请求之前存储至消息队列，且在待清理的数据对应的读请求之后被读取的读请求。
[0011]第二方面，提供了一种数据处理装置，包括：
[0012]目标数据获取模块，用于获取目标数据，目标数据为响应于消息队列中对应的读请求，从除缓存之外的存储介质获取到的数据，缓存包括一级缓存队列和至少一个二级缓存队列；
[0013]待清理数据确定模块，用于若确定一级缓存队列符合数据清理条件，则确定一级缓存队列中待清理的数据以及待清理的数据对应的参考读请求的数量；
[0014]数据转存模块，用于根据数量确定存储待清理的数据的二级缓存队列的序号，将待清理的数据从一级缓存队列中删除、并存储至相应序号的二级缓存队列，将目标数据存储至一级缓存队列；
[0015]其中，序号用于表示相应的二级缓存队列中的数据被清理出缓存的优先级；参考读请求为在待清理的数据对应的读请求之前存储至消息队列，且在待清理的数据对应的读请求之后被读取的读请求。
[0016]第三方面，本专利技术实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现如第一方面所提供的方法的步骤。
[0017]第四方面，本专利技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如第一方面所提供的方法的步骤。
[0018]第五方面，本专利技术实施例提供一种计算机程序，该计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中，当计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行实现如第一方面所提供的方法的步骤。
[0019]本专利技术实施例提供的数据处理方法、装置、电子设备及存储介质，通过获取目标数据，若确定一级缓存队列符合数据清理条件，则确定一级缓存队列中待清理的数据以及待清理的数据对应的参考读请求的数量，参考读请求的数量能够表征待清理的数据在除缓存外存储介质的通道的负载繁忙程度，若确定一级缓存队列符合数据清理条件，则进一步确定一级缓存队列中待清理的数据以及对应的参考读请求的数量，并根据该数量确定存储待清理的数据的二级缓存队列的序号，该序号用于表示相应的二级缓存队列中的数据被清理出缓存的优先级，从而优先级高的二级缓存队列中的数据能够优先从缓存中删除，实现了通道间负载均衡，最终降低读请求的平均响应时间。
附图说明
[0020]为了更清楚地说明本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍。
[0021]图1为本申请实施例提供的一种文件访问请求读取文件数据的交互流程示意图；
[0022]图2为本申请实施例的计算环境的示意图；
[0023]图3为本申请实施例的数据处理方法的流程示意图；
[0024]图4为本申请实施例确定参考读请求的流程示意图；
[0025]图5为本申请实施例的缓存的数据结构的示意图；
[0026]图6为本申请实施例的一级缓存队列的实施例；
[0027]图7为本申请实施例提供的一种数据处理装置的结构示意图；
[0028]图8为本专利技术实施例提供的分布式系统应用于区块链系统的一个可选的结构示意图；
[0029]图9为本专利技术实施例提供的区块结构一个可选的示意图；
[0030]图10为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
[0031]下面详细描述本申请的实施例，实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本专利技术的限制。
[0032]本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
[0033]为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
[0034]首先对本申请涉及的几个名词进行介绍和解释：
[0035]区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取目标数据，所述目标数据为响应于消息队列中对应的读请求，从除缓存之外的存储介质获取到的数据，所述缓存包括一级缓存队列和至少一个二级缓存队列；若确定所述一级缓存队列符合数据清理条件，则确定所述一级缓存队列中待清理的数据以及所述待清理的数据对应的参考读请求的数量；根据所述数量确定存储所述待清理的数据的二级缓存队列的序号，将所述待清理的数据从所述一级缓存队列中删除、并存储至相应序号的二级缓存队列，将所述目标数据存储至所述一级缓存队列；其中，所述序号用于表示相应的二级缓存队列中的数据被清理出所述缓存的优先级；所述参考读请求为在所述待清理的数据对应的读请求之前存储至所述消息队列，且在所述待清理的数据对应的读请求之后被读取的读请求。2.根据权利要求1所述的数据处理方法，其特征在于，所述根据所述数量确定存储所述待清理的数据的二级缓存队列的序号，包括：将所述数量输入至预设增函数，获得所述预设增函数输出的所述存储所述待清理的数据的二级缓存队列的序号；或者将所述数量输入至预设减函数，获得所述预设增函数输出的所述存储所述待清理的数据的二级缓存队列的序号。3.根据权利要求1或2所述的数据处理方法，其特征在于，还包括：若确定所述缓存的可用容量小于预设阈值，则从不为空且优先级最高的二级缓存队列开始进行数据清理，直至所述缓存的可用容量不小于所述预设阈值。4.根据权利要求1所述的数据处理方法，其特征在于，所述获取目标数据包括：接收读请求，将所述读请求存储至所述消息队列；当从所述消息队列中读取到所述读请求时，若从除缓存之外的存储介质获取到所述至少一个读请求对应的数据，则将所述数据作为目标数据。5.根据权利要求1所述的数据处理方法，其特征在于，所述一级缓存队列包括最近最多使用MRU端和最近最少使用LRU端；确定所述一级缓存队列中待清理的数据，包括：从所述一级缓存队列的LRU端确定至少一个待清理的数据；所述将所述目标数据存储至所述一级缓存队列，包括：将所述目标数据存储至所述一级缓存队列的MRU端。6.根据权利要求2所述的数据处理...

【专利技术属性】
技术研发人员：高翔，王挺，宋军，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：