一种热点数据的处理方法、装置、计算机设备及存储介质制造方法及图纸

本申请实施例属于数据处理技术领域，应用于金融科技领域中，涉及一种热点数据的处理方法，包括配置不同优先级的多级缓存，并从请求方的查询请求中获取数据标识；根据数据标识，按照优先级依次查询一级缓存、二级缓存和三级缓存，直到查询到对应的热点数据，并将热点数据返回至请求方；定时从消息队列中获取更新缓存延时消息，根据更新缓存延时消息解析出更新数据标识；基于更新数据标识从三级缓存中获得对应的更新数据，将更新数据更新至一级缓存和二级缓存中。本申请还提供一种热点数据的处理装置、计算机设备及存储介质。此外，本申请还涉及区块链技术，热点数据可存储于区块链中

【技术实现步骤摘要】
一种热点数据的处理方法、装置、计算机设备及存储介质


[0001]本申请涉及数据处理
，尤其涉及一种热点数据的处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着互联网的快速发展及互联网使用人数的增加，用户的访问量级及数据量非常大，尤其是热点数据的查询访问。服务方通常采用数据库对数据进行存储，存储的数据写入磁盘中，因此，数据库的查询数据过程涉及连接、验证、解析、执行等过程，查询数据是通过读取磁盘IO实现的。热点数据是指被大请求量访问的数据，访问当下热点请求的情况越来越多见，例如秒杀活动等。当请求量大的时候，直接从磁盘读取数据，会造成磁盘访问压力过大，导致磁盘崩溃，数据库压力大。此外，从磁盘中读取数据，响应速度较慢。
[0003]通常采取的做法是将数据库中的数据写入缓存中，当接收到数据查询请求时从缓存中查找数据。但是，传统的缓存和数据库数据会存在不一致的情况，热点数据不能够及时同步更新、灵活性比较差，引发脏数据问题，此外，如果缓存为空，热点请求还是会瞬间进入数据库，导致数据库资源瓶颈。

技术实现思路

[0004]本申请实施例的目的在于提出一种热点数据的处理方法、装置、计算机设备及存储介质，以解决相关技术中热点数据访问造成数据库压力大，以及热点数据不能够及时同步更新、灵活性比较差，引发脏数据的技术问题。
[0005]为了解决上述技术问题，本申请实施例提供一种热点数据的处理方法，采用了如下所述的技术方案：
[0006]配置不同优先级的多级缓存，分别为一级缓存、二级缓存和三级缓存；
[0007]接收请求方对热点数据的查询请求，从所述查询请求中获取数据标识；
[0008]根据所述数据标识，按照优先级依次查询所述一级缓存、所述二级缓存和所述三级缓存，直到查询到所述数据标识对应的热点数据，并将所述热点数据返回至所述请求方；
[0009]定时从消息队列中获取更新缓存延时消息，根据所述更新缓存延时消息解析出更新数据标识；
[0010]基于所述更新数据标识从所述三级缓存中获得对应的更新数据，将所述更新数据更新至所述一级缓存和所述二级缓存中。
[0011]进一步的，所述根据所述数据标识，按照优先级依次查询所述一级缓存、所述二级缓存和所述三级缓存，直到查询到所述数据标识对应的热点数据，并将所述热点数据返回至所述请求方的步骤包括：
[0012]根据所述数据标识在所述一级缓存中进行查询；
[0013]若查询到与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方；
[0014]若没有查询到与所述数据标识对应的热点数据，则根据所述数据标识在所述二级缓存中进行查询；
[0015]若在所述二级缓存中查询到与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方；
[0016]若无法查询到与所述数据标识对应的热点数据，则根据所述数据标识在所述三级缓存中进行查询；
[0017]若查询到所述三级缓存中存在与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方；
[0018]若在所述三级缓存中无法查询到与所述数据标识对应的热点数据，则结束查询流程。
[0019]进一步的，所述查询到与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方的步骤包括：
[0020]计算所述数据标识的标识哈希值；
[0021]根据所述标识哈希值确定所述热点数据在一级缓存中的缓存位置；
[0022]从所述缓存位置中取出所述热点数据发送给所述请求方。
[0023]进一步的，所述根据所述数据标识在所述三级缓存中进行查询的步骤包括：
[0024]基于分布式锁机制对所述数据标识进行加锁；
[0025]当加锁成功时，根据所述数据标识在所述三级缓存中进行查询；
[0026]当加锁未成功时，则等待锁释放。
[0027]进一步的，在所述若在所述二级缓存中查询到与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方的步骤之后还包括：
[0028]将所述数据标识以及所述热点数据更新至所述一级缓存；及
[0029]在所述查询到所述三级缓存中存在与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方的步骤之后还包括：
[0030]将所述数据标识以及所述热点数据更新至所述一级缓存和所述二级缓存。
[0031]进一步的，在所述定时从消息队列中获取更新缓存延时消息的步骤之前还包括：
[0032]检测到所述三级缓存中存在更新数据，将所述更新数据封装成更新缓存延时消息；
[0033]按照预设延时机制对所述更新缓存延时消息进行延时处理后，将延时后的所述更新缓存延时消息存储至预设消息中间件的消息队列中。
[0034]进一步的，所述将所述更新数据更新至所述一级缓存和所述二级缓存中的步骤包括：
[0035]对所述更新数据标识进行哈希计算，得到更新标识哈希值；
[0036]对所述更新标识哈希值进行取模运算，得到位置信息；
[0037]根据所述位置信息将更新数据分别存储至一级缓存和二级缓存的相应位置。
[0038]为了解决上述技术问题，本申请实施例还提供一种热点数据的处理装置，采用了如下所述的技术方案：
[0039]配置模块，用于配置不同优先级的多级缓存，分别为一级缓存、二级缓存和三级缓存；
[0040]获取模块，用于接收请求方对热点数据的查询请求，从所述查询请求中获取数据标识；
[0041]查询模块，用于根据所述数据标识，按照优先级依次查询所述一级缓存、所述二级缓存和所述三级缓存，直到查询到所述数据标识对应的热点数据，并将所述热点数据返回至所述请求方；
[0042]定时获取模块，用于定时从消息队列中获取更新缓存延时消息，根据所述更新缓存延时消息解析出更新数据标识；
[0043]更新模块，用于基于所述更新数据标识从所述三级缓存中获得对应的更新数据，将所述更新数据更新至所述一级缓存和所述二级缓存中。
[0044]为了解决上述技术问题，本申请实施例还提供一种计算机设备，采用了如下所述的技术方案：
[0045]该计算机设备包括存储器和处理器，所述存储器中存储有计算机可读指令，所述处理器执行所述计算机可读指令时实现如上所述的热点数据的处理方法的步骤。
[0046]为了解决上述技术问题，本申请实施例还提供一种计算机可读存储介质，采用了如下所述的技术方案：
[0047]所述计算机可读存储介质上存储有计算机可读指令，所述计算机可读指令被处理器执行时实现如上所述的热点数据的处理方法的步骤。
[0048]与现有技术相比，本申请实施例主要有以下有益效果：
[0049]本申请通过配置不同优先级的多级缓存，分别为一级缓存、二级缓存和三级缓存；接收请求方对热点数据的查询请求，从查询请求中获取数据标识；根据数据标识，按照优先级依次查询一级缓存、二级本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种热点数据的处理方法，其特征在于，包括下述步骤：配置不同优先级的多级缓存，分别为一级缓存、二级缓存和三级缓存；接收请求方对热点数据的查询请求，从所述查询请求中获取数据标识；根据所述数据标识，按照优先级依次查询所述一级缓存、所述二级缓存和所述三级缓存，直到查询到所述数据标识对应的热点数据，并将所述热点数据返回至所述请求方；定时从消息队列中获取更新缓存延时消息，根据所述更新缓存延时消息解析出更新数据标识；基于所述更新数据标识从所述三级缓存中获得对应的更新数据，将所述更新数据更新至所述一级缓存和所述二级缓存中。2.根据权利要求1所述的热点数据的处理方法，其特征在于，所述根据所述数据标识，按照优先级依次查询所述一级缓存、所述二级缓存和所述三级缓存，直到查询到所述数据标识对应的热点数据，并将所述热点数据返回至所述请求方的步骤包括：根据所述数据标识在所述一级缓存中进行查询；若查询到与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方；若没有查询到与所述数据标识对应的热点数据，则根据所述数据标识在所述二级缓存中进行查询；若在所述二级缓存中查询到与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方；若无法查询到与所述数据标识对应的热点数据，则根据所述数据标识在所述三级缓存中进行查询；若查询到所述三级缓存中存在与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方；若在所述三级缓存中无法查询到与所述数据标识对应的热点数据，则结束查询流程。3.根据权利要求2所述的热点数据的处理方法，其特征在于，所述查询到与所述数据标识对应的热点数据，则将所述热点数据返回至所述请求方的步骤包括：计算所述数据标识的标识哈希值；根据所述标识哈希值确定所述热点数据在一级缓存中的缓存位置；从所述缓存位置中取出所述热点数据发送给所述请求方。4.根据权利要求2所述的热点数据的处理方法，其特征在于，所述根据所述数据标识在所述三级缓存中进行查询的步骤包括：基于分布式锁机制对所述数据标识进行加锁；当加锁成功时，根据所述数据标识在所述三级缓存中进行查询；当加锁未成功时，则等待锁释放。5.根据权利要求2所述的热点数据的处理方法，其特征在于，在所述若在所述二级缓...

【专利技术属性】
技术研发人员：胡纪云，
申请(专利权)人：中国平安财产保险股份有限公司，
类型：发明
国别省市：