热点数据的限流控制方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及互联网领域，公开了一种热点数据的限流控制方法、装置、设备及存储介质，该方法包括：获取数据对象的访问信息，识别数据对象中的正在被访问的热点数据；确定热点数据的访问控制规则，并基于访问控制规则计算访问流量阈值；当接收到对热点数据的访问请求时，获取每个访问请求所占用的流量资源，计算访问流量总值；判断访问流量总值是否大于访问流量阈值；若是，则对热点数据的所有访问请求进行限流。本方法能够根据实时业务请求数据，进行热点数据识别，针对不同热点数据，使用对应的访问控制规则进行流量分配，避免数据时间访问量突增导致缓存击穿，保障系统正常运作，此外本发明专利技术还涉及区块链技术，访问信息可存储于区块链中。

【技术实现步骤摘要】
热点数据的限流控制方法、装置、设备及存储介质
本专利技术涉及互联网领域，尤其涉及一种热点数据的限流控制方法、装置、设备及存储介质。
技术介绍
现有的限流技术针对系统定义了资源、规则的概念，其中资源就是需要保护的代码，规则例如访问控制规则、熔断降级规则、系统保护规则、热点防护规则等。在系统运行中，实时监控流量情况，根据流量规则对现有系统做到保护的作用。现有的流量防控体系在实际运用时候，对资源的定义需要预先设定，提前埋点。也就是说在开发设计阶段就需要识别出流量热点的资源，从而针对该热点做好提前预测并设置好规则。然而在电商交易系统实际运行中，流量是不可预测的，是随机的。在实际过程中，热点数据也是不可预估的，可能出现某个商品的瞬时访问量非常高。这时候采用传统的流量防控，通过事先预测热点数据，并对这些数据设置防控规则的方式，就变得不可预估。对于无法被事先预估并被设定规则的热点数据，可能会占用所有的请求资源，挤占其他数据的请求资源，影响系统进程。甚至可能出现大量的请求击穿缓存，最终可能导致系统挂掉，对于系统来说风险极大。
技术实现思路
本专利技术的主要目的在于解决现有的数据限流难以对热点数据进行预测的技术问题。本专利技术第一方面提供了一种热点数据的限流控制方法，包括：通过平台数据接口从数据平台中获取数据对象的访问信息；根据所述访问信息识别所述数据对象中的正在被访问的热点数据；确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值；当接收到对所述热点数据的访问请求时，获取每个访问请求所占用的流量资源，并基于所述流量资源计算所有访问请求所需的访问流量总值；判断所述访问流量总值是否大于所述访问流量阈值；若是，则对所述热点数据的所有访问请求进行限流控制。可选的，在本专利技术第一方面的第一种实现方式中，在所述根据所述访问信息识别所述数据对象中的正在被访问的热点数据之后，还包括：根据所述热点数据的访问信息，获取所述热点数据的日志数据；将所述日志数据通过消息队列异步存储在数据库中。可选的，在本专利技术第一方面的第二种实现方式中，所述根据所述访问信息识别所述数据对象中的正在被访问的热点数据包括：获取所述数据库的数据存储周期，并将所述数据存储周期作为热点数据的统计周期；根据所述统计周期和所述访问信息，计算所述数据对象中各项数据的访问频次；将所述数据对象中访问频次大于预设频次的数据作为热点数据。可选的，在本专利技术第一方面的第三种实现方式中，所述确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值包括：确定所述热点数据的访问控制规则，并基于所述访问控制规则获取所述数据平台的最大流量阈值；根据所述数据对象中各项数据的访问信息，计算所述热点数据的访问比例；根据所述访问比例和所述最大流量阈值，计算所述热点数据的访问流量阈值。可选的，在本专利技术第一方面的第四种实现方式中，在所述确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值之前，还包括：获取所述数据对象的标签；根据所述标签，遍历预设的访问控制规则库，获取所述数据对象对应的访问控制规则；根据所述访问控制规则，对所述数据对象中的各项数据分配访问优先级。可选的，在本专利技术第一方面的第五种实现方式中，在所述对所述热点数据的所有访问请求进行限流控制之后，还包括：当所述热点数据的数量大于一个时，获取所述热点数据对应的访问优先级；获取所述数据平台的当前访问总流量，并判断所述当前访问总流量是否大于所述最大流量阈值；若否，则根据所述当前访问总流量和所述最大流量阈值计算剩余流量空间；根据所述剩余流量空间和所述热点数据的访问优先级，取消访问优先级最高的热点数据的限流，并更新所述剩余流量空间；若更新后的剩余流量空间大于零，则根据所述访问优先级，逐级取消剩余的热点数据的限流，直至所述剩余流量空间不大于零。可选的，在本专利技术第一方面的第六种实现方式中，所述对所述热点数据的所有访问请求进行限流控制包括：获取所述访问请求的访问类型，并根据所述访问类型，将所述访问请求接入预设的令牌桶；获取所述访问请求接入的令牌桶的剩余令牌数；若所述剩余令牌数为零，则拒绝所述访问请求，并返回访问失败提示；若所述剩余令牌数不为零，则放行所述访问请求进行后续处理。本专利技术第二方面提供了一种热点数据的限流控制装置，包括：访问获取模块，用于通过平台数据接口从数据平台中获取数据对象的访问信息；识别模块，用于根据所述访问信息识别所述数据对象中的正在被访问的热点数据；分配模块，用于确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值；流量获取模块，用于当接收到对所述热点数据的访问请求时，获取每个访问请求所占用的流量资源，并基于所述流量资源计算所有访问请求所需的访问流量总值；判断模块，用于判断所述访问流量总值是否大于所述访问流量阈值；限流模块，用于当所述访问流量总值大于所述访问流量阈值时，对所述热点数据的所有访问请求进行限流控制。可选的，在本专利技术第二方面的第一种实现方式中，所述热点数据的限流控制装置还包括日志存储模块，所述日志存储模块具体用于：根据所述热点数据的访问信息，获取所述热点数据的日志数据；将所述日志数据通过消息队列异步存储在数据库中。可选的，在本专利技术第二方面的第二种实现方式中，所述识别模块具体用于：获取所述数据库的数据存储周期，并将所述数据存储周期作为热点数据的统计周期；根据所述统计周期和所述访问信息，计算所述数据对象中各项数据的访问频次；将所述数据对象中访问频次大于预设频次的数据作为热点数据。可选的，在本专利技术第二方面的第三种实现方式中，所述分配模块具体用于：确定所述热点数据的访问控制规则，并基于所述访问控制规则获取所述数据平台的最大流量阈值；根据所述数据对象中各项数据的访问信息，计算所述热点数据的访问比例；根据所述访问比例和所述最大流量阈值，计算所述热点数据的访问流量阈值。可选的，在本专利技术第二方面的第四种实现方式中，所述热点数据的限流控制装置还包括优先级设置模块，所述优先级设置模块具体用于：获取所述数据对象的标签；根据所述标签，遍历预设的访问控制规则库，获取所述数据对象对应的访问控制规则；根据所述访问控制规则，对所述数据对象中的各项数据分配访问优先级。可选的，在本专利技术第二方面的第五种实现方式中，所述热点数据的限流控制装置还包括限流解除模块，所述限流解除模块具体用于：当所述热点数据的数量大于一个时，获取所述热点数据对应的访问优先级；获取所述数据平台的当前访问总流量，并判断所述当前访问总流量是否大于所述最大流量阈值；若否，则根据所述当前访问总流量和所述最大流量阈值计算剩余流量空间；根据所述剩余流量空间和所述热点数据的访问优先级，取消访问优先级最高的热点数据的限流，并更新所述剩余流量空间；若更新后的剩余流量空间大于零，则根据所述访问优先级，逐级取消剩余的热点数据的限流，直至所述剩余流量空间不大于零。可选的，在本专利技术第二方面的第六种实现方式中，所述限本文档来自技高网...

【技术保护点】
1.一种热点数据的限流控制方法，其特征在于，所述热点数据的限流控制方法包括：/n通过平台数据接口从数据平台中获取数据对象的访问信息；/n根据所述访问信息识别所述数据对象中的正在被访问的热点数据；/n确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值；/n当接收到对所述热点数据的访问请求时，获取每个访问请求所占用的流量资源，并基于所述流量资源计算所有访问请求所需的访问流量总值；/n判断所述访问流量总值是否大于所述访问流量阈值；/n若是，则对所述热点数据的所有访问请求进行限流控制。/n

【技术特征摘要】
1.一种热点数据的限流控制方法，其特征在于，所述热点数据的限流控制方法包括：
通过平台数据接口从数据平台中获取数据对象的访问信息；
根据所述访问信息识别所述数据对象中的正在被访问的热点数据；
确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值；
当接收到对所述热点数据的访问请求时，获取每个访问请求所占用的流量资源，并基于所述流量资源计算所有访问请求所需的访问流量总值；
判断所述访问流量总值是否大于所述访问流量阈值；
若是，则对所述热点数据的所有访问请求进行限流控制。


2.根据权利要求1所述的热点数据的限流控制方法，其特征在于，在所述根据所述访问信息识别所述数据对象中的正在被访问的热点数据之后，还包括：
根据所述热点数据的访问信息，获取所述热点数据的日志数据；
将所述日志数据通过消息队列异步存储在数据库中。


3.根据权利要求2所述的热点数据的限流控制方法，其特征在于，所述根据所述访问信息识别所述数据对象中的正在被访问的热点数据包括：
获取所述数据库的数据存储周期，并将所述数据存储周期作为热点数据的统计周期；
根据所述统计周期和所述访问信息，计算所述数据对象中各项数据的访问频次；
将所述数据对象中访问频次大于预设频次的数据作为热点数据。


4.根据权利要求3所述的热点数据的限流控制方法，其特征在于，所述确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值包括：
确定所述热点数据的访问控制规则，并基于所述访问控制规则获取所述数据平台的最大流量阈值；
根据所述数据对象中各项数据的访问信息，计算所述热点数据的访问比例；
根据所述访问比例和所述最大流量阈值，计算所述热点数据的访问流量阈值。


5.根据权利要求4所述的热点数据的限流控制方法，其特征在于，在所述确定所述热点数据的访问控制规则，并基于所述访问控制规则计算出所述热点数据的访问流量阈值之前，还包括：
获取所述数据对象的标签；
根据所述标签，遍历预设的访问控制规则库，获取所述数据对象对应的访问控制规则；
根据所述访问控制规则，对所述数据对象中的各项数据分配访问优先级。


6.根据权利要求5所述的热点数据的限流控制方法，其特征在于，在所述对所述热点数据的所有访问请求进行限流控制之后，还...

【专利技术属性】
技术研发人员：张长记，
申请(专利权)人：康键信息技术深圳有限公司，
类型：发明
国别省市：广东;44