热点侦测方法、装置、侦测服务器、热点侦测系统及介质制造方法及图纸

本发明专利技术实施例公开了一种热点侦测方法、装置、侦测服务器、热点侦测系统及介质。该方法包括：获取访问事件并按照设定协议格式将访问事件存入消息中间件，以通过消息中间件将访问事件上报至服务端集群并存储至键值存储集群；按照时间分片对键值存储集群中的访问事件进行热度统计；根据统计结果确定热点缓存数据。该方法通过时间分片的设置，能够实时并持续缓存访问事件相关数据，还通过对访问事件的热度统计，根据统计结果能够实现热点的实时侦测，从而提高热点侦测的命中率。而提高热点侦测的命中率。而提高热点侦测的命中率。

【技术实现步骤摘要】
热点侦测方法、装置、侦测服务器、热点侦测系统及介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种热点侦测方法、装置、侦测服务器、热点侦测系统及介质。

技术介绍

[0002]热点是指比较受广大群众关注、或者欢迎的新闻或者信息。在热点侦测过程中通常需要读取各业务应用，如浏览器等的数据来进行分析，因此日常需要将浏览器所获取的数据缓存以保证数据的重复利用。目前采用的缓存方式，一种是将所获取的数据缓存入服务器的内存或文件系统中；另一种是将所获取的数据直接缓存入浏览器的本地缓存机制中，当客户端向服务器请求数据资源时，会先从浏览器的本地缓存机制中读取，如果存在所请求数据资源，则可以直接读取。
[0003]但是，现有方式的缺点是：缓存数据不可预期，导致缓存访问情况不可提前预知。且如果出现高频访问并产生大量缓存访问请求的情况，会大量占据内网宽带，从而导致存储数据的服务器或浏览器本地缓存机制的崩溃。

技术实现思路

[0004]本专利技术提供了一种热点侦测方法、装置、侦测服务器、热点侦测系统及介质，以实现热点的实时侦测，并进一步提高访问事件数据缓存定位的准确率和效率，从而提高热点侦测的命中率。
[0005]第一方面，本专利技术实施例提供了一种热点侦测方法，包括：
[0006]获取访问事件并按照设定协议格式将所述访问事件存入消息中间件，以通过所述消息中间件将所述访问事件上报至服务端集群并存储至键值存储集群；
[0007]按照时间分片对所述键值存储集群中的访问事件进行热度统计；<br/>[0008]根据统计结果确定热点缓存数据。
[0009]第二方面，本专利技术实施例提供了一种热点侦测装置，包括：
[0010]访问处理模块，用于获取访问事件并按照设定协议格式将所述访问事件存入消息中间件，以通过所述消息中间件将所述访问事件上报至服务端集群并存储至键值存储集群；
[0011]统计模块，用于按照时间分片对所述键值存储集群中的访问事件进行热度统计；
[0012]热点模块，用于根据统计结果确定热点缓存数据。
[0013]第三方面，本专利技术实施例提供了一种侦测服务器，包括：
[0014]一个或多个处理器；
[0015]存储装置，用于存储一个或多个程序；
[0016]当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的热点侦测方法。
[0017]第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机
程序，该程序被处理器执行时实现如第一方面所述的热点侦测方法。
[0018]第五方面，本专利技术实施例提供了一种热点侦测系统，包括：服务端集群、键值存储集群以及如第三方面所述的侦测服务器；
[0019]所述侦测服务器分别与所述服务端集群和所述键值存储集群连接。
[0020]本专利技术实施例提供了一种热点侦测方法、装置、侦测服务器、热点侦测系统及介质，首先获取访问事件并按照设定协议格式将访问事件存入消息中间件，以通过消息中间件将访问事件上报至服务端集群并存储至键值存储集群，然后按照时间分片对键值存储集群中的访问事件进行热度统计，最后根据统计结果确定热点缓存数据。上述技术方案通过时间分片的设置，能够实时并持续缓存访问事件相关数据，还通过对访问事件的热度统计，根据统计结果能够实现热点的实时侦测，从而提高热点侦测的命中率。
附图说明
[0021]图1为本专利技术实施例一提供的一种热点侦测方法的流程图；
[0022]图2为本专利技术实施例一提供的一种时间齿轮的示意图；
[0023]图3为本专利技术实施例二提供的一种热点侦测方法的流程图；
[0024]图4为本专利技术实施例二提供的一种设定时间窗内总热度的统计表格的示意图；
[0025]图5为本专利技术实施例二提供的一种热点侦测整体系统架构的实现示意图；
[0026]图6为本专利技术实施例二提供的一种热点侦测方法的实现示意图；
[0027]图7为本专利技术实施例三提供的一种热点侦测装置的结构示意图；
[0028]图8为本专利技术实施例四提供的一种侦测服务器的硬件结构示意图；
[0029]图9为本专利技术实施例五提供的一种热点侦测系统的示意图。
具体实施方式
[0030]下面结合附图和实施例对本专利技术作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本专利技术，而非对本专利技术的限定。此外，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。另外还需要说明的是，为了便于描述，附图中仅示出了与本专利技术相关的部分而非全部结构。
[0031]在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0032]需要注意，本专利技术实施例中提及的“第一”、“第二”等概念仅用于对不同的装置、模块、单元或其他对象进行区分，并非用于限定这些装置、模块、单元或其他对象所执行的功能的顺序或者相互依存关系。
[0033]实施例一
[0034]图1为本专利技术实施例一提供的一种热点侦测方法的流程图，本实施例可适用于对热点进行实时侦测的情况。具体的，该热点侦测方法可以由热点侦测装置执行，该热点侦测装置可以通过软件和/或硬件的方式实现，并集成在侦测服务器中。进一步的，侦测服务器
包括但不限定于：工业集成服务器、系统后台服务器以及云端服务器。需要说明的是，本实施例中的侦测服务器可以是一个，也可以是由多个服务器构成的集群，集群中的每个侦测服务器都可以执行本实施例的方法，共同完成对业务应用数据的热点侦测。
[0035]如图1所示，该方法具体包括如下步骤：
[0036]S110、获取访问事件并按照设定协议格式将所述访问事件存入消息中间件，以通过所述消息中间件将所述访问事件上报至服务端集群并存储至键值存储集群。
[0037]其中，访问事件可以指用户在各个业务应用内所发起的点击某一个新闻事件或查看某一种信息，并根据事件或信息所记录生成的数据。业务应用可以指终端桌面应用和/或互联网应用(即Web应用)等；终端桌面应用可以为手机或计算机等终端设备内的各个应用软件(Application，App)；Web应用可以为浏览器内的各个网站或网页。
[0038]协议格式可以指根据所获取的访问事件所携带的相关信息对访问事件所设定的存储格式，其可以包括访问事件的来源、内容、发生时间以及影响访问事件的因素等。
[0039]可选的，所述设定协议格式包括以下内容：访问事件的业务应用标识；访问事件的唯一键；访问事件的发生时间；访问事件的权重因子。
[0040]其中，业务应用标识可以指本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种热点侦测方法，其特征在于，包括：获取访问事件并按照设定协议格式将所述访问事件存入消息中间件，以通过所述消息中间件将所述访问事件上报至服务端集群并存储至键值存储集群；按照时间分片对所述键值存储集群中的访问事件进行热度统计；根据统计结果确定热点缓存数据。2.根据权利要求1所述的方法，其特征在于，所述设定协议格式包括以下内容：访问事件的业务应用标识；访问事件的唯一键；访问事件的发生时间；访问事件的权重因子。3.根据权利要求1所述的方法，其特征在于，所述访问事件的每个业务应用的每个键对应于一个时间齿轮；所述时间齿轮中设置有若干个时间分片，每个时间分片用于记录所述键在相应时段内的访问次数。4.根据权利要求3所述的方法，其特征在于，按照时间分片对所述键值存储集群中的访问事件进行热度统计，包括：从所述键值存储集群中读取每个业务应用的每个键与设定时间窗内总热度的映射关系，并按照所述总热度对键进行排序；其中，对于每个业务应用的每个键，该键对应的设定时间窗内总热度为该键在所述设定时间窗内的访问总次数。5.根据权利要求4所述的方法，其特征在于，根据统计结果确定热点缓存数据，包括：根据对键的排序结果，将设定时间窗内总热度最高的指定数量的键对应的业务应用缓存数据作为热点缓存数据。6.根据权...

【专利技术属性】
技术研发人员：王平，程强，万月亮，
申请(专利权)人：北京锐安科技有限公司，
类型：发明
国别省市：