数据处理方法及装置制造方法及图纸

本公开公开了一种数据处理方法及装置，涉及计算机技术中的人工智能领域，可应用于云计算或云服务场景。具体实现方案为：接收设备集群中各第二设备分别发送的至少一个接口各自对应的统计信息，统计信息中包括接口的标识、接口对应的至少一个监测时刻、接口在每个监测时刻接收到的请求消息的数量。根据至少一个接口各自对应的统计信息，确定设备集群的QPS信息。通过接收集群中的各个第二设备各自发送的各个接口的统计信息，从而可以根据各接口的各自对应的统计信息，以有效确定集群的QPS信息，同时因为各个接口各自对应的统计信息，是各个第二设备根据接收到请求消息的时刻实时更新的，从而可以准确有效的实现对线上集群的QPS的监控。

【技术实现步骤摘要】
数据处理方法及装置
本公开涉及计算机技术中的人工智能领域，尤其涉及一种数据处理方法及装置。
技术介绍
分布式架构是当今信息系统的主流架构，基于分布式架构可以提供分布式服务，分布式服务对外提供服务的单位是接口。其中，每秒请求数(QueryPerSecond，QPS)是接口的重要性能指标，可以体现接口的瞬时并发流量大小，广泛应用于日常监控，容量评估，压测等众多场景。相关技术中在对QPS进行监测时，通常是采用一段时间内的页面浏览量(pageview，pv)除以这段时间的秒数，采用这个结果粗略的估算QPS。然而，上述介绍的确定QPS的方式仅能够实现对QPS的粗略估计，从而导致确定的QPS的准确性较低。
技术实现思路
本公开提供了一种数据处理方法及装置。根据本公开的第一方面，提供了一种数据处理方法，所述方法包括：接收设备集群中各所述第二设备分别发送的至少一个所述接口各自对应的统计信息，所述统计信息中包括所述接口的标识、所述接口对应的至少一个监测时刻、所述接口在每个监测时刻接收到的请求消息的数量；所述设备集群中包括至少一个第二设备，所述第二设备用于通过至少一个接口提供服务；根据至少一个所述接口各自对应的统计信息，确定所述设备集群的QPS信息。根据本公开的第二方面，提供了一种数据处理方法，所述方法包括：确定至少一个请求消息中每个请求消息对应的接口和接收时刻，所述至少一个请求消息为在预设时段内通过各所述接口接收到的，所述预设时段包括n个监测时刻，所述n为大于等于1的整数；根据每个所述请求消息对应的接口和接收时刻，确定至少一个所述接口各自对应的统计信息，所述统计信息中包括所述接口的标识、所述接口对应的至少一个监测时刻、所述接口在每个监测时刻接收到的请求消息的数量；向第一设备发送各所述统计信息，所述统计信息用于所述第一设备确定所述设备集群的QPS信息。根据本公开的第三方面，提供了一种数据处理装置，所述装置包括：接收模块，用于接收设备集群中各所述第二设备分别发送的至少一个所述接口各自对应的统计信息，所述统计信息中包括所述接口的标识、所述接口对应的至少一个监测时刻、所述接口在每个监测时刻接收到的请求消息的数量；所述设备集群中包括至少一个第二设备，所述第二设备用于通过至少一个接口提供服务；确定模块，用于根据至少一个所述接口各自对应的统计信息，确定所述设备集群的QPS信息。根据本公开的第四方面，提供了一种数据处理装置，所述装置包括：请求消息确定模块，用于确定至少一个请求消息中每个请求消息对应的接口和接收时刻，所述至少一个请求消息为在预设时段内通过各所述接口接收到的，所述预设时段包括n个监测时刻，所述n为大于等于1的整数；统计信息确定模块，用于根据每个所述请求消息对应的接口和接收时刻，确定至少一个所述接口各自对应的统计信息，所述统计信息中包括所述接口的标识、所述接口对应的至少一个监测时刻、所述接口在每个监测时刻接收到的请求消息的数量；发送单元，用于向第一设备发送各所述统计信息，所述统计信息用于所述第一设备确定所述设备集群的QPS信息。根据本公开的第五方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面或第二方面所述的方法。根据本公开的技术，可以准确有效的实现对线上集群的QPS的监控。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本公开的限定。其中：图1为本公开实施例提供的数据处理方法的系统示意图；图2为本公开实施例提供的数据处理方法的流程图；图3为本公开实施例提供的数据处理方法的流程图二；图4为本公开实施例提供的统计数组的实现示意图；图5为本公开实施例提供的确定第一目标统计信息的实现示意图；图6为本公开实施例提供的对第一目标统计信息分组的实现示意图；图7为本公开实施例提供的确定一组对应的总请求记录数组的实现示意图；图8为本公开实施例提供的确定峰值QPS的实现示意图；图9为本公开实施例提供的峰值QPS曲线的实现示意图；图10为本公开实施例提供的数据处理方法的流程图三；图11为本公开实施例提供的数据处理方法的流程图四；图12为本公开实施例提供的确定第二目标统计信息的实现示意图；图13为本公开实施例提供的更新统计数组中的目标元素的实现示意图；图14为本公开实施例提供的数据处理方法的处理示意图；图15为本公开实施例提供的确定峰值QPS曲线的流程示意图；图16为本公开实施例的数据处理装置的结构示意图一；图17为本公开实施例的数据处理装置的结构示意图二；图18是用来实现本公开实施例的数据处理方法的电子设备的框图。具体实施方式以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。为了更好的理解本公开的技术方案，下面对本公开所涉及的相关技术进行进一步的介绍。分布式架构是当今信息系统的主流架构，分布式服务对外提供服务的单位是接口。QPS是接口的重要性能指标，含义是一个接口每秒钟发生的请求的次数，可以体现接口的瞬时并发流量大小，广泛应用于日常监控，容量评估，压测等众多场景。目前，相关技术在对QPS进行检测时，存在如下几种可能的实现方式：一种可能的实现方式是，使用一段时间内的页面浏览量除以这段时间的秒数，采用这个结果粗略的估算QPS。然而，这样粗略估计的QPS的准确性较低。另一种可能的实现方式是，使用jmeter等压测工具，在测试阶段记录QPS。然而，这样的实现方式仅限于压测阶段，不能用于线上服务另一种可能的实现方式是，通过shell脚本，遍历机器请求日志，计算单机QPS。然而，这样的实现方式仅能计算单机的QPS，无本文档来自技高网...

【技术保护点】
1.一种数据处理方法，所述方法包括：/n接收设备集群中各所述第二设备分别发送的至少一个所述接口各自对应的统计信息，所述统计信息中包括所述接口的标识、所述接口对应的至少一个监测时刻、所述接口在每个监测时刻接收到的请求消息的数量；所述设备集群中包括至少一个第二设备，所述第二设备用于通过至少一个接口提供服务；/n根据至少一个所述接口各自对应的统计信息，确定所述设备集群的QPS信息。/n

【技术特征摘要】
1.一种数据处理方法，所述方法包括：
接收设备集群中各所述第二设备分别发送的至少一个所述接口各自对应的统计信息，所述统计信息中包括所述接口的标识、所述接口对应的至少一个监测时刻、所述接口在每个监测时刻接收到的请求消息的数量；所述设备集群中包括至少一个第二设备，所述第二设备用于通过至少一个接口提供服务；
根据至少一个所述接口各自对应的统计信息，确定所述设备集群的QPS信息。


2.根据权利要求1所述的方法，其中，所述统计信息还包括预设时段的起始时刻、接口所对应的第二设备的设备标识、以及所述第二设备所提供的服务的服务标识；
所述根据至少一个所述接口各自对应的统计信息，确定所述设备集群的QPS信息，包括：
确定查询时段以及查询标识，所述查询标识包括如下中的至少一种：查询接口标识、查询设备标识、查询服务标识；
根据所述查询时段以及所述查询标识，在各所述统计信息中确定至少一个第一目标统计信息，其中，所述第一目标统计信息的预设时段的起始时刻在所述查询时段内，以及所述第一目标统计信息满足如下条件中的至少一种：所述第一目标统计信息的接口标识等于所述查询接口标识，所述第一目标统计信息的设备标识等于所述查询设备标识，所述第一目标统计信息的服务标识等于所述查询服务标识；
根据所述至少一个第一目标统计信息，确定所述QPS信息。


3.根据权利要求1所述的方法，其中，所述预设时段内包括n个监测时刻，所述统计信息中包括统计数组，所述统计数组中包括n个元素，所述统计数组中的第i个元素表示接口在所述预设时段的第i个监测时刻接收到的请求消息的数量，所述n为大于等于1的整数，所述i为大于等于1并且小于等于n的整数；
所述QPS信息包括峰值QPS；
所述根据所述至少一个第一目标统计信息，确定所述QPS信息，包括：
在所述至少一个第一目标统计信息中，将预设时段的起始时刻相同的第一目标统计信息确定为一组，得到多个组；
将各组中的第一目标统计信息的统计数组逐项相加，得到各组分别对应的总请求记录数组；
在各组分别对应的总请求记录数组中分别确定各组对应的最大请求数；
将所述各组对应的最大请求数中的最大值，确定为所述峰值QPS。


4.根据权利要求3所述的方法，其中，所述QPS信息包括峰值QPS曲线；
所述根据所述至少一个第一目标统计信息，确定所述QPS信息，包括：
根据预设时间间隔将所述查询时段划分为至少一个子时段；
确定各所述子时段各自对应的峰值QPS；
根据各所述自时段各自对应的峰值QPS，确定所述峰值QPS曲线。


5.一种数据处理方法，所述方法包括：
确定至少一个请求消息中每个请求消息对应的接口和接收时刻，所述至少一个请求消息为在预设时段内通过各所述接口接收到的，所述预设时段包括n个监测时刻，所述n为大于等于1的整数；
根据每个所述请求消息对应的接口和接收时刻，确定至少一个所述接口各自对应的统计信息，所述统计信息中包括所述接口的标识、所述接口对应的至少一个监测时刻、所述接口在每个监测时刻接收到的请求消息的数量；
向第一设备发送各所述统计信息，所述统计信息用于所述第一设备确定所述设备集群的QPS信息。


6.根据权利要求5所述的方法，其中，所述根据每个所述请求消息对应的接口和接收时刻，确定至少一个所述接口各自对应的统计信息，包括：
执行统计操作，所述统计操作包括：在接收到请求消息之后，根据所述请求消息对应的接口确定第二目标统计信息，并根据所述请求消息的接收时刻更新所述第二目标统计信息；
从所述预设时段的起始时刻起重复执行所述统计操作，直至所述预设时段的结束时刻。


7.根据权利要求6所述的方法，其中，所述统计信息中包括统计数组，所述统计数组中包括n个元素，所述统计数组中的第i个元素表示接口在所述预设时段的第i个监测时刻接收到的请求消息的数量，所述n为大于等于1的整数，所述i为大于等于1并且小于等于n的整数；
所述根据所述请求消息的接收时刻更新所述第二目标统计信息，包括：
根据所述请求消息的接收时刻和所述预设时段的起始时刻，在所述第二目标统计信息的统计数组中确定目标元素；
更新所述目标元素。


8.根据权利要求7所述的方法，其中，所述根据所述请求消息的接收时刻和所述预设时段的起始时刻，在所述第二目标统计信息的统计数组中确定目标元素，包括：
确定所述请求消息的接收时刻和所述预设时段的起始时刻的差值s；
将所述第二目标统计信息的统计数组中的第s个元素确定为所述目标元素。


9.根据权利要求7所述的方法，其中，所述更新所述目标元素，包括：
将当前的目标元素加上第一预设数值，得到更新后的目标元素。


10.根据权利要求6-9任一项所述的方法，其中，所述根据所述请求消息对应的接口确定第二目标统计信息，包括：
获取所述请求消息对应的接口的第一标识；
在存储的第一集合中查找所述第二目标统计信息，其中，所述第二目标统计信息的接口的标识和所述第一标识相同，所述第一集合用于存储各所述接口各自对应的统计信息；
若所述第一集合中存在所述第二目标统计信息，则从所述第一集合中获取所述第二目标统计信息；或者，
若所述第一集合中不存在所述第二目标统计信息，则根据所述请求消息对应的接口，创建所述第二目标统计信息。


11.根据权利要求10所述的方法，其中，所述统计信息还包括所述预设时段的起始时刻；
所述根据所述请求消息对应的接口，创建所述第二目标统计信息，包括：
将所述请求消息对应的接口的第一标识确定为所述第二目标统计信息的接口的标识；以及，
确定当前时刻之前最邻近的目标时刻，将所述目标时刻确定为所述第二目标统计信息的预设时段的起始时刻，其中，所述目标时刻为整点时刻或者整分时刻；以及，
根据所述预设时段所包括的监测时刻的数量创建所述第二目标统计信息的统计数组，其中，所述统计数组所包括的元素的数量和所述预设时段所包括的监测时刻的数量，所述统计数组的各个元素初始化为第二预设数值。


12.一种数据处理装置，所述装置包括：
接收模块，用于接收设备集群中各所述第二设备分别发送的至少一个所述接口各自对应的统计信息，所述统计信息中包括所述接口的标识、所述接口对应的至少一个监测时刻、所述接口在每个监测时刻接收到的请求消息的...

【专利技术属性】
技术研发人员：刘涛，荆佳颉，李奇原，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11