数据处理方法及装置制造方法及图纸

本发明专利技术实施例公开了一种数据处理方法及装置；方法包括：获取服务节点之间进行访问的监控数据，所述监控数据从至少一个维度表征所述服务节点之间、以及所述服务节点的服务之间进行访问的特征信息；基于所述监控数据的上报时间将所述监控数据进行分片处理，得到分片监控数据，分片处理时所使用的时间片的大小基于监控的实时性要求确定；确定目标维度，所述目标维度包括所述维度至少之一；基于所述目标维度对所述分片监控数据进行归并处理，得到所述目标维度的分片监控数据的归并处理结果。采用本发明专利技术，能够对海量的监控数据进行高效归并处理，以便能够基于归并结果进行告警分析或确定网络故障。

【技术实现步骤摘要】

本专利技术涉及大数据技术，尤其涉及一种数据处理方法及装置。
技术介绍
基于互联网的社交网络日益壮大，社交应用如QQ、微信的用户群相当庞大，庞大的用户群使用社交应用对在后台支撑社交网络的服务器集群的稳定性和健壮性提出了更高的要求。目前，社交应用的功能需要服务节点(可以由一个或多个服务器的网络资源、运算资源映射而成，每个服务节点支持运行一个或多个服务)交互实现，社交应用的功能越来越多、且用户的基数庞大，这就需要对海量的服务节点的监控数据进行分析，并且需要及时分析出故障所在；当基于监控数据进行分析时，由于监控数据的数据往往是海量，导致难以及时对监控数据进行告警分析处理或定位故障。
技术实现思路
本专利技术实施例提供一种数据处理方法及装置，能够对海量的监控数据进行高效归并处理，以便能够基于归并结果进行告警分析或确定网络故障。本专利技术实施例的技术方案是这样实现的：本专利技术实施例提供一种数据处理方法，所述方法包括：获取服务节点之间进行访问的监控数据，所述监控数据从至少一个维度表征所述服务节点之间、以及所述服务节点的服务之间进行访问的特征信息；基于所述监控数据的上报时间将所述监控数据进行分片处理，得到分片监控数据，分片处理时所使用的时间片的大小基于监控的实时性要求确定；确定目标维度，所述目标维度包括所述维度至少之一；基于所述目标维度对所述分片监控数据进行归并处理，得到所述目标维度的分片监控数据的归并处理结果。本专利技术实施例还提供一种数据处理装置，所述装置包括：接收单元，用于获取服务节点之间进行访问的监控数据，所述监控数据从至少一个维度表征所述服务节点之间、以及所述服务节点的服务之间进行访问的特征信息；格式化单元，用于基于所述监控数据的上报时间将所述监控数据进行分片处理，得到分片监控数据，分片处理时所使用的时间片的大小基于监控的实时性要求确定；归并单元，用于确定目标维度，所述目标维度包括所述维度至少之一；所述归并单元，还用于基于所述目标维度对所述分片监控数据进行归并处理，得到所述目标维度的分片监控数据的归并处理结果。本专利技术实施例中，采集承载社交应用的网络上报的监控数据包括服务节点维度(包括主调服务节点维度和被调服务节点维度)、服务维度(包括主调服务维度和被调服务维度)、被调服务接口维度；基于上述维度确定不同的目标维度，进而基于不同的目标维度对分片监控数据进行归并处理，由于采用了基于时间片对监控处理进行分片处理后进行不同目标维度的归并处理，实现了数据的实时处理，相较于相关技术提升了处理效率；并且，不同目标维度的归并处理结果能够从不同的角度表征网络在不同时间片的状态信息，从而便于基于不同目标维度的数据归并处理结果进行告警分析，进而实现故障的精确定位。附图说明图1是本专利技术实施例中部署Storm集群系统承载数据处理装置的示意图；图2是本专利技术实施例中承载数据处理装置的Storm集群处理数据流的示意图；图3发是本专利技术实施例中承载数据处理装置的Storm集群的计算拓扑的示意图；图4是本专利技术实施例中承载社交应用的网络的拓扑示意图一；图5是本专利技术实施例中承载社交应用的网络的拓扑示意图二；图6是本专利技术实施例中承载社交应用的网络的拓扑示意图三；图7是本专利技术实施例中承载社交应用的网络的拓扑示意图四；图8是本专利技术实施例中承载社交应用的网络的拓扑示意图五；图9是本专利技术实施例中承载社交应用的网络的拓扑示意图六；图10是本专利技术实施例中数据处理装置的结构示意图；图11是本专利技术实施例中Storm集群系统承载数据处理装置的拓扑示意图。具体实施方式以微信应用为例，为了能够对用户触发的功能及时响应，保证用户体验，往往需要部署的大量的服务节点实现微信应用中的不同功能(如查看朋友圈、添加好友等)，社交应用中的可以由至少一个业务模块不仅限于一个，业务模块为多个服务节点组成)与其他业务模块之间进行访问(也可以称为模块调用)实现，相应地产生海量针对服务节点的监控数据；专利技术人发现，由此导致的问题在于：1)监控数据本身的信息量少，往往只涵盖对应主调服务节点(可以采用主调IP表示)、以及被调服务节点(采用被调服务IP标识)通过特定接口提供被调服务的特定接口(采用接口ID)两个维度对应的信息，例如成功次数、延时等；当微信的某一功能出现问题时，无法准确定位故障所在，如图1所示，基于上述的监控数据只能确定故障是位于哪个主调服务节点或被调服务节点的接口，而无法将故障定位到业务模块、主调服务节点、主调服务节点中的服务，或被调服务节点。2)监控数据量大，导致难以及时分析，从而进行告警处理或定位故障承载社交应用的服务节点产生的监控数据往往是海量，如果逐个分析监控数据，需要耗费相当的运算资源，并且难以保证后续告警处理或定位故障的实时性。专利技术人在实施本专利技术的过程中发现，如果能够将服务节点的监控数据扩展到相较于现有技术更多的维度，也就是从多个维度采集对应服务节点的监控数据，并基于监控数据的上报时间对监控数据进行分片处理得到分片监控数据，对于分片监控数据进行目标维度的归并，得到目标维度的分片监控数据的归并处理结果，这种基于时间片(可以单个时间片或一段时间对应的时间片)对应分片监控数据进行归并的处理方式相较于能够明显提升监控数据的处理效率并且，监控数据是基于多个维度采集得到的，能够对服务节点的运行情况进行全面的描述，这就便于基于分片监控数据的归并结果进行告警分析或定位故障。以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例一本实施例记载一种数据处理方法，可以由数据处理装置来实现，这里的数据处理装置在拓扑上可以采用Storm集群系统架构实现，数据处理装置对数据进行处理的不同功能单元或步骤可以映射到Storm集群系统中的工作节点中，由不同的工作节点完成数据处理；Storm系统的一个示意图如图1所示，Storm系统主要是由一个主节点(Master node)和工作节点(Worker node)组成，通过Zookeeper进行协调；其中，主节点运行一个后台程序Nimbus，用于在Storm系统中的资源分配和任务调度，并且监控系统状态；工作节点(主节点和多个工作节点由服务器的集群即Storm集群实现)运行一个后台程序Supervisor，用于接收分配的任务，根据需要管理(启动或关闭)Worker进程；Zookeeper，用于存放公有数据(如心跳信息、Storm系统的状态和配置信息)；Nimbus、Supervisor和Worker都把心跳信息保存在Zookeeper；以使Nimbus根据Zookeeper上的心跳信息和系统状态，进行资源分配和任务调度。每个节点都是拓扑(Topology)中一个子集的实现，Topology为Storm系统中运行的一个实时应用程序，可以表征作为数据源的发射节点(Spout)和数
据处理节点(Bolt)间的消息流(Stream，简称为流)的传递形成的逻辑上的一个拓扑结构，如图2所示，Storm系统中的数据以流的形式传递，流的基本单位为元组(Tuple)，Storm中的流可以视为由元组组成的有向无界(在时间上无界)的序列；一个Topology的示意图如图3所示，Topology可以视为由Bolt和本文档来自技高网...

【技术保护点】
一种数据处理方法，其特征在于，所述方法包括：获取服务节点之间进行访问的监控数据，所述监控数据从至少一个维度表征所述服务节点之间、以及所述服务节点的服务之间进行访问的特征信息；基于所述监控数据的上报时间将所述监控数据进行分片处理，得到分片监控数据，分片处理时所使用的时间片的大小基于监控的实时性要求确定；确定目标维度，所述目标维度包括所述维度至少之一；基于所述目标维度对所述分片监控数据进行归并处理，得到所述目标维度的分片监控数据的归并处理结果。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取服务节点之间进行访问的监控数据，所述监控数据从至少一个维度表征所述服务节点之间、以及所述服务节点的服务之间进行访问的特征信息；基于所述监控数据的上报时间将所述监控数据进行分片处理，得到分片监控数据，分片处理时所使用的时间片的大小基于监控的实时性要求确定；确定目标维度，所述目标维度包括所述维度至少之一；基于所述目标维度对所述分片监控数据进行归并处理，得到所述目标维度的分片监控数据的归并处理结果。2.如权利要求1所述的方法，其特征在于，所述方法还包括：所述目标维度包括主调业务模块ID，基于主调服务节点ID和主调业务模块ID的对应关系，将所述分片监控数据中的主调服务节点维度转换为主调业务模块ID维度，所述监控数据表征所述特征信息的维度至少包括主调服务节点标识ID，所述主调业务模块包括至少一个主调服务节点。3.如权利要求1所述的方法，其特征在于，所述方法还包括：所述目标维度包括被调业务模块ID，基于被调服务节点ID和被调业务模块ID的对应关系，将所述分片监控数据中的被调服务节点维度转换为被调业务模块ID维度，所述监控数据表征所述特征信息的维度至少包括被调服务节点ID，所述被调业务模块包括至少一个被调服务节点。4.如权利要求2或3所述的方法，其特征在于，基于目标维度对所述分片监控数据进行归并处理，得到所述目标维度的监控数据的归并处理结果，包括：至少基于主调业务模块ID维度和/或被调业务模块ID维度，对特定时间对应的分片监控数据进行收敛，直至，所述特定时间对应的分片监控数据收敛至主调业务模块ID维度和/或被调业务模块ID维度，对应得到主调业务模块ID维度和/或被调业务模块ID维度对应的归并处理结果，所述归并处理结果包括成功率、延时和延时抖动至少之
\t一，所述特征信息包括成功次数、失败次数和延时至少之一。5.如权利要求1所述的方法，其特征在于，所述方法还包括：基于所述目标维度对应的告警策略对所得到的归并处理结果进行告警分析；当分析结果表征归并处理结果超出对应的阈值时发出告警信息。6.如权利要求1所述的方法，其特征在于，所述方法还包括：当基于第N目标维度确定特定时间的对应的分片监控数据的归并处理结果超出所述第N目标维度对应的告警阈值时，基于预设的目标维度的优先级排序，确定第N+m目标维度；其中，所述第N+m目标维度对应的分片监控数据的归并处理结果未超出所述第N+m目标维度对应的告警阈值，第N+m+1目标维度对应的分片监控数据的归并处理结果超出第N+m+1目标维度对应的告警阈值，N取值为正整数，m依次从首项为1、公差为1的正整数等差序列中取值。7.如权利要求6所述的方法，其特征在于，所述预设的目标维度的优先级排序为：第一目标维度：主调业务模块ID、被调业务模块ID；第二目标维度：主调业务模块ID、被调业务模块ID、主调服务ID；第三目标维度：主调服务ID、被调服务ID；第四目标维度：主调服务ID、被调服务ID、被调服务接口ID；第五目标维度：主调业务模块ID、被调业务模块ID、主调服务ID、被调服务ID、被调服务接口ID。8.一种数据处理装置，其特征在于，所述装置包...

【专利技术属性】
技术研发人员：霍特，聂鑫，梁定安，黄兆鹏，曹凤龙，杨波，陶凛然，赵子青，黄伟俊，黄浩宇，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44