一种节点工作流通信开销效率分析优化方法及系统技术方案

本发明专利技术涉及一种节点工作流通信开销效率分析优化方法及系统，所述节点工作流通信开销效率分析优化方法，包括：在客户端的所有待分析工作节点上注入性能分析优化代码；分别统计客户端的各节点收到其它节点以及发送到其它节点的数据流量，性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量，并将统计数据周期性地发送到监控处理端；监控处理端根据统计数据，分析节点的线程工作效率以及节点间工作流执行效率，并根据分析结果，结合用户预设定的阈值，对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序。本发明专利技术实施例降低网络中与设备内部进程间的通信负载，显著提高了基于终端设备节点工作流的性能。

An optimization method and system for communication overhead efficiency analysis of node workflow

The invention relates to a node workflow communication overhead efficiency analysis optimization method and system, and the optimization method of the node workflow communication overhead efficiency analysis and optimization, including: the performance analysis optimization code is injected into all the pending analysis work nodes on the client side; each node of the client receives the other nodes and sends to the node. The data flow of other nodes, performance analysis and optimization of the work node of the work node of the workflow thread resource occupancy rate, thread work property and the amount of data received, and send statistical data periodically to the monitoring and processing end; monitoring and processing end according to statistical data, analyze the node's thread efficiency and nodes According to the results of the analysis and the threshold set by the user, the periodicity of the working thread of the node is disassembled or merged, and the sequence of workflow between nodes is adjusted. The embodiment of the invention reduces the communication load between the network and the internal process of the device, and significantly improves the performance of the workflow based on the terminal node.

【技术实现步骤摘要】
一种节点工作流通信开销效率分析优化方法及系统
本专利技术涉及分布式计算和通信机制领域，尤其涉及一种节点工作流通信分析优化方法及系统。
技术介绍
近几年，面向大规模数据的分布式实时计算应用发展非常迅速，当前计算仍以云端和拥有大型计算能力的服务器为主，而更为贴近用户的海量终端资源则相对被浪费，庆幸的是，当前已有一部分研究和实际计算将目光集中到更靠近用户的终端上。典型的终端设备有手机、PAD、机顶盒、树莓派、路由器等。根据实际需求，一个计算任务可以被设计为一个工作流来运行。工作流是指一类能够完全自动执行的经营过程，根据一系列过程规则，将文档、信息或任务在不同的执行者之间进行传递与执行，如图1为工作流一个实例。一个工作流完成一项任务，一个工作流有多个阶段，一个阶段可以有一个或多个节点，实际执行中，一个节点内根据需求会有多个工作线程。随着软硬件的不断发展，终端设备的一些先天的弱点如CPU能力弱、功耗低、处理能力有限、内存等资源可用的十分有限等已经逐渐得到缓解，而在计算的过程中，设备之间的大量通信仍会消耗大量资源，同时也会影响设备中其他应用的性能，如何降低工作流中节点之间的通信开销，必将成为一个需要解决的问题。
技术实现思路
本专利技术为了解决现有技术中基于终端设备节点建立的工作流通信开销问题，提出了一种节点工作流通信分析优化方法及系统，主要通过对实际参与工作节点通信数据量的分析，将需要改进的工作节点和参与工作进程筛选出来，并通过优化将设备间、进程间通信转化为更为快速并开销更低的线程间通信来实现的。为实现上述目的，本专利技术一方面提供了一种节点工作流通信开销效率分析优化方法，包括:在客户端的所有待分析工作节点上注入性能分析优化代码；分别统计客户端的各节点收到其它节点以及发送到其它节点的数据流量，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量，并将统计数据周期性地发送到监控处理端；监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，并根据分析结果，结合用户预设定的阈值，对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序。优选地，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量步骤，包括：所述性能分析优化代码注入到节点的各工作线程中，统计线程的CPU和内存资源占用率；所述收发数据量为工作线程与其它节点的收发数据量以及与节点内部其它线程的收发数据量。优选地，所述监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，包括：所述监控处理端通过分析统计数据获得节点收发数据比值和工作线程收发数据比值；当所述节点收发数据比值和所述工作线程收发数据比值高于用户设定阈值时，则判定节点的线程通信效率高；当所述节点内线程通信效率高的线程百分比值高于用户设定阈值，以及每个节点间相互通信数据均衡，则判定节点间工作流执行的通信效率高。优选地，所述对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序，包括：根据需求拆分通信数据多在节点外部的工作线程所在的节点；将通信效率低的工作线程根据需求分配到其他节点；将相互之间的通信量较大节点的工作进程合并到同一节点。优选地，所述监控处理端可部署在节点管理服务器、任务管理服务器和单独服务器上。另一方面提供了一种节点工作流通信开销效率分析优化系统，包括客户端和监控处理端，在客户端的所有待分析工作节点上注入性能分析优化代码；分别统计客户端的各节点收到其它节点以及发送到其它节点的数据流量，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量，并将统计数据周期性地发送到监控处理端；监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，并根据分析结果，结合用户预设定的阈值，对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序。优选地，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量步骤，包括：所述性能分析优化代码注入到节点的各工作线程中，统计线程的CPU和内存资源占用率；所述收发数据量为工作线程与其它节点的收发数据量以及与节点内部其它线程的收发数据量。优选地，所述监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，包括：所述监控处理端通过分析统计数据获得节点收发数据比值和工作线程收发数据比值；当所述节点收发数据比值和所述工作线程收发数据比值高于用户设定阈值时，则判定节点的线程通信效率高；当所述节点内线程通信效率高的线程百分比值高于用户设定阈值，以及每个节点间相互通信数据均衡，则判定节点间工作流执行的通信效率高。优选地，所述对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序，包括：根据需求拆分通信数据多在节点外部的工作线程所在的节点；将通信效率低的工作线程根据需求分配到其他节点；将相互之间的通信量较大节点的工作进程合并到同一节点。优选地，所述监控处理端可部署在节点管理服务器、任务管理服务器和单独服务器上。本专利技术的一种节点工作流通信分析优化方法及系统优点在于：在通信方面分析量化了工作流节点的性能，给予了其判断优劣的指标,显著提高了节点工作流的性能,且所使用的基础技术多为开源、开放的技术，便于技术的应用和功能的扩展。附图说明图1为一种节点工作流示意图；图2为本专利技术节点工作流通信开销效率分析优化方法的流程图；图3为本专利技术节点工作流通信开销效率分析优化系统的代码、客户端与监控处理端的关系示意图；图4为本专利技术实施例节点工作流通信开销效率分析优化流程图。具体实施方式为使本专利技术实施例的技术方案以及优点表达的更清楚，下面通过附图和实施例，对本专利技术的技术方案做进一步的详细描述。在本实施例中，采用的终端设备为智能路由器或树莓派，采用的工作流为搭建Docker集群上布置的流计算节点工作流，运行监控处理程序的服务端为zookeeper管理服务器。图2为本专利技术节点工作流通信开销效率分析优化方法的流程图。如图2所示，本专利技术第一实施例提出了一种节点工作流通信开销效率分析优化方法，具体步骤如下：步骤S201，在客户端的所有待分析工作节点上注入性能分析优化代码。具体的，搭建集群环境并开启，建立工作流拓扑结构，开启代码注入器，在所有待分析工作节点上注入性能分析优化代码，运行性能分析优化客户端，并在zookeeper管理服务端启动运行监控处理端。性能分析分为注入性能分析优化代码、客户端、监控处理端三部分，监控处理端根据实际需求部署在节点管理服务器、任务管理服务器或者单独服务器上。步骤S202，分别统计客户端的各节点收到其它节点以及发送到其它节点的数据流量，性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量，并将统计数据周期性地发送到监控处理端。具体的，客户端统计所在节点收到其它节点以及发送到其它节点的数据流量，代码注入到节点每个工作线程里，统计线程CPU、内存等资源的占用率，工作线程内部布置在topology.executor.receiver.buffer.size和topology.execor.send.buffer.size处；收发数据量统计包括工作线本文档来自技高网...

【技术保护点】
1.一种节点工作流通信开销效率分析优化方法，其特征在于，包括：在客户端的所有待分析工作节点上注入性能分析优化代码；分别统计客户端的各节点收到其它节点以及发送到其它节点的数据流量，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量，并将统计数据周期性地发送到监控处理端；监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，并根据分析结果，结合用户预设定的阈值，对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序。

【技术特征摘要】
2017.12.19 CN 20171137727571.一种节点工作流通信开销效率分析优化方法，其特征在于，包括：在客户端的所有待分析工作节点上注入性能分析优化代码；分别统计客户端的各节点收到其它节点以及发送到其它节点的数据流量，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量，并将统计数据周期性地发送到监控处理端；监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，并根据分析结果，结合用户预设定的阈值，对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序。2.根据权利要求1所述的节点工作流通信开销效率分析优化方法，其特征在于，所述性能分析优化代码统计所在的工作节点的工作流线程资源占用率、线程工作属性以及收发数据量步骤，包括：所述性能分析优化代码注入到节点的各工作线程中，统计线程的CPU和内存资源占用率；所述收发数据量为工作线程与其它节点的收发数据量以及与节点内部其它线程的收发数据量。3.根据权利要求1所述的节点工作流通信开销效率分析优化方法，其特征在于，所述监控处理端根据所述统计数据，分析节点的线程工作效率以及节点间工作流执行效率，包括：所述监控处理端通过分析统计数据获得节点收发数据比值和工作线程收发数据比值；当所述节点收发数据比值和所述工作线程收发数据比值高于用户设定阈值时，则判定节点的线程通信效率高；当所述节点内线程通信效率高的线程百分比值高于用户设定阈值，以及每个节点间相互通信数据均衡，则判定节点间工作流执行的通信效率高。4.根据权利要求3所述的节点工作流通信开销效率分析优化方法，其特征在于，所述对节点工作线程周期性进行拆分或归并，调整节点间工作流顺序，包括：根据需求拆分通信数据多在节点外部的工作线程所在的节点；将通信效率低的工作线程根据需求分配到其他节点；将相互之间的通信量较大节点的工作进程合并到同一节点。5.根据权利要求1所述的节点工作流通信开销效率分析优化方法，其特征在于，所述监控处理端可部署在节...

【专利技术属性】
技术研发人员：韩锐，宋锐星，郭志川，刘春梅，
申请(专利权)人：中国科学院声学研究所，
类型：发明
国别省市：北京,11