自动优化Storm并行度的方法、终端设备及存储介质技术

本发明专利技术公开一种自动优化Storm并行度的方法，包括如下步骤，S1：设置初始并行度Nmax和最小观察时长T，进入S2；S2：配置并保存并行度N及相关参数，进入S3；S3：提交计算拓扑到Storm集群，进入S4；S4：开始观察，对定时器、每个消息源和消息处理者的执行时长和执行次数清零，进入S5；S5：累加并记录观察时长T0和每个消息源和消息处理者的执行时长和执行次数，直到T0大于或等于T，进入S6；S6：计算每个消息源和消息处理者的实时并行度，并和各自的N进行比较，若相等，则返回S4，否则进入S7；S7：将S6中计算的实时并行度赋值给并行度N并保存，此时若Storm停止运行，则退出，否则返回S4。

The method, terminal equipment and storage medium for automatic optimization of Storm parallelism

The invention discloses an automatic optimization of Storm parallel method, which comprises the following steps: setting the initial S1 parallel Nmax and minimum observation time T into S2; S2: configure and save the parallelism of N and related parameters, enter the S3; S3: the submission of topology to the Storm cluster, enter S4; S4: start observation of timer, each message source and message handler execution time and execution times cleared, enter the S5; S5: accumulated and recorded when the length of T0 and each message source and message handler execution time and execution times, until the T0 is greater than or equal to T, into the S6 S6 calculated for each; the message source and message processing of real time parallelism, and compared, and their respective N if equal returns S4, otherwise enter S7; S7: S6 will calculate the real-time parallel degree of parallelism assigned to N and save, if Storm stops running Then exit, or return to S4.

【技术实现步骤摘要】
自动优化Storm并行度的方法、终端设备及存储介质
本专利技术涉及系统优化
，具体是一种自动优化Storm并行度的方法、终端设备及存储介质。
技术介绍
随着大数据时代的到来，系统处理的数据量越来越大，海量数据的处理能力成为系统性能的关键点。Storm是一个免费开源、分布式、高容错的流式实时计算框架，支持服务器横向扩容，成为目前最流行的流式处理框架。数据处理过程一般由多个阶段组成，比如提取、校验、清洗、关联、比对、标识、入库等，其中每一阶段为了提升实时性可再拆分成多个步骤。每一个步骤由storm中的一个消息源(Spout)和消息处理者(Bolt)来执行。如此下来，一个storm的计算拓扑(Topology)就由很多个spout和bolt组成，多则几十个。每个spout和bolt都需要设置并行度，即执行的executor线程数。如何精确的设置每一个spout和bolt并行度成为一个难题，设置的不好会造成服务器资源浪费以及系统执行性能慢。目前没有统一的设置并行度的方式，通常有经验者会根据stormui上的指标来调整并行度，主观上认为这个步骤复杂一点或者需要操作外部资源，就配置并行度高本文档来自技高网...

【技术保护点】
一种自动优化Storm并行度的方法，其特征在于：包括如下步骤：S1：设置初始并行度Nmax和最小观察时长：设置最小观察时长T和每个消息源(Spout)和消息处理者(Bolt)的初始并行度Nmax，其中，最小观察时长T为Storm优化阶段观察实际运行情况的最小时长，进入S2步骤；S2：配置并保存并行度及相关参数：Storm启动，将S1中设置的初始并行度Nmax赋值给每个消息源(Spout)和消息处理者(Bolt)的并行度N并保存，同时配置Storm的其他相关参数，进入S3步骤；S3：提交计算拓扑(Topology)：提交计算拓扑(Topology)到Storm集群，并启动该计算拓扑(Topolo...

【技术特征摘要】
1.一种自动优化Storm并行度的方法，其特征在于：包括如下步骤：S1：设置初始并行度Nmax和最小观察时长：设置最小观察时长T和每个消息源(Spout)和消息处理者(Bolt)的初始并行度Nmax，其中，最小观察时长T为Storm优化阶段观察实际运行情况的最小时长，进入S2步骤；S2：配置并保存并行度及相关参数：Storm启动，将S1中设置的初始并行度Nmax赋值给每个消息源(Spout)和消息处理者(Bolt)的并行度N并保存，同时配置Storm的其他相关参数，进入S3步骤；S3：提交计算拓扑(Topology)：提交计算拓扑(Topology)到Storm集群，并启动该计算拓扑(Topology)，进入S4步骤；S4：开始观察并清零相关数据：开始观察，并对定时器、每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed清零，进入S5步骤；S5：累加并记录相关数据：累加并记录观察时长T0，同时累加并记录每个消息源(Spout)和消息处理者(Bolt)的执行时长ExecuteTime和执行次数Executed，直到观察时长T0大于或等于最小观察时长T，进入S6步骤；S6：计算实时并行度：计算每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors，并对各自的Executors和N进行比较，若Executors等于N，则返回S4步骤，否则进入S7步骤；S7：调整并行度N：将S6中计算的每个消息源(Spout)和消息处理者(Bolt)的实时并行度Executors赋值给并行度N并保存，此时若Storm停止运行，则退出，否则返回S4步骤。2.如权利要求1所述的自动优化Storm并行度的方法，其特征在于：S6中...

【专利技术属性】
技术研发人员：曾超，江汉祥，蔡淋强，林文楷，
申请(专利权)人：厦门市美亚柏科信息股份有限公司，
类型：发明
国别省市：福建,35