基于流数据实时计算的方法、系统、设备及存储介质技术方案

本发明专利技术提供了基于流数据实时计算的方法、系统、设备及存储介质，其中，方法包括以下步骤：对目前已有的数据进行节点开发，将已有的数据处理逻辑封装成Storm集群的源头和节点，然后在数据库中进行节点配置，提供给后台管理系统使用；根据系统中已经配置的节点，根据业务需求设置每个节点的参数值，最后提交取数任务到数据库中保存；提交取数任务；根据接收到的取数任务的配置参数生成网络拓扑；将网络拓扑提交到管理系统；根据管理系统的自定义回调函数触发编译系统进行网络拓扑的编译和打包；将打包后的网络拓扑上传到Storm集群；以及完成取数任务的网络拓扑自动上线进行工作。本发明专利技术能够满足运营人员多种多样的取数需求，通过配置化快速上线。

【技术实现步骤摘要】
基于流数据实时计算的方法、系统、设备及存储介质
本专利技术涉及数据处理领域，具体地说，涉及基于流数据实时计算的方法、系统、设备及存储介质。
技术介绍
近年来大数据处理的需求不断增多，如何处理庞大的海量数据充满挑战。随着互联网的进一步发展，从门户网站浏览型到搜索型到SNS关系交互传递型，以及电子商务将生活中的流通环节在线化。对于效率的要求让人们对实时性的要求进一步提升，而信息的交互正在往信息网的方向发展，必然带来数据各个维度的交叉关联，数据爆炸已不可避免。流式数据实时计算框架随之诞生，比如TwitterStorm、YahooS4、IBMStreambase、Borealis等。通过类似于Storm的实时数据流计算框架，开发人员可以快速搭建一套健壮的实时流计算框架，配合数据库使用可以低成本的开发出优秀的实时产品。Storm是2011年9月由Twitter公司开源的流式数据实时计算框架，是目前工业界技术最成熟的流计算框架之一。数据流处理平台通常基于故障恢复的高可用方法有三类：积极备用(ActiveStandby)，消极备用(PassiveStandby)和上游备份(UpstreamBack本文档来自技高网...

【技术保护点】
一种基于流数据实时计算的方法，其特征在于，包括以下步骤：S101、对目前已有的数据进行节点开发，将已有的数据处理逻辑封装成Storm集群的源头和节点，然后在数据库中进行节点配置，提供给后台管理系统使用；S102、根据系统中已经配置的节点，设置每个节点的参数值，最后提交取数任务到数据库中保存；S103、提交取数任务；S104、根据接收到的取数任务的配置参数生成网络拓扑；S105、将所述网络拓扑提交到管理系统；S106、根据所述管理系统的自定义回调函数触发编译系统进行网络拓扑的编译和打包；S107、将打包后的网络拓扑上传到Storm集群；以及S108、完成取数任务的网络拓扑自动上线进行工作。

【技术特征摘要】
1.一种基于流数据实时计算的方法，其特征在于，包括以下步骤：S101、对目前已有的数据进行节点开发，将已有的数据处理逻辑封装成Storm集群的源头和节点，然后在数据库中进行节点配置，提供给后台管理系统使用；S102、根据系统中已经配置的节点，设置每个节点的参数值，最后提交取数任务到数据库中保存；S103、提交取数任务；S104、根据接收到的取数任务的配置参数生成网络拓扑；S105、将所述网络拓扑提交到管理系统；S106、根据所述管理系统的自定义回调函数触发编译系统进行网络拓扑的编译和打包；S107、将打包后的网络拓扑上传到Storm集群；以及S108、完成取数任务的网络拓扑自动上线进行工作。2.根据权利要求1所述的基于流数据实时计算的方法，其特征在于：所述步骤S102中根据业务需求设置每个节点的参数值包括设置处理节点参数和输入节点参数。3.根据权利要求2所述的基于流数据实时计算的方法，其特征在于：所述步骤S102中根据业务需求设置每个节点的参数值还包括取数任务基础信息。4.根据权利要求1所述的基于流数据实时计算的方法，其特征在于：所述步骤S103中调度任务定时轮询数据库中新提交的取数任务。5.根据权利要求1所述的基于流数据实时计算的方法，其特征在于：所述步骤S104中根据取数任务的配置参数，使用模版引擎，生成网络拓扑。6.根据权利要求1所述的基于流数据实时计算的方法，其特征在于：所述步骤S107中，将网络拓扑打包成jar包...

【专利技术属性】
技术研发人员：何彬，高洪强，江志超，潘飞，许译丹，
申请(专利权)人：携程旅游网络技术上海有限公司，
类型：发明
国别省市：上海,31