一种实时ETL数据流转换处理技术方法与系统技术方案

本发明专利技术涉及数据处理技术领域，尤其是一种实时ETL数据流转换处理技术方法与系统，包括处理方法的各个步骤，提供一种拓扑图配置，内部转化器转成类SQL，配置灵活；并且在网络中断，机器宕机的情况下依旧可以工作，保障数据转换的稳定性；同时内部处理模块提供一种动态配置的转换的方式，有效的解决了现有在大数据转换领域不能实时有效对数据标准化、转换，并且存在单点问题浪费资源占用；同时由于JStorm任务都是硬编码，不能实时改变且不能动态调整资源问题。

【技术实现步骤摘要】
一种实时ETL数据流转换处理技术方法与系统
本专利技术涉及大数据实时流处理
，尤其是一种实时ETL数据流转换处理技术方法与系统。
技术介绍
ETL是描述来源经过抽取，转换到目标端的过程，用于构造数据仓库，JStorm是一个分布式实时计算引擎，类似HadoopMapReduce的系统，用户按照规定的编程规范实现一个任务，然后将这个任务递交给JStorm系统，并且按7*24小时运行起来，一旦中间一个worker发生意外故障，调度器立即分配一个新的worker替换这个失效的worker。因此，从应用的角度，JStorm应用是一种遵守某种编程规范的分布式应用。从系统角度，JStorm一套类似MapReduce的调度系统。从数据的角度，是一套基于流水线的消息处理机制。随着大数据的兴起，企业越来越重视数据实时数据相关处理，从日志或者应用程序拉取到的数据如何规整、转换和加载成为关键点，而目前传统的ETL处理技术并不能在线实时处理，并且存在单点问题，在海量数据来临时，每秒处理量，以及占用操作系统资源较大，且不能动态调整资源；传统的ETL转换并不能实时生效，当前配置的转换策略，需要重启转换程序才可生效；传统ETL配置的策略不够灵活，一旦数据源改变，字段增删改后，程序的配置策略比较复杂；传统的转换可靠性得不到保障，主机的网络顺断，会导致任务失败。
技术实现思路
本专利技术要解决的技术问题是：为了解决在大数据转换领域不能实时有效对数据标准化、转换，并且存在单点问题浪费资源占用；同时由于JStorm任务都是硬编码，不能实时改变且不能动态调整资源问题，本专利技术提供了一种实时ETL数据流转换处理技术方法，包括处理方法的各个步骤，提供一种拓扑图配置，内部转化器转成类SQL，配置灵活；并且在网络中断，机器宕机的情况下依旧可以工作，保障数据转换的稳定性；同时内部处理模块提供一种动态配置的转换的方式，有效的解决了现有在大数据转换领域不能实时有效对数据标准化、转换，并且存在单点问题浪费资源占用；同时由于JStorm任务都是硬编码，不能实时改变且不能动态调整资源问题。本专利技术解决其技术问题所采用的技术方案是：一种实时ETL数据流转换处理技术方法，包括如下具体步骤：1)首先进行数据标准化，将各种日志数据标准化成日志模板，系统性能指标和业务指标标准化成指标模板；2)把上述的标准数据Avro序列化放入到kafka消息队列；3)Jstorm的kafkaSpout模块从kafka队列中反序列化出数据，根据配置的SQL区分不同的模板，并分发到不同的分布式节点，格式化成内部SQL处理引擎的输入源；4)利用内部计算引擎的实时统计做统计计算；5)利用内部计算引擎类SQL语句，进行数据合并、数据拆分和数据验证；6)经过Jstorm和内部计算引擎出来，可支持阈值报警，或者右输出到kafka用于其他用途。进一步地，在步骤1)中，模板主要包括时间戳、维度、度量值、附加值。进一步地，在步骤4)中，支持实时count，sum，groupby操作。进一步地，在步骤5)中，数据合并：多指标关联实现相交用join；数据拆分：按一定规则进行数据拆分；数据验证：查询关键字、去除无关记录。进一步地，Jstorm集群支持动态扩展，zookeeper实时通知动态更新配置。一种采用实时ETL数据流转换处理技术方法的系统，实时ETL数据流转换处理系统包括Web服务和Jstorm处理模块，其中，Web服务包括zookeeper通知模块、Sql配置模块和数据标准化模块；Jstorm处理模块包括zkclient实时通知模块、反序列化模块、SQL执行模块、拉取和输出kafka模块、实时更新配置Sql模块和异常处理模块。本专利技术的有益效果是：本专利技术提供了一种实时ETL数据流转换处理技术方法，包括处理方法的各个步骤，提供一种拓扑图配置，内部转化器转成类SQL，配置灵活；并且在网络中断，机器宕机的情况下依旧可以工作，保障数据转换的稳定性；同时内部处理模块提供一种动态配置的转换的方式，有效的解决了现有在大数据转换领域不能实时有效对数据标准化、转换，并且存在单点问题浪费资源占用；同时由于JStorm任务都是硬编码，不能实时改变且不能动态调整资源问题；系统支持异常检测，并保证ETL转换高可靠运行；可以通过配置拓扑图的方式，拖拽一个转化图，后台处理模块自动转成类SQL，实时生效，动态添加一个转化任务；实时数据流ETL并行架构以及它通过JStorm的流处理机制使得它能够的数百万个时序数据集上执行实时转化。此外采用不同的时间序列建模和类SQL来处理不同的监控场景。通过将这一组数据后续可以和机器学习机制结合在警报模块中，用户可配置灵活性极大，所有这些功能都有效地创建了一个功能强大的转化框架，它是通用的和可扩展的。拓扑图的配置较灵活不用繁琐的去配置SQL，只需要配置几个转换图，后台自动生成SQL；本专利技术还提供了一种包括实时ETL数据流转换处理技术方法的系统。附图说明下面结合附图和实施例对本专利技术进一步说明。图1是本专利技术的流程图；图2是本专利技术的各个模块的具体示意图。具体实施方式现在结合附图对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。一种实时ETL数据流转换处理技术方法，包括如下具体步骤：1)首先进行数据标准化，将各种日志数据标准化成日志模板，系统性能指标和业务指标标准化成指标模板，模板是时间序列的一种展现形式，主要包括时间戳、维度、度量值、附加值等，数据的多元化采用标准化的数据为转化提供基础；2)把上述的标准数据Avro序列化放入到kafka消息队列；3)Jstorm的kafkaSpout模块从kafka队列中反序列化出数据，根据配置的SQL区分不同的模板，并分发到不同的分布式节点，格式化成内部SQL处理引擎的输入源；4)利用内部计算引擎的实时统计做统计计算，支持实时count，sum，groupby操作；5)利用内部计算引擎类SQL语句，数据合并：多指标关联实现相交用join；数据拆分：按一定规则进行数据拆分；数据验证：查询关键字、去除无关记录；6)经过Jstorm和内部计算引擎出来，可支持阈值报警，或者右输出到kafka用于其他用途。为解决单点问题，Jstorm集群支持动态扩展，zookeeper实时通知动态更新配置。一种采用实时ETL数据流转换处理技术方法的系统，实时ETL数据流转换处理系统包括Web服务和Jstorm处理模块，其中，Web服务包括zookeeper通知模块、Sql配置模块和数据标准化模块；Jstorm处理模块包括zkclient实时通知模块、反序列化模块、SQL执行模块、拉取和输出kafka模块、实时更新配置Sql模块和异常处理模块。如图1所示，包括以下处理步骤内容：1)将数据标准化成模板格式；2)判断是否符合规范；3)如果不是则存入kafka错误队列继续下次调整；4)序列化；5)输出到kafka；6)jstorm拉取kafka消息；7)序列化是否成功；8)若成功，根据从服务拉取到的sql语句进行输入源封装，SQL是通过拓扑图拖拽出来的；9)分发到分布式的SQL处理模块中执行；10)输出结果到kafka。如图2所示，具体包本文档来自技高网...

【技术保护点】
一种实时ETL数据流转换处理技术方法，其特征在于：包括如下具体步骤：1)首先进行数据标准化，将各种日志数据标准化成日志模板，系统性能指标和业务指标标准化成指标模板；2)把上述的标准数据Avro序列化放入到kafka消息队列；3)Jstorm的kafka Spout模块从kafka队列中反序列化出数据，根据配置的SQL区分不同的模板，并分发到不同的分布式节点，格式化成内部SQL处理引擎的输入源；4)利用内部计算引擎的实时统计做统计计算；5)利用内部计算引擎类SQL语句，进行数据合并、数据拆分和数据验证；6)经过Jstorm和内部计算引擎出来，可支持阈值报警，或者右输出到kafka用于其他用途。

【技术特征摘要】
1.一种实时ETL数据流转换处理技术方法，其特征在于：包括如下具体步骤：1)首先进行数据标准化，将各种日志数据标准化成日志模板，系统性能指标和业务指标标准化成指标模板；2)把上述的标准数据Avro序列化放入到kafka消息队列；3)Jstorm的kafkaSpout模块从kafka队列中反序列化出数据，根据配置的SQL区分不同的模板，并分发到不同的分布式节点，格式化成内部SQL处理引擎的输入源；4)利用内部计算引擎的实时统计做统计计算；5)利用内部计算引擎类SQL语句，进行数据合并、数据拆分和数据验证；6)经过Jstorm和内部计算引擎出来，可支持阈值报警，或者右输出到kafka用于其他用途。2.如权利要求1所述的一种实时ETL数据流转换处理技术方法，其特征在于：在步骤1)中，模板主要包括时间戳、维度、度量值、附加值。3.如权利要求1所述的一种实时ETL数据流转换处理技术方法，其...

【专利技术属性】
技术研发人员：朱志刚，朱明磊，
申请(专利权)人：上海中畅数据技术有限公司，
类型：发明
国别省市：上海,31