一种组件式的数据处理方法和系统技术方案

本发明专利技术涉及一种组件式的数据处理方法和系统。其主要是将数据处理的过程抽象成源组件、处理组件、目标组件三种，通过Web技术，让用户能够以这些组件来定义一个数据处理管道，数据处理管道的开始是一个源组件、中间有若干个处理组件、最后有一个目标组件，数据处理管道定义完成后，按照数据处理管道的定义开始数据处理的工作，先按照源组件中的定义，到指定的位置获取数据，然后到处理组件，通过不同的处理组件将数据进行一系列的解析、转换，经过处理后的数据最后到目标组件定义的位置。借此，极大的简化了数据处理流程的开发，也能在数据处理流程变化时，不需要修改程序就能动态的修改数据处理流程。

【技术实现步骤摘要】
一种组件式的数据处理方法和系统
本专利技术属于大数据处理和分析领域，具体涉及一种可视化组件式的数据处理方法和系统，主要用于大数据环境下以可视化方式动态配置数据管道来处理数据。
技术介绍
在大数据的数据处理环节，有对结构化、半结构化的数据进行处理转换的需求，需要对它们进行一些转换处理变成另外一种结构化的数据，比如从原始数据中提取关键字、转换数据类型、替换文本、删除文本、增加文本、根据指定的PATH从嵌套关系的数据中提取值、日期格式的转换、对原始数据中的内容进行编码转换、脱敏、字符串拼接等多种需求。传统的方式是要有专门的数据处理人员通过编写程序的方式来处理数据，这种方式存在的问题是数据处理过程不能适应动态变化，不能直观的了解数据经过了哪些环节的处理。同时，由于系统工作会因为业务的变化而变化，例如增加了新的数据处理需求和数据的结构发生了变化等等情况，一旦数据结构发生变化时，原来的数据处理系统将无法正常工作，需要停机并按照数据结构的变化来重新调整程序，必须经过开发、测试、上线等一系列过程，调整完成后才能继续运行，严重影响了业务的正常运行本文档来自技高网...

【技术保护点】
1.一种组件式的数据处理方法，其主要是将数据处理的过程抽象成源组件、处理组件、目标组件三种，通过Web技术，让用户能够以这些组件来定义一个数据处理管道，数据处理管道的开始是一个源组件、中间有若干个处理组件、最后有一个目标组件，数据处理管道定义完成后，按照数据处理管道的定义开始数据处理的工作，先按照源组件中的定义，到指定的位置获取数据，然后到处理组件，通过不同的处理组件将数据进行一系列的解析、转换，经过处理后的数据最后到目标组件定义的位置。/n

【技术特征摘要】
1.一种组件式的数据处理方法，其主要是将数据处理的过程抽象成源组件、处理组件、目标组件三种，通过Web技术，让用户能够以这些组件来定义一个数据处理管道，数据处理管道的开始是一个源组件、中间有若干个处理组件、最后有一个目标组件，数据处理管道定义完成后，按照数据处理管道的定义开始数据处理的工作，先按照源组件中的定义，到指定的位置获取数据，然后到处理组件，通过不同的处理组件将数据进行一系列的解析、转换，经过处理后的数据最后到目标组件定义的位置。


2.如权利要求1所述的组件式的数据处理方法，其特征在于，处理组件包括：grok拆分、Json转换、xml解析、csv解析、字符串拼接、日期解析、KV提取、字典转换、字段类型转换、定长字段提取、正则替换、增加列表字段、重命名字段、字段分割、添加字段、删除字段、转大写、转小写、去除空白、丢弃字段。


3.如权利要求1所述的组件式的数据处理方法，其特征在于，处理组件可以在一个数据处理管道或多个数据处理管道中重复使用。


4.如权利要求1所述的组件式的数据处理方法，其特征在于，定义的数据处理管道可以导出/导入。


5.如权利要求1所述的组件式的数据处理方法，其特征在于：数据处理管道能够通过以可视化的方式拖拽这些处理组件来定义。


6.一种组件式的数据处理系统，其特征在于，其包括：
数据处理管道定义模块，用于生...

【专利技术属性】
技术研发人员：孔文，阙裕斌，王兆良，
申请(专利权)人：云智慧北京科技有限公司，
类型：发明
国别省市：北京;11