一种数据处理方法和装置制造方法及图纸

本发明专利技术公开了数据处理方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括获取消息，识别消息格式；根据消息格式，调用预定义的配置文件得到所述消息对应的字段信息，以生成相应的数据流；基于所述配置文件中预设的返回数据结构，将所述数据流进行转换并返回。从而，本发明专利技术的实施方式能够解决现有数据处理方式兼容性差，效率低的问题。效率低的问题。效率低的问题。

【技术实现步骤摘要】
一种数据处理方法和装置


[0001]本专利技术涉及计算机
，尤其涉及一种数据处理方法和装置。

技术介绍

[0002]在大数据开发
，实时计算框架有很多，比如Storm、Spark、Flink(Flink是一个开源的针对批量数据和流数据的处理引擎)等，在接收消息处理消息时，往往要经过解析内容、处理异常数据，再经过各种转换后映射成结构化的表格形式。面对诸多的解析内容与字段信息，需要一一映射。
[0003]在实现本专利技术过程中，专利技术人发现现有技术中至少存在如下问题：
[0004]目前，已知还不存在一种工具能自动识别出待处理数据的格式并对数据做出处理，转换成DataStream或者Table等后续Flink能操作的数据格式。通常的处理办法是实际开发人员根据已知value的格式，做出相对应的操作，以及对脏数据处理，将数据转换成Flink能正确处理的格式。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种数据处理方法和装置，能够解决现有数据处理方式兼容性差，效率低的问题。r/>[0006]为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：获取消息，识别消息格式；根据消息格式，调用预定义的配置文件得到所述消息对应的字段信息，以生成相应的数据流；基于所述配置文件中预设的返回数据结构，将所述数据流进行转换并返回。2.根据权利要求1所述的方法，其特征在于，获取消息，包括：使用FlinkKafkaConsumer连接对应的kafka的topic，获取消息。3.根据权利要求2所述的方法，其特征在于，识别消息格式，包括：通过fastjson方法解析消息，判断是否解析成功，若是则消息格式为json格式，若否则消息格式为String格式或其他格式。4.根据权利要求1所述的方法，其特征在于，调用预定义的配置文件得到所述消息对应的字段信息，包括：通过递归的方式，根据消息格式对应的配置文件对消息进行解析以获得字段信息。5.根据权利要求4所述的方法，其特征在于，通过递归的方式，根据消息格式对应的配置文件对消息进行解析以获得字段信息，包括：如果消息格式为json格式，则通过递归的方式使用fastjson方法对消息解析，以根据配置文件获得相应的键值对；或者如果消息格式为string格式，则根据配置文件获得所述消息相应的字段信息；其中，所述字段信息为json格式的信息，则通过递归的方式使用fa...

【专利技术属性】
技术研发人员：王云涛，王熙，周默，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：