一种基于Flink实现数据格式校验的方法技术

本发明专利技术提供一种基于Flink实现数据格式校验的方法，属于物联网技术领域，本发明专利技术以缓存作为flink的数据源(source)和数据目的地(sink)，增加flink对缓存的连接器，实现从缓存中获取被校验的json数据，并将数据根据SQL进行转换、处理、筛选以及转发至缓存，最后在缓存中获取处理结果，以验证被校验数据是否满足SQL。

A method of data format verification based on Flink

【技术实现步骤摘要】
一种基于Flink实现数据格式校验的方法
本专利技术涉及物联网技术，涉及Flink大数据组件，应用java、SQL等相关技术，尤其是一种基于Flink实现数据格式校验的方法。
技术介绍
目前现有技术中，使用Flink处理流式数据已成为主流，在物联网服务中，Flink的一个重要应用就是设定SQL语句，对数据来源中的数据进行数据分析、筛选和转换，并将处理后的结果流向其他目的地。该方案只是针对同一个数据来源中的数据格式相同并且是json格式的数据。数据源中的数据经过SQL语句的处理分析，可以改变数据格式，比如：数据源中的原始数据格式为：{"state":{"reported":{"temperature":87}},"clientToken":"clientId_lamp_","timestamp":1531381822}，处理分析的SQL语句为：selectstate.reported.temperatureastemperature,`timestamp`,clientTokenastagsfromtableName,经过SQL处理后，原本文档来自技高网...

【技术保护点】
1.一种基于Flink实现数据格式校验的方法，其特征在于，/n设定缓存为Flink job的数据源和目的地，自定义Flink对缓存的连接器，其目的是对缓存中的单条json数据进行处理和校验，并将结果发送至缓存。/n

【技术特征摘要】
1.一种基于Flink实现数据格式校验的方法，其特征在于，
设定缓存为Flinkjob的数据源和目的地，自定义Flink对缓存的连接器，其目的是对缓存中的单条json数据进行处理和校验，并将结果发送至缓存。


2.根据权利要求1所述的方法，其特征在于，
以缓存作为flink的数据源和数据目的地，增加flink对缓存的连接器，实现从缓存中获取被校验的json数据，并将数据根据SQL进行转换、处理、筛选以及转发至缓存，最后在缓存中获取处理结果，以验证被校验数据是否满足SQL。


3.根据权利要求2所述的方法，其特征在于，
根据被校验的json数据获取可暂存该数据格式的数据表结构schema。


4.根据权利要求3所述的方法，其特征在于，
设定缓存做为Flink的外部数据源，将被校验的json数据暂存至缓存，并设置key为sourceData。

【专利技术属性】
技术研发人员：王翠，苑晓龙，刘牧，
申请(专利权)人：浪潮云信息技术有限公司，
类型：发明
国别省市：山东;37