一种基于流计算和新型列式存储的物联网大数据分析方法技术

本发明专利技术公开了一种基于流计算和新型列式存储的物联网大数据分析方法，属于物联网大数据分析技术领域，首先对采集数据进行通信协议转换，得到统一的数据格式，传入到消息队列中，再送入分布式流计算框架Flink中；然后，流计算框架Flink对数据进行数据统计、数据聚合和分析后，实时写入到Kudu中；再调用Kudu的原生接口(Scan)对Kudu中存储的数据进行批量离线分析，数据分析人员便可在Impala计算引擎中进行实时查询，本发明专利技术解决了物联网领域现有海量设备信息的大数据存储与分析方法无法在对批量数据进行分析的同时进行单条数据更新，以及吞吐量较小，局限性较大的问题。

【技术实现步骤摘要】
一种基于流计算和新型列式存储的物联网大数据分析方法
本专利技术属于物联网大数据分析
，涉及一种基于流计算和新型列式存储的物联网大数据分析方法。
技术介绍
在新时代，以物联网、大数据和云计算、人工智能为代表的新一代信息通信技术发展迅猛，物联网技术通过与其它新技术的不断融合，物联网的应用也呈现爆发趋势，进一步实现了人、机、物的信息共享，信息世界与物理世界之间形成了更加紧密的信息流动生态系统。物联网中万物互联，数据具有异构性、海量性、实时性等典型特征，为了能对收集到的物联网设备数据进行有效的批量分析、实时分析、实时展示，需要设计新的分布式存储架构和实时流处理框架。传统的物联网数据存储方案是：采用B/S(Browser/Server，即浏览器/服务器)的方式存储数据，每接收一条数据请求，便在关系型数据库中(例如Oracle、Mysql)存储一条数据记录。数据分析时，编写SQL语句对数据进行实时分析和离线分析。B/S方式的数据分析虽然可以做到实时性，但是无法应对海量数据。在网络请求量逐渐增大的过程中虽然可以采用分布式系统的方式，但分布式系统基于CAP原则，在大多数业务中只能满足一致性和分本文档来自技高网...

【技术保护点】
1.一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，包括以下步骤：步骤1：对采集数据进行通信协议转换，得到统一的数据格式，传入到消息队列中；步骤2：消息队列接收到统一格式的数据后，送入分布式流计算框架中；步骤3：流计算框架对数据进行数据统计、数据聚合和分析后，实时写入到Kudu中；步骤4：调用Kudu的原生接口Scan对Kudu中存储的数据进行批量离线分析，数据分析人员便可在Impala计算引擎中进行实时查询。

【技术特征摘要】
1.一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，包括以下步骤：步骤1：对采集数据进行通信协议转换，得到统一的数据格式，传入到消息队列中；步骤2：消息队列接收到统一格式的数据后，送入分布式流计算框架中；步骤3：流计算框架对数据进行数据统计、数据聚合和分析后，实时写入到Kudu中；步骤4：调用Kudu的原生接口Scan对Kudu中存储的数据进行批量离线分析，数据分析人员便可在Impala计算引擎中进行实时查询。2.根据权利要求1所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述步骤1中的采集数据为从物联网设备采集到的数据，所述步骤1包括以下步骤：步骤1.1：对物联网设备建立基于TCP的socket长连接，建立通信链路；步骤1.2：从物联网设备获取数据，得到待解析的原始数据；步骤1.3：对接收到的原始数据进行协议识别、协议解析、统一格式转换，输出为统一的数据格式，并传入到消息队列中。3.根据权利要求2所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述步骤1.2中，从物联网设备获取数据的方式为主动方式或被动方式，所述主动方式获取数据是通信协议转换模块周期性或临时性的从物联网设备获取数据；所述被动方式获取数据是物联网设备主动上传数据到通信协议转换模块。4.根据权利要求3所述的一种基于流计算和新型列式存储的物联网大数据分析方法，其特征在于，所述通信协议转换...

【专利技术属性】
技术研发人员：彭安，
申请(专利权)人：成都古河云科技有限公司，
类型：发明
国别省市：四川,51