一种面向矿区无人运输系统的数据分析查询方法及系统技术方案

本发明专利技术涉及一种面向矿区无人运输系统的数据分析查询方法及系统，属于数据处理技术领域，解决了现有技术中无法对无人驾驶系统各组件模块产生的海量数据进行快速准确的实时采集和实时分析的问题

【技术实现步骤摘要】
一种面向矿区无人运输系统的数据分析查询方法及系统


[0001]本专利技术涉及数据处理
，特别是涉及一种面向矿区无人运输系统的数据分析查询方法及系统，用于对无人驾驶系统各组件模块产生的海量数据进行快速准确的实时采集和实时分析
。

技术介绍

[0002]在无人驾驶的整个系统内，各个组件模块每日会产生大量日志数据和位置状态数据等，这些数据中蕴含着运行车辆
、
道路和相关设备的真实情况
。
车辆利用感知
、
决策
、
控制和地图等模块实时规划运行轨迹及车速，但对于当前车辆的分析数据并不会即时生成
。
由于数据量的庞大，研究人员或数据分析人员需要下载数据到本地，选取一段时间的数据，然后使用
Excel
等绘图的方式分析数据，并基于得到的结论来优化无人驾驶系统，然而大量的数据检索会消耗研究人员的大量时间，并且使得数据的结论缺乏时效性
。
[0003]现有专利
202011200621.6
中采用了基于
Flink
和
kafka
的数据处理方式，实现了多数据源的实时处理，但是缺乏为研究人员或分析人员提供离线的大规模数据分析能力
。
[0004]传统数据库对于少量数据进行查询和分析的响应速度是很快的，随着数据逐日递增到一定量级时，会使数据查询变的缓慢，耗费的时间剧增，而且传统数据库为了存放更多的数据需要进行横向扩展，横向扩展实现比较复杂且难以达到预期
。EFK
系统需要使用者对
Lucene
语法有一定的了解，增加了使用难度
。
数据库数据和日志数据分属两个系统，存储方式的不同使数据不能统一起来
。Kafka
作为一个消息中间件，
Flink
实时处理的数据结果会放入对应的
kafka
主题中供下游
Flink
任务使用
。
读取
kafka
数据时客户端创建消费者来获取数据，这对于大规模的数据分析是不适用的
。

技术实现思路

[0005]鉴于上述问题，本专利技术提供了一种面向矿区无人运输系统的数据分析查询方法及系统，该方法支持海量数据的存储和实时查询，能够缓解各系统之间数据联合查询及数据量导致的存储和实时查询
、
数据处理分析困难的问题
。
[0006]本专利技术提供了一种面向矿区无人运输系统的数据查询系统，包括数据采集模块
、
数据处理模块
、
数据存储模块和实时查询平台；
[0007]数据采集模块用于从无人矿卡的实时数据的数据源采集源数据；
[0008]数据处理模块用于对源数据进行处理与分析获得实时处理
Flink
结果数据和离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据；
[0009]数据存储模块用于存储数据处理模块处理后的实时处理
Flink
结果数据和离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据；
[0010]实时查询平台用于实时查询和分析实时处理
Flink
结果数据和离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据，以满足实时业务需求和即时决策的要求
。
[0011]可选地，数据采集模块用于发现
、
监测和捕获数据库的变动；基于新增监控文件及
已有监控文件的偏移量的变化采集日志数据，并记录新增监控文件及已有监控文件的偏移量作为下次日志数据采集的开始位置；基于对采集消息组件端口的监听，每一个客户端均为一个消费者，消费者通过订阅消息组件中的
Topic
通道来获取消息组件推送的数据
。
[0012]可选地，数据源包括数据库数据
、
日志数据和消息组件；消息组件与数据库建立连接
。
[0013]可选地，数据处理模块中设置前端
Flink
平台和后端
Flink
平台；前端
Flink
平台用于把处理后的源数据全部放入
HDFS
系统中；使用
Spark
平台对处理后的源数据进行离线数据处理获得离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据，把离线数据处理结果和指标分析结果放入数据存储模块；前端
Flink
平台将源数据中需要进行实时处理的数据指标放入
Kafka
消息列队组件中由后端
Flink
平台处理获得实时处理
Flink
结果数据
。
[0014]本专利技术的另一方面，还公开了一种面向矿区无人运输系统的数据分析查询方法，采用前述的数据查询系统，具体步骤如下：
[0015]步骤
1、
从无人矿卡的实时数据的数据源中采集源数据；
[0016]步骤
2、
基于
Flink
平台处理步骤1采集的源数据获得实时处理
Flink
结果数据；
[0017]步骤
3、
基于
Spark
平台进行离线数据处理获得离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据：
[0018]步骤
4、
存储步骤2和步骤3获得的实时处理
Flink
结果数据和
Spark
结果数据；
[0019]步骤
5、
根据查询任务提取实时处理
Flink
结果数据和
Spark
结果数据；处理实时处理
Flink
结果数据和
Spark
结果数据后获得最终结果，实时查询平台的显示界面或客户端获得返回最终结果并进行展示
。
[0020]可选地，步骤2的具体步骤为：
[0021]步骤
2.1、
使用前端
Flink
平台的
FlinkKafkaConsumer
法创建
kafka
消息列队组件中的消费者数据，通过
Flink
平台的
addSource
算子从消费者数据获取
kafka
数据；
[0022]步骤
2.2、
使用前端
Flink
平台的
FlinkKafkaProducer
法创建
kafka
消息列队组件中的生产者数据，用于向
kafka
数据写入采集的源数据；
[0023]步骤
2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向矿区无人运输系统的数据查询系统，其特征在于，包括数据采集模块
、
数据处理模块
、
数据存储模块和实时查询平台；数据采集模块用于从无人矿卡的实时数据的数据源采集源数据；数据处理模块用于对源数据进行处理与分析获得实时处理
Flink
结果数据和离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据；数据存储模块用于存储数据处理模块处理后的实时处理
Flink
结果数据和离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据；实时查询平台用于实时查询和分析实时处理
Flink
结果数据和离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据，以满足实时业务需求和即时决策的要求
。2.
根据权利要求1所述的数据查询系统，其特征在于，数据采集模块用于发现
、
监测和捕获数据库的变动；基于新增监控文件及已有监控文件的偏移量的变化采集日志数据，并记录新增监控文件及已有监控文件的偏移量作为下次日志数据采集的开始位置；基于对采集消息组件端口的监听，每一个客户端均为一个消费者，消费者通过订阅消息组件中的
Topic
通道来获取消息组件推送的数据
。3.
根据权利要求1所述的数据查询系统，其特征在于，数据源包括数据库数据
、
日志数据和消息组件；消息组件与数据库建立连接
。4.
根据权利要求1所述的数据查询系统，其特征在于，数据处理模块中设置前端
Flink
平台和后端
Flink
平台；前端
Flink
平台用于把处理后的源数据全部放入
HDFS
系统中；使用
Spark
平台对处理后的源数据进行离线数据处理获得离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据，把离线数据处理结果和指标分析结果放入数据存储模块；前端
Flink
平台将源数据中需要进行实时处理的数据指标放入
Kafka
消息列队组件中由后端
Flink
平台处理获得实时处理
Flink
结果数据
。5.
一种面向矿区无人运输系统的数据分析查询方法，采用权利要求1‑4任一项所述的数据查询系统，其特征在于，具体步骤如下：步骤
1、
从无人矿卡的实时数据的数据源中采集源数据；步骤
2、
基于
Flink
平台处理步骤1采集的源数据获得实时处理
Flink
结果数据；步骤
3、
基于
Spark
平台进行离线数据处理获得离线数据处理结果和离线指标分析获得指标分析
Spark
结果数据：步骤
4、
存储步骤2和步骤3获得的实时处理
Flink
结果数据和
Spark
结果数据；步骤
5、
根据查询任务提取实时处理
Flink
结果数据和
Spark
结果数据；处理实时处理
Flink
结果数据和
Spark
结果数据后获得最终结果，实时查询平台的显示界面或客户端获得返回最终结果并进行展示
。6.
根据权利要求5所述的数据分析查询方法，其特征在于，步骤2的具体步骤为：步骤
2.1、
使用前端
Flink
平台的
FlinkKafkaConsumer
法创建
kafka
消息列队组件中的消费者数据，通过
Flink
平台的
addSource
算子从消费者数据获取
...

【专利技术属性】
技术研发人员：刘星，周泰，刘剑，苗嘉龙，梁启君，
申请(专利权)人：北京踏歌智行科技有限公司，
类型：发明
国别省市：