一种电磁数据处理平台制造技术

本发明专利技术实施例提供一种电磁数据处理平台，包括：数据收集模块、数据存储模块、数据缓存模块、实时计算模块、统计缓存模块、可视化模块和分析挖掘模块；分别用于收集数据、存储数据、缓存数据、统计数据、保存统计结果、可视化展示数据和分析数据。本发明专利技术实施例通过使用大数据相关处理技术实现了大量电磁数据的收集和存储；解决了数据读入和写出速度不匹配的问题；提高了分析的实时性；可视化展示电磁数据；提供机器学习算法和数据挖掘技术，使电磁数据处理更加智能；电磁数据处理平台部署流程较为简单。

An electromagnetic data processing platform

【技术实现步骤摘要】
一种电磁数据处理平台
本专利技术涉及大数据处理
，尤其涉及一种电磁数据处理平台。
技术介绍
随着移动通信事业的迅猛发展，电磁频谱资源得到了普遍开发，依赖于电磁波的电子设备也得到了广泛的应用，电磁空间数据安全保障也受到了前所未有的关注。近年来，电磁环境愈发变得复杂，获取的电磁空间数据呈现出大数据的显著特点，如，电磁空间数据爆发性增长，使得大数据规模较大；数据来源广泛，使得大数据呈现出多样性；对数据进行实时分析，数据输入、处理与丢弃立刻见效，使得大数据处理呈现出高速性；通过从大量不相关的各种类型数据中，挖掘出对预测分析未来趋势与模式有价值的数据，体现了大数据处理的价值性。然而，传统的电磁信号处理技术，在处理规模和处理速度方面已经越来越不能满足日常实际需要。电磁数据的处理呈现出诸多问题，如，电磁数据量增加导致存储数据效率低、不能处理多种格式电磁数据、实时计算性能差、无法提供实时告警功能、严重依赖人工分析、没有充分挖掘历史数据。
技术实现思路
本专利技术实施例提供一种电磁数据处理平台，用以解决电磁数据量增加导致本文档来自技高网...

【技术保护点】
1.一种电磁数据处理平台，其特征在于，包括：/n数据收集模块、数据存储模块、数据缓存模块、实时计算模块、统计缓存模块、可视化模块和分析挖掘模块；/n所述数据收集模块，用于监听前端采集设备发送的消息；利用Logstash收集电磁迹线数据和电磁告警数据，并将收集的所述电磁迹线数据和所述电磁告警数据发送至所述数据缓存模块和所述数据存储模块；/n所述数据存储模块，用于接收所述数据收集模块发送的所述电磁迹线数据和所述电磁告警数据，并利用Elasticsearch存储所述电磁迹线数据和所述电磁告警数据并检索所述电磁迹线数据和所述电磁告警数据；将所述电磁迹线数据和所述电磁告警数据发送至所述分析挖掘模块和所述...

【技术特征摘要】
1.一种电磁数据处理平台，其特征在于，包括：
数据收集模块、数据存储模块、数据缓存模块、实时计算模块、统计缓存模块、可视化模块和分析挖掘模块；
所述数据收集模块，用于监听前端采集设备发送的消息；利用Logstash收集电磁迹线数据和电磁告警数据，并将收集的所述电磁迹线数据和所述电磁告警数据发送至所述数据缓存模块和所述数据存储模块；
所述数据存储模块，用于接收所述数据收集模块发送的所述电磁迹线数据和所述电磁告警数据，并利用Elasticsearch存储所述电磁迹线数据和所述电磁告警数据并检索所述电磁迹线数据和所述电磁告警数据；将所述电磁迹线数据和所述电磁告警数据发送至所述分析挖掘模块和所述统计缓存模块；
所述数据缓存模块，用于接收所述数据收集模块发送的所述电磁迹线数据和所述电磁告警数据，并利用Kafka缓存数据；将接收的所述电磁迹线数据和所述电磁告警数据发送至所述实时计算模块、所述可视化模块和所述分析挖掘模块；
所述实时计算模块，用于接收所述数据缓存模块发送的所述电磁迹线数据和所述电磁告警数据；接收所述统计缓存模块发送的前端采集设备相关信息；利用storm统计所述电磁迹线数据和所述电磁告警数据，并将统计结果发送至所述统计缓存模块；
所述统计缓存模块，用于接收所述实时计算模块发送的所述统计结果，并利用Redis将所述统计结果以key-value的形式保存在所述统计缓存模块；保存从所述数据存储模块提取的前端采集设备相关信息并将所述前端采集设备相...

【专利技术属性】
技术研发人员：黄伟庆，石志鑫，徐国坤，翁腾凡，张萌，
申请(专利权)人：中国科学院信息工程研究所，
类型：发明
国别省市：北京;11