一种基于大数据的电磁数据分析装置、系统及方法制造方法及图纸

本发明专利技术提供一种基于大数据的电磁数据分析装置、系统及方法，所述装置包括：数据采集模块，用于触发数据采集；数据存储模块，对电磁数据进行存储；数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；引擎计算模块，用于将引擎部署于yarn平台上，对存储的电磁数据进行计算，计算结果供算法模块调用；算法模块，用于配置数据，设置模型，训练所述模型，读取电磁数据并应用所述模型进行计算；可视化展示模块，用于对分析后的电磁数据进行展示。根据本发明专利技术的装置，设计了电磁大数据的处理框架，相较于传统的电磁数据处理架构，本装置更加适用于电磁大数据处理。大数据处理。大数据处理。

【技术实现步骤摘要】
一种基于大数据的电磁数据分析装置、系统及方法


[0001]本专利技术涉及电磁数据处理领域，尤其涉及一种基于大数据的电磁数据分析装置及方法。

技术介绍

[0002]随着现代联合作战向多维空间发展，电磁作战空间重要性不断提升。目前，电磁空间作战的内涵已经向电磁频谱战控制和电子战斗管理拓展。电磁空间作战随着网络信息体系发展，但目前还没有能够高效利用海量频谱监测数据、利用大数据对海量数据进行分析，高效挖掘出有价值的信息的解决方法。

技术实现思路

[0003]为解决上述技术问题，本专利技术提出了一种基于大数据的电磁数据分析方法及装置，能够利用海量频谱监测数据、利用大数据对海量数据进行分析，高效挖掘出有价值的信息，特别地，能够使用人工智能算法进行挖掘出有价值的信息。
[0004]根据本专利技术的第一方面，提供一种基于大数据的电磁数据分析装置，所述装置包括：
[0005]数据采集模块，用于在监控到设备产生的电磁数据写入到文件夹中时，触发flume采集数据；
[0006]数据存储模块，用于采用HDFS机制，对所述数据采集模块采集的电磁数据进行存储；
[0007]数据ETL模块，用于对所述数据存储模块中存储的电磁数据进行数据抽取、数据转换、数据加载、数据汇集以及数据分发；
[0008]数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；通过hive对数据仓库进行分层建模，所述数据仓库是由存储于所述数据存储模块的全部数据组成的；
[0009]引擎计算模块，用于将引擎部署于yarn平台上，通过yarn平台做统一资源管理，对存储的电磁数据进行计算，计算结果供算法模块调用；
[0010]算法模块，用于读取及配置数据，设置模型，训练所述模型，读取电磁数据并应用所述模型进行计算；
[0011]可视化展示模块，用于对分析后的电磁数据进行展示。
[0012]根据本专利技术第二方面，提供一种应用如前所述的基于大数据的电磁数据分析装置的电磁数据分析方法，所述方法包括以下步骤：
[0013]步骤S101:确定目标对象，从多个数据源获取电磁数据，将电磁数据输入基于大数据的电磁数据分析装置；
[0014]步骤S102:由所述电磁数据分析装置对输入的电磁数据进行处理，获取分析结果。
[0015]根据本专利技术第三方面，提供一种基于大数据的电磁数据分析系统，包括：
[0016]处理器，用于执行多条指令；
[0017]存储器，用于存储多条指令；
[0018]其中，所述多条指令，用于由所述存储器存储，并由所述处理器加载并执行如前所述的基于大数据的电磁数据分析方法。
[0019]根据本专利技术第四方面，提供一种计算机可读存储介质，所述存储介质中存储有多条指令；所述多条指令，用于由处理器加载并执行如前所述的基于大数据的电磁数据分析方法。
[0020]根据本专利技术的上述方案，基于大数据的技术框架，结合电磁大数据的特点，设计出一套适用于电磁数据的大数据技术的框架。该基于大数据的电磁数据分析装置及方法，结合了电磁数据的主要应用场景。本专利技术提出了一种基于大数据架构的电磁数据分析装置及方法，在结合电磁数据单源数据量大，产生数据速率快以及蕴藏信息丰富的特点的情况下，通过多种大数据的组件联合使用以及数据仓的分层设计，实现了对海量电磁数据的采集、存储、算法管理以及可视化展示，并从中提取出有价值的信息，完成对目标定位和轨迹的预测。
[0021]本专利技术的上述方案，包括数据采集模块、数据存储模块、数据ETL模块、数据仓建模模块、引擎计算模块、算法模块、以及可视化展示模块。数据采集模块通过flume实时监控pxi设备产生的数据文件夹，当文件发生变动，flume将采集数据发送给消息传输模块，kafka作为消息中间件，起到消峰的作用。kafka将数据最后写入到数据存储模块HDFS当中，通过hive建立离线数据仓，将数据仓进行分层解耦合。HDFS中的数据通过DataX来进行数据的ETL清洗，然后数据进入到计算引擎模块，计算引擎模块将处理后的数据写入到Hbase或者OLAP的数据库当中去，算法分析模块从Hbase或者OLAP数据库中取得数据，进行算法分析，将分析的结果通过可视化模块进行展示。
[0022]该方案结合电磁数据的特点，实现了电磁大数据的处理框架，相较于传统的电磁数据处理架构，本方案更加适用于电磁大数据处理。
[0023]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，并可依照说明书的内容予以实施，以下以本专利技术的较佳实施例并配合附图详细说明如后。
附图说明
[0024]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术提供如下附图进行说明。在附图中：
[0025]图1为本专利技术一个实施方式的基于大数据的电磁数据分析装置结构图；
[0026]图2为本专利技术一个实施方式的基于大数据的电磁数据分析装置架构图；
[0027]图3为本专利技术一个实施方式的数据仓建模块结构示意图；
[0028]图4为本专利技术一个实施方式的算法模块结构示意图；
[0029]图5为本专利技术一个实施方式的算法管理子模块实现的功能示意图；
[0030]图6为本专利技术一个实施方式的模型训练列表的功能示意图；
[0031]图7为本专利技术一个实施方式的模型应用的功能示意图；
[0032]图8为本专利技术一个实施方式的可视化功能示意图；
[0033]图9为本专利技术又一实施方式的可视化功能示意图；
[0034]图10为本专利技术一个实施方式的数字地球的多维态势呈现模块结构示意图；
[0035]图11为本专利技术一个实施例的基于大数据的电磁数据分析装置结构示意图。
具体实施方式
[0036]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术具体实施例及相应的附图对本专利技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]首先结合图1说明为本专利技术一个实施方式的基于大数据的电磁数据分析装置。如图1
‑
2所示，所述装置包括：
[0038]数据采集模块，用于在监控到设备产生的电磁数据写入到文件夹中时，触发flume采集数据；
[0039]数据存储模块，用于采用HDFS机制，对所述数据采集模块采集的电磁数据进行存储；
[0040]数据ETL模块，用于对所述数据存储模块中存储的电磁数据进行数据抽取、数据转换、数据加载、数据汇集以及数据分发；
[0041]数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；通过hive对数据仓库进行分层建模，所述数据仓库是由存储于所述数据存储模块的全部数据组成的；...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的电磁数据分析装置，所述装置包括：数据采集模块，用于在监控到设备产生的电磁数据写入到文件夹中时，触发flume采集数据；数据存储模块，用于采用HDFS机制，对所述数据采集模块采集的电磁数据进行存储；数据ETL模块，用于对所述数据存储模块中存储的电磁数据进行数据抽取、数据转换、数据加载、数据汇集以及数据分发；数据仓建模模块，用于将数据仓库划分为原始数据层、明细数据层、服务数据层、数据主题层、数据应用层；通过hive对数据仓库进行分层建模，所述数据仓库是由存储于所述数据存储模块的全部数据组成的；引擎计算模块，用于将引擎部署于yarn平台上，通过yarn平台做统一资源管理，对存储的电磁数据进行计算，计算结果供算法模块调用；算法模块，用于读取及配置数据，设置模型，训练所述模型，读取电磁数据并应用所述模型进行计算；可视化展示模块，用于对分析后的电磁数据进行展示。2.如权利要求1所述的电磁数据分析装置，其特征在于，所述数据采集模块，由若干个pxi设备将电磁数据生成于指定的文件夹中，在监控到由所述若干个pxi设备产生的电磁数据写入到文件夹中时，触发flume采集所述电磁数据。3.如权利要求2所述的电磁数据分析装置，其特征在于，所述数据仓建模模块，其中，所述原始数据层保持数据的原始状态，不做更改，起到备份数据的作用，以每小时产生的电磁数据为单位来创建分区表，创建对应的外部表，能够避免后续进行全表扫描；所述明细数据层通过选择业务过程，声明粒度、确定维度、确认事实，进行维度建模；所述选择业务过程，是指在业务系统中，选择业务线，一条业务线对应一张事实表；所述粒度是指数据的粒度，是数据仓库中保存的电磁数据的细化程度或综合程度的级别；所述声明粒度用于定义事实表中的一行数据表征的含义；所述确定维度是根据后续需求确定指标，根据指标确定维度；所述确定事实是从电磁数据中确定所需事实，所述事实为业务线中的度量值；所述服务数据层以需求为驱动来建立宽表，以维度为基准来确定需要建那些宽表，所述宽表记录所述事实表的数据聚合后的度量值，服务于数据主题层的主题宽表；所述数据主题层以需求为驱动来建立宽表，所述数据主题层存放的是所有主题对象的累积行为，以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全量宽表；所述数据应用层在数据服务层和数据主题层的基础上取得数据，存放统计数据，来对电磁系统的各大主题指标进行分析。4.如权利要求3所述的电磁数据分析装置，其特征在于，所述算法模块包括算法管理子模块、模型训练子模块以及模型应用子模块；所述算法管理子模块包括算法中心子模块、我的算法子模块、下载记录子模块和算法类型管理子模块，所述算法中心子模块用于管理全部算法，通过所述算法中心子模块，能够查看全部算法及与各算法对应的详细信息；所述我的算法子模块用于对由当前用户上传的所有算法进行管理；所述下载记录子模块用于...

【专利技术属性】
技术研发人员：王敬超，邓博于，任双印，杨晓，
申请(专利权)人：军事科学院系统工程研究院网络信息研究所，
类型：发明
国别省市：