一种电磁环境领域数据仓库构建方法技术

本发明专利技术公开了一种电磁环境领域数据仓库构建方法，包括如下步骤：步骤1，电磁环境数据采集；步骤2，电磁环境数据处理：对原始数据缓存区的数据进行清洗、分析、转换和加载；步骤3，构建电磁环境数据仓库：按照设定主题进行不同数据粒度的数据存储。本发明专利技术所公开的电磁环境领域数据仓库构建方法，按照不同的业务主题对电磁环境数据进行整合、重构，大大提高数据的共享性，有效削弱业务需求变更对数据仓库架构的影响，保障了电磁环境大数据仓库逻辑框架的稳定性。

【技术实现步骤摘要】
一种电磁环境领域数据仓库构建方法
本专利技术属于数据仓库
，特别涉及该领域中的一种电磁环境领域数据仓库构建方法。
技术介绍
数据仓库是一个面向主题的、集成的、稳定的、反映时间变化的、用于支持管理决策的数据集合。一方面，数据仓库面向分析型数据处理，用于支持高层决策；另一方面，数据仓库实现对多个异构数据源的集成，按照主题重组，保存不同粒度的数据，且保存的数据一般不能再被修改。目前，我国已建设了数量庞大、设备类型各异的电磁环境监测、探测、观测和侦测站，并配置了相应的软硬件系统（即业务系统或信息化系统），积累了大量的数据资源，完成了从国家到地方的广域网网络体系，基本做到了联网运行，在军民用、航空、通信、海事等领域发挥了重要作用，但目前仍然存在一些问题，具体表现在：（1）海量原始数据存储困难：众多电磁环境感知设备数据采集能力强大，数据产出频次快、数据类型多样，多种设备长时间采集的数据量大，现有的业务系统无法满足对海量原始数据的存储；（2）数据差异：目前建设了面向不同业务应用的电磁环境感知设备，这些设备来自不同的生产厂家，设备本文档来自技高网...

【技术保护点】
1.一种电磁环境领域数据仓库构建方法，其特征在于，包括如下步骤：/n步骤1，电磁环境数据采集：从系统外部获取电磁环境原始数据并汇聚到原始数据缓存区，具体包括如下步骤：/n步骤11，通过数据采集工具从电磁环境感知设备、现有业务数据库和离线电磁环境数据文件中采集数据；/n步骤12，向采集的数据中添加设定的数据采集日期、地理信息和频域信息；/n步骤13，将添加信息的数据存储到原始数据缓存区；/n步骤2，电磁环境数据处理：对原始数据缓存区的数据进行清洗、分析、转换和加载，具体包括如下步骤：/n步骤21，对加载到原始数据缓存区的数据按照设置标准进行清洗，清洗内容包括：异常值处理、缺失值处理、冗余数据处理...

【技术特征摘要】
1.一种电磁环境领域数据仓库构建方法，其特征在于，包括如下步骤：
步骤1，电磁环境数据采集：从系统外部获取电磁环境原始数据并汇聚到原始数据缓存区，具体包括如下步骤：
步骤11，通过数据采集工具从电磁环境感知设备、现有业务数据库和离线电磁环境数据文件中采集数据；
步骤12，向采集的数据中添加设定的数据采集日期、地理信息和频域信息；
步骤13，将添加信息的数据存储到原始数据缓存区；
步骤2，电磁环境数据处理：对原始数据缓存区的数据进行清洗、分析、转换和加载，具体包括如下步骤：
步骤21，对加载到原始数据缓存区的数据按照设置标准进行清洗，清洗内容包括：异常值处理、缺失值处理、冗余数据处理；
步骤22，对清洗后的数据按照业务类型和数据类型进行分析，分析内容包括：电磁背景噪声分析、信号提取、单信号测向、宽带多信号测向、跳频信号分析、监听与信号解调、扩频信号分析；
步骤23，对步骤22分析后的数据进行数据转换，转换内容包括数据合并、数据拆分、数据验证，根据不同的主题进行转换，并将多种标准的数据转换为统一的数据标准，形成标准基础数据；
步骤24，将标准基础数据加载至电磁环境数据仓库；
步骤3，构建电磁环境数据仓库：按照设定主题进行不同数据粒度的数据存储，具体包括如下步骤：
步骤31，使用维度建模法进行数据建模，根据主题和数据粒度设计维度表和事实表；
步骤32，在设计维度表和事实表时，结合业务需求进行跨数据库关联存取时的索引设计；
步骤33，数据存储层采用关系型数据库和非关系型数据库存储电磁环境数据处理后的标准基础数据；
步骤34：数据集市层采用非关系型数据库，用于面向主题存储数据，进行相关主题域内的数据整合、相关业务的拆分、汇总；
步骤35：数据应用层采用关系型数据库和非关系型数据库，用于根据业务应用需要构造多维模型数据，所得数据直接用于分析展现；
上述的关系型数据库存储结构化数据，非关系型数据库存储半结构化和非结构化数据。


2.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤11中的电磁环境感知设备包括：电磁环境监测设备、探测设备、观测设备和侦测设备；现有业务数据库包括：无线电台站数据库、无线电划分标准数据库、用频装备库、信号样本数据库；离线电磁环境数据文件包括：短波探测数据文件、短波或超短波频段监测数据文件、电离层观测数据文件、短波或超短波频段侦测数据文件。


3.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤11中采集的数据包括电磁环境领域结构化数据、半结构化数据和非结构化数据；所述的结构化数据包括：感知设备、感知站、感知任务的基础信息，具体包括感知设备的名称、编号、型号、设备类型、支持功能；感知站的名称、经度、纬度、状态；感知任务的任务类型、执行任务时间、执行任务的感知设备名称、执行任务的感知设备编号、执行任务的感知站名称；所述的半结构化数据包括：频谱场强数据、信号测量参数数据、测向及定位数据、IQ数据；所述的非结构化数据包括：原始感知数据、声音、二进制文件、图像。


4.根据权利要求1所述的电磁环境领域数据仓库构建方法，其特征在于：步骤21中从电磁环境感知设备获取的数据基于实时数据流进行抽取；从现有业务数据库...

【专利技术属性】
技术研发人员：李振星，郭兰图，王惠来，胡连成，王杰，
申请(专利权)人：中国电波传播研究所中国电子科技集团公司第二十二研究所，
类型：发明
国别省市：山东;37