一种基于Hadoop的无线电环境地图数据处理系统技术方案

本发明专利技术请求保护一种基于Hadoop的无线电环境地图数据处理系统，属于数据处理领域。该系统主要包括数据导入模块、数据处理模块和数据可视化模块。数据导入模块利用Flume技术实时监控并上传通过移动终端设备收集到的海量无线网络环境相关数据至HDFS分布式文件系统中；数据处理模块利用Hadoop分布式数据处理集群对这些数据进行清洗过滤、融合等相关处理，并将处理之后的结果存入数据库中；数据可视化模块调用百度地图API将处理结果在地图上进行展示。本发明专利技术是一种基于Hadoop的无线电环境地图数据处理系统，能够实现对移动终端收集到的海量无线环境相关数据的处理和可视化展示，方便无线资源的管理和无线网络的优化，普通用户也能通过本系统查看感知区域内当前或历史的无线环境状态。

A map data processing system of radio environment based on Hadoop

The invention requests the protection of a map data processing system of radio environment based on Hadoop, which belongs to the field of data processing. The system mainly includes data import module, data processing module and data visualization module. Data import module real-time monitoring and upload through the massive wireless network environment related data to the HDFS distributed file system of the mobile terminal equipment collected by Flume technology; data processing module using Hadoop distributed data processing cluster for cleaning filter and fusion processing of these data, and the processing results into the database; data visualization module Baidu maps API call processing results will display on the map. The present invention relates to a radio environment map data processing system based on Hadoop, can realize the massive wireless environment related data to the mobile terminal to collect the processing and visual display, convenient wireless resource management and optimization of wireless network, ordinary users can also see through the system within the sensing area of current or historical wireless environment.

【技术实现步骤摘要】
一种基于Hadoop的无线电环境地图数据处理系统
本专利技术涉及属于数据处理领域，特别涉及一种基于Hadoop的无线电环境地图数据处理系统。
技术介绍
近年来，随着无线移动通信技术的发展，信息产业及相关电信、广播、导航、空间、国防等无线电业务得到快速发展。然而，随着无线电台站数量增多、密度加大、地磁环境日益复杂，加之缺乏有效的表征方式和方法，导致日常无线电频谱资源无法直观、准确地进行管理，甚至造成了无线频谱拥塞，从而制约了无线电的发展。无线环境地图(REM，RadioEnvironmentMap)的出现则可以有效化解这一难题，它将收集到的无线环境相关数据进行处理和分析之后结合城市电子地图，融合时间、地理信息、频谱、幅度等相关数据，构成一个多维频谱信息地图。无线环境地图可以直观的反映出真实的无线环境状态，让社会公众感知无线电的存在，并且可以查看某个区域内当前或历史的无线环境信息，无线环境地图还能让管理者直观、清晰地对频谱资源进行管理。同时，网络侧在进行资源重配时，可以借助REM对资源分配的范围、发射功率、天线的角度等参数进行配置，从而优化网络性能，并为无线电管理部门提供一个全新的频谱监管手段。传统的无线电环境地图数据来源主要是基于已有的数据库或者利用专门的路测设备进行实际收集各种无线参数，这种方式具有感知节点部署成本高、扩展性不强、实时性差等缺点，构建的无线环境地图大多是针对于小范围的、某个特定应用的。而新兴的移动群智感知技术利用普通大众的移动终端设备来进行无线环境数据的收集能有限解决上述问题。在通过移动群智感知方式进行数据收集时，由于单个节点的感知能力有限，需要将感知任务分发给多种终端设备来进行，然后通过对数据的综合处理和分析，得到目标区域的无线电环境地图完整信息。由于数据来自多个不同的移动终端设备，数据规模大、类型多、关系复杂、噪声数据多，如何将这些海量的原始数据进行过滤、存储、融合、分析和可视化展示，是当前需要解决的关键问题。现有的大数据处理技术已经得到了很多的研究，但是仍然没有一个统一的数据处理框架和单一的技术能够用于多样化的数据集，在数据处理的问题上，必须考虑数据集的特性、需要解决的问题、性能需求和其他因素来合理地选择和设计合适的数据处理方案。本专利技术设计并实现了一种基于Hadoop的无线电环境地图数据处理系统，实现对移动群智感知方式收集的无线电环境数据的存储、预处理、融合、统计分析以及可视化展示，既可以直观地反映出真实的无线环境状态，让普通用户可以随时查询某区域当前或历史的无线环境信息，也为运营商和无线电相关部门对无线网络资源的优化和管理提供给重要的依据。
技术实现思路
本专利技术旨在解决以上现有技术的问题。提出了一种方便无线网络资源的优化和无线环境的管理的基于Hadoop的无线电环境地图数据处理系统。本专利技术的技术方案如下：一种基于Hadoop的无线电环境地图数据处理系统，其包括：数据导入模块、数据处理模块和数据可视化模块；其中，数据导入模块101：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；数据处理模块102：是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块，数据处理子模块将数据采集模块传来的数据进行包括数据融合、清洗、过滤在内的处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库；数据可视化模块103：主要用于无线环境数据的可视化展示，通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。进一步的，所述Flume主要包括：数据来源Source，数据缓存Channel，数据去向Sink，其中，Source，用于完成对日志数据监控和收集，分成过渡值transtion和事件event传入到Channel之中；Channel，主要用于提供一个队列的功能，对Source提供中的数据进行简单的缓存；Sink，用于取出Channel中的数据，进行相应的存储文件系统，或者提交到远程服务器。进一步的，所述海量无线网络环境信息主要包括WiFi信号信息、LTE信号信息、GSM信号信息在内的信息。进一步的，所述数据导入模块(101)采用Flume实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中，包括以下步骤：步骤201：读取配置文件，获取程序运行参数，在FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，并将Web服务器中需要监控的指定目录配置为Flume的spoolDir；步骤202：检查是否有参数错误，如果检测到参数错误，则结束本次数据导入，如果没有检测到参数错误，则继续本次数据导入，即跳转到步骤203；步骤203：Flume利用自身的组件Source实时监控Web服务器中的指定目录，即通过配置的spoolDir监控指定目录中新文件的变化；步骤204：监测Web服务器指定目录中是否有新文件产生，如果没有新文件的变化，则继续监测，如果一旦监测到新文件出现，则跳转到步骤205；步骤205：检测到新文件产生，就解析该新文件的内容，然后写入到Flume的组件Channel进行缓存，组件Sink取出Channel缓存的数据提交到Hadoop集群中的HDFS分布式文件系统中；步骤206：对Web服务器指定目录下的已经上传的文件打上.COMPLETE后缀，标记该文件已完成上传，下一次不需要重复上传。进一步的，所述数据处理模块(102)的具体实现步骤如下：步骤301：利用Hadoop中的MapReduce计算模式进行编程实现，将HDFS分布式文件系统中的原始数据首先进行数据清洗和过滤，即通过Maper函数分别对各个文件进行去重和去除异常数据，再通过Reducer函数整合并再去重和去除异常数据；步骤302：判断数据是否符合决策要求，如果不符合决策要求，则进行再一次的清洗和过滤，如果符合决策要求，则进行步骤303；步骤303：将清洗和过滤之后的干净数据进行字段分离，将每条数据中可能包含的WiFi信息、LTE信息、GSM信息分离出来，以便后续的数据融合；步骤304：以地理位置信息和时间信息为节点，对字段分离后的数据进行融合，得到某地理位置在某时刻的完整的无线网络环境信息。步骤305：通过聚类算法统计分析出该感知区域内无线环境的变化情况，WiFi各信道的占用情况，各个运营商的4G网络覆盖质量对比，网络稳定性对比。步骤306：将上述处理和分析的结果数据存入HDFS分布式文件系统中。进一步的，所述数据可视化模块(103)通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来包括步骤；步骤501：在百度地图API首页注册账号并获取百度地图API秘钥；步骤502：添加百度地图的API，在网页中加入地图块，用一个i本文档来自技高网...

【技术保护点】
一种基于Hadoop的无线电环境地图数据处理系统，其特征在于，包括：数据导入模块(101)、数据处理模块(102)和数据可视化模块(103)；其中，数据导入模块(101)：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；数据处理模块(102)：是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块，数据处理子模块将数据采集模块传来的数据进行包括数据融合、清洗、过滤在内的处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库；数据可视化模块(103)：主要用于无线环境数据的可视化展示，通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。

【技术特征摘要】
1.一种基于Hadoop的无线电环境地图数据处理系统，其特征在于，包括：数据导入模块(101)、数据处理模块(102)和数据可视化模块(103)；其中，数据导入模块(101)：采用Flume海量日志收集技术实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中；数据处理模块(102)：是由若干服务器搭建起来的一个Hadoop分布式数据处理集群，包含数据处理、数据存储两个子模块，数据处理子模块将数据采集模块传来的数据进行包括数据融合、清洗、过滤在内的处理，并统计分析出某时间段某区域内的无线环境信息的变化情况和各个WiFi信道的占用情况；数据存储子模块用于存储原始数据以及经过处理和分析之后的结果，其中Mysql作为基础数据库，HBase作为数据仓库；数据可视化模块(103)：主要用于无线环境数据的可视化展示，通过调用网络地图，将处理结果中的位置信息与网络地图的位置信息进行映射，并将对应的无线环境的相关信息在地图上显示出来，普通用户也能通过本系统查看某个区域内当前或历史的无线环境状态。2.根据权利要求1所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述Flume主要包括：数据来源Source，数据缓存Channel，数据去向Sink，其中，Source，用于完成对日志数据监控和收集，分成过渡值transtion和事件event传入到Channel之中；Channel，主要用于提供一个队列的功能，对Source提供中的数据进行简单的缓存；Sink，用于取出Channel中的数据，进行相应的存储文件系统，或者提交到远程服务器。3.根据权利要求1或2所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述海量无线网络环境信息主要包括WiFi信号信息、LTE信号信息、GSM信号信息在内的信息。4.根据权利要求1或2所述的基于Hadoop的无线电环境地图数据处理系统，其特征在于，所述数据导入模块(101)采用Flume实时监控并上传通过移动终端设备收集到的海量无线网络环境信息至HDFS分布式文件系统中，包括以下步骤：步骤201：读取配置文件，获取程序运行参数，在FLUME_HOME/conf目录下，编写Flume的配置文件，命名为flume_first_conf，并将Web服务器中需要监控的指定目录配置为Flume的spoolDir；步骤202：检查是否有参数错误，如果检测到参数错误，则结束本次数据导入，如果没有检测到参数错误，则继续本次数据导入，即跳转到步骤203；步骤203：Flume利用自身的组件Source实时监控Web服务器中的指定目录，即通过配置的spoolDir监控指定目录中新文件的变化；步骤204：监测Web服务器指定目录中是否有新文件产生，如果没有新文件的变化，则继续监测，如果一旦监测到新文件出现，则跳转到步骤205；步骤20...

【专利技术属性】
技术研发人员：刘媛妮，李芳，邹阳，赵国锋，唐红，段洁，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆,50