针对长曝光对比频谱图进行大数据处理的系统及其方法技术方案

本发明专利技术涉及一种针对长曝光对比频谱图进行大数据处理的系统，包括原始数据提取层，用于查询检索监测任务的数据；大数据分析计算层，与所述的原始数据提取层相连接，用于根据不同的业务划分频率资源并筛选，以频谱数据、基站数据和GIS数据相结合计算结果数据；结果展示层，与所述的大数据分析计算层相连接，用于展示边界及观察双边频段内信息、能量分布和干扰冲突情况，并通过长曝光对比频谱图展示数据处理结果。本发明专利技术还涉及一种实现针对长曝光对比频谱图的大数据处理方法。采用了该系统和方法，基础数据规范化，SQL语句与业务逻辑分离，提高了数据检索效率；数据处理以展示效果为导向，数据抽取方法既提高了计算效率，又保证了数据不失真；实现方法运用技术框架成熟、稳定、开源，提高了方法的适用性。

【技术实现步骤摘要】
针对长曝光对比频谱图进行大数据处理的系统及其方法
本专利技术涉及无线电领域，尤其涉及无线电频谱处理领域，具体是指一种针对长曝光对比频谱图进行大数据处理的系统及其方法。
技术介绍
无线电频谱作为不可再生的重要战略资源，关系着国家安全与权益。在无线电频谱资源供需矛盾日益突出的国际背景下，尤其是随着无线电业务的飞速发展和广泛应用，在边境地区由于其独特的地理位置以及无线电波可不受行政区域约束自由传播的特性，对于频谱资源的争夺愈加激烈。国际电联各成员国普遍极为重视频率台站国际保护工作，以保障本国在无线电业务应用及发展、国际及边境频率协调事务中的合法权益。近年来，我国进一步认识到了边境频率国际保护工作的重要性，并从多方面加大了对相关边境地区的保护力度。由于这项工作涉及多部门、多领域，系统性强，复杂程度高，因此对于频谱应用态势具有宏观、客观、快捷的评估及展示需求。本文针对用户提出的长曝光对比频谱图的需求，以边境用频协调事务中的重点业务为例，对其在边境地区的业务应用中涉及的边境频谱资源应用态势分析
，进行大数据处理评估及分析方法研究。影响频率资源应用态势数据处理的因素：1、数据量大，各频段监测数据几千上万帧，一次测试任务数据汇总后达50GB以上。2、数据种类多，关联关系复杂；有国际频率登记数据、台站登记数据、频谱数据、基站解调数据、地理信息数据等；可分别依据频率、带宽、信号功率、监测时间、任务信息、经纬度等关联检索。3、单个服务器在处理大量数据进行复杂的运算时，随着数据量的不断增大，频谱抽取、拼接、叠加、翻转等算法会严重占用服务器CPU、内存资源，导致服务器计算速度下降，严重时导致服务器崩溃。大数据分析处理技术面临的难点包括原始数据预处理程度低，无线电监测数据没有进行压缩抽取等优化，数据运算量大。数据处理定位不精准，未具体到业务应用的子频段或具体信号，导致数据处理出现重复、运算范围大。数据关联性差，定量的数据分析，导致边境业务频段用频态势计算失真。依赖单一服务器运算，多线程并发计算不能分摊服务器计算压力，计算效率不高。采用的技术方案闭环，可复制性和适用性低。
技术实现思路
本专利技术的目的是克服了上述现有技术的缺点，提供了一种运算范围大、关联性好、计算效率高的针对长曝光对比频谱图进行大数据处理的系统及其方法。为了实现上述目的，本专利技术的针对长曝光对比频谱图进行大数据处理的系统及其方法如下：该针对长曝光对比频谱图进行大数据处理的系统，其主要特点是，所述的系统包括：原始数据提取层，用于查询检索监测任务的数据；大数据分析计算层，与所述的原始数据提取层相连接，用于根据不同的业务划分频率资源并筛选，以频谱数据、基站数据和GIS数据相结合计算结果数据；结果展示层，与所述的大数据分析计算层相连接，用于展示边界及观察双边频段内信息、能量分布和干扰冲突情况，并通过长曝光对比频谱图展示数据处理结果。较佳地，所述的大数据分析计算层包括：分布式模块，与所述的原始数据提取层相连接，用于划分频段和估算底噪；大数据处理模块，与所述的分布式模块相连接，用于抽取和拼接数据；均衡负载模块，与所述的大数据处理模块相连接，用于对比和叠加数据；数据库关联模块，与所述的均衡负载模块相连接，用于筛选和翻转数据。较佳地，所述的原始数据提取层查询的数据包括国际频率登记数据、频谱数据、台站数据和监测数据的地理位置信息。较佳地，所述的台站数据包括频率和带宽。较佳地，所述的分布式模块根据RMI和Zookeeper技术框架对数据进行分布式计算。较佳地，所述的大数据处理模块根据Spark和Hadoop技术框架进行大数据处理。较佳地，所述的数据库关联模块根据监测时间、地理信息、和分析频段对数据进行筛选。该基于上述系统实现针对长曝光对比频谱图的大数据处理方法，其主要特点是，所述的方法包括以下步骤：(1)所述的原始数据提取层从监测任务中检索关联的频谱数据、国际频率登记数据和业务频段台站数据；(2)所述的大数据分析计算层根据分析频段、时间和任务信息筛选符合条件的综合数据，并通过频谱数据抽取、底噪估算、数据拼接、数据翻转和数据叠加计算数据结果；(3)所述的结果展示层通过长曝光对比频谱图观察数据并展示数据处理结果。较佳地，所述的步骤(2)中的频谱数据抽取包括计算频谱数据压缩率，具体为：根据以下公式计算频谱数据压缩率：其中，RBWreal为实际分辨率，Span为频段扫宽。较佳地，所述的步骤(2)中进行底噪估算，具体为：根据以下公式进行底噪估算：其中，N为频谱点数，PdBm为频谱样点功率。采用了本专利技术的针对长曝光对比频谱图进行大数据处理的系统及其方法，基础数据规范化，SQL语句与业务逻辑分离，提高了数据检索效率；数据处理以展示效果为导向，数据抽取方法既提高了计算效率，又保证了数据不失真；算法过程体现出形成频谱态势所必须的积累、叠加过程，提高了宽频段业务应用的计算和展示效果；实现方法运用技术框架成熟、稳定、开源，提高了方法的适用性；分布式架构运用，均衡服务器计算压力，提高了大数据处理的计算效率。附图说明图1为本专利技术的针对长曝光对比频谱图进行大数据处理的系统的结构图。图2为本专利技术的针对长曝光对比频谱图进行大数据处理的系统的模型图。图3为本专利技术的实现针对长曝光对比频谱图的大数据处理方法的流程图。图4为本专利技术的实现针对长曝光对比频谱图的大数据处理方法的数据全频段叠加后信号能量占比示意图。图5为本专利技术的实现针对长曝光对比频谱图的大数据处理方法的子频段叠加效果示意图。图6为本专利技术的实现针对长曝光对比频谱图的大数据处理方法的全景的长曝光对比频谱图。图7为本专利技术的实现针对长曝光对比频谱图的大数据处理方法的子频段长曝光对比频谱图。具体实施方式为了能够更清楚地描述本专利技术的
技术实现思路
，下面结合具体实施例来进行进一步的描述。本专利技术的该针对长曝光对比频谱图进行大数据处理的系统，其中包括：原始数据提取层，用于查询检索监测任务的数据；大数据分析计算层，与所述的原始数据提取层相连接，用于根据不同的业务划分频率资源并筛选，以频谱数据、基站数据和GIS数据相结合计算结果数据；结果展示层，与所述的大数据分析计算层相连接，用于展示边界及观察双边频段内信息、能量分布和干扰冲突情况，并通过长曝光对比频谱图展示数据处理结果。作为本专利技术的优选实施方式，所述的大数据分析计算层包括：分布式模块，与所述的原始数据提取层相连接，用于划分频段和估算底噪；大数据处理模块，与所述的分布式模块相连接，用于抽取和拼接数据；均衡负载模块，与所述的大数据处理模块相连接，用于对比和叠加数据；数据库关联模块，与所述的均衡负载模块相连接，用于筛选和翻转数据。作为本专利技术的优选实施方式，所述的原始数据提取层查询的数据包括国际频率登记数据、频谱数据、台站数据和监测数据的地理位置信息。作为本专利技术的优选实施方式，所述的台站数据包括频率和带宽。作为本专利技术的优选实施方式，所述的分布式模块根据RMI和Zookeeper技术框架对数据进行分布式计算。作为本专利技术的优选实施方式，所述的大数据处理模块根据Spark和Hadoop技术框架进行大数据处理。作为本专利技术的优选实施方式，所述的数据库关联模块根据监测时间、地理信息、和分析频段对数据进行筛选。本专利技术的该基于上述系统实现针对长曝光对比本文档来自技高网...

【技术保护点】
1.一种针对长曝光对比频谱图进行大数据处理的系统，其特征在于，所述的系统包括：原始数据提取层，用于查询检索监测任务的数据；大数据分析计算层，与所述的原始数据提取层相连接，用于根据不同的业务划分频率资源并筛选，以频谱数据、基站数据和GIS数据相结合计算结果数据；结果展示层，与所述的大数据分析计算层相连接，用于展示边界及观察双边频段内信息、能量分布和干扰冲突情况，并通过长曝光对比频谱图展示数据处理结果。

【技术特征摘要】
1.一种针对长曝光对比频谱图进行大数据处理的系统，其特征在于，所述的系统包括：原始数据提取层，用于查询检索监测任务的数据；大数据分析计算层，与所述的原始数据提取层相连接，用于根据不同的业务划分频率资源并筛选，以频谱数据、基站数据和GIS数据相结合计算结果数据；结果展示层，与所述的大数据分析计算层相连接，用于展示边界及观察双边频段内信息、能量分布和干扰冲突情况，并通过长曝光对比频谱图展示数据处理结果。2.根据权利要求1所述的针对长曝光对比频谱图进行大数据处理的系统，其特征在于，所述的大数据分析计算层包括：分布式模块，与所述的原始数据提取层相连接，用于划分频段和估算底噪；大数据处理模块，与所述的分布式模块相连接，用于抽取和拼接数据；均衡负载模块，与所述的大数据处理模块相连接，用于对比和叠加数据；数据库关联模块，与所述的均衡负载模块相连接，用于筛选和翻转数据。3.根据权利要求1所述的针对长曝光对比频谱图进行大数据处理的系统，其特征在于，所述的原始数据提取层查询的数据包括国际频率登记数据、频谱数据、台站数据和监测数据的地理位置信息。4.根据权利要求3所述的针对长曝光对比频谱图进行大数据处理的系统，其特征在于，所述的台站数据包括频率和带宽。5.根据权利要求2所述的针对长曝光对比频谱图进行大数据处理的系统，其特征在于，所述的分布式模块根据RMI和Zookeeper...

【专利技术属性】
技术研发人员：周洪荣，施鑫，
申请(专利权)人：上海创远仪器技术股份有限公司，
类型：发明
国别省市：上海,31