基于集群并行运算的GNSS导航信号海量数据快速处理方法技术

本发明专利技术提供了一种基于集群并行运算的GNSS导航信号海量数据快速处理方法，收集所有有关GNSS导航数据处理的各类型数据；挑选出能够综合分析、相互无依赖关系的数据；采用若干计算机作为节点构建集群环境；针对挑选出的数据进行任务分解、数据分解或数据流分解；最终构建可并行执行算法。本发明专利技术将GNSS导航信号处理算法的多数据源特性和集群的多任务进行无缝集成，针对GNSS导航信号处理的数据种类繁多、数据量巨大等问题，提出了构建基于集群环境的并行执行框架，大大提高运算效率和实时性，提高运算的可靠性。

【技术实现步骤摘要】
基于集群并行运算的GNSS导航信号海量数据快速处理方法
本专利技术涉及一种信号并行处理方法。
技术介绍
卫星导航从基础研究领域(天文学、力学、物理学、地球动力学等)到工程
(信息传递、深空探测、空间飞行器、时间传递、测速授时等)，以及关系国民经济建设和国家安全的诸多重要部门和领域(海事、交通、救援、精准农业、地震监测、电子通讯等)等各个方面，均占据重要地位，发挥着重要作用。可以说，卫星导航技术是各种基础理论、最新科技成果、国家科技水平和综合实力的集中体现。卫星导航信号是卫星导航系统中最重要的组成部分，是卫星、地面运控与用户之间协调工作的纽带。卫星导航信号质量的好坏将直接关系到系统定位、授时和测速等基本功能、关键性能和关键指标的实现。因此，全球导航卫星系统(GlobalNavigationSatelliteSystem，GNSS)导航信号质量监测评估是卫星导航系统完好性的重要保障手段。目前国内外已经开展对GNSS卫星导航信号质量的监测评估工作，而且随着科技的发展，信号质量监测评估技术和手段越来越成熟，监测越来越全面，数据量越来越大：例如美国斯坦福大学、德国宇航研究院、英国奇尔波顿天文台、中国科学院国家授时中心、中国卫星导航定位总站、中国电子科技集团54所、北京航空航天大学、华中科技大学等单位和机构，他们均利用国内外可利用的高增益天线(天线增益大于20dBi)、相应的测试测量仪器(频谱仪、矢量信号分析仪、示波器、功率计、硬件接收机)及高速数据采集设备(多通道高速数据同步采集设备)，对接收的卫星导航信号进行全方位多角度的实时监测、采集和离线分析。然而研究发现，GNSS导航信号质量评估工作中每天连续监测采集的数据量非常之大：每天有若干台频谱仪、矢量信号分析仪、示波器、功率计等标准测量仪器对信号进行实时不间断的监测；有若干台全向天线接收机实时监测所有可视在轨卫星，并实时输出各颗卫星的伪距、载波相位、多普勒、载噪比、相关曲线、定位解算数据；有若干台监测接收机实时监测高增益大口径天线(一般增益高于20dbi)所对准的卫星，并实时输出该颗卫星的伪距、载波相位、多普勒、载噪比、相关曲线数据；还有多通道同步数据高速采集设备，能够对接收的卫星信号进行多个通道的高速高采样率同步数据采集与回放；另外，还有来自整个监测评估接收系统的自身标校测量数据，来自外界周边电磁环境的干扰监测数据，来自气象测试测量仪器有关温度、湿度、气压的测量数据。粗略计算结果表明：频谱仪、矢量信号分析仪、示波器、功率计等标准测量仪器按每秒输出一个测量值计算，则每天每台标准仪器输出的数据量大约为120MBytes，按5台测量仪器计算为600MBytes/天；监测接收机每天每台数据量大约为20MBytes，按8台测量仪器计算为160MBytes/天；多通道同步数据采集设备数据量巨大，按照250MHz的采样率计算，每通道每采集1秒的数据量即为500MBytes，按3个通道计算为1.5GBytes/秒，若每天采集1小时的数据，则约为5400GBytes/天；另外，为提高GNSS信号分析测量精度，还有定期或不定期的其他测量数据，如接收系统自身标校测量数据、周边电磁环境监测数据、气象测量数据。然而，如此巨大的数据量，若还是按照传统的串行计算方法进行离线分析，则事后分析滞后时间太长，不能及时发现GNSS卫星出现的各种故障，用户接收到异常的GNSS卫星导航信号，会产生较大的定位、测速和授时误差，因此会给用户带来较大程度的影响。
技术实现思路
为了克服现有技术在数据处理过程中经常存在速度慢、实时性差的不足，本专利技术提供一种基于集群环境的针对GNSS海量数据处理的并行算法，通过构建集群并行运算环境及基于动态分配的并行算法，能够提高数据处理运算效率，为我国卫星导航服务性能的实时监测评估以及故障快速预测预警提供有价值的参考，进一步为保障我国卫星导航系统的高可靠服务性能和安全性做贡献。本专利技术解决其技术问题所采用的技术方案包括以下步骤：步骤1，收集所有有关GNSS导航数据处理的各类型数据；挑选出能够综合分析、相互无依赖关系的数据；步骤2，采用若干计算机作为节点构建集群环境，包括用户节点、管理节点、存储节点和计算节点；所述的用户节点提供用户界面，接受用户任务，通过运行调度器将任务分派到其它节点，并将运算结果返回给用户；所述的管理节点对集群中的任意节点进行监视和操作，并处理集群中所有节点的日志和报警信息；所述的存储节点提供存储共享，确保数据同步访问；所述的计算节点包括胖节点和工作节点，胖节点的计算能力优于工作节点，每个集群包括1个胖节点和若干工作节点；各个节点间通过进程间通信网络在执行并行任务时进行进程间通信，管理节点通过管理网络收集集群信息、监视集群计算机和执行维护任务的网络，计算节点通过存储访问网络访问存储节点；步骤3，针对步骤1挑选出的数据进行任务分解、数据分解或数据流分解；所述的任务分解对应用程序根据其执行的功能进行分解；所述的数据分解将应用程序根据各任务所处理的数据进行分解，利用多个线程对不同的数据块执行相同的操作；所述的数据流分解将一个线程的输出作为另一个线程的输入；步骤4，构建可并行执行算法，具体步骤如下：(1)通过提取存储节点的数据文件和文件列表文件标识，完成数据采集文件的提取；(2)对提取的数据文件进行合理性检验、剔除野值、系统误差修正和公共误差修正；(3)将M个同步通道、每个通道N颗卫星、每颗卫星L个频点的任务一次性投入集群系统，并行计算，最后在胖节点上面完成各工作节点计算数据比价汇总；(4)对于需要其他指标结果作为输入的数据，在执行并行计算后执行串行计算。所述的步骤(4)之后，客户端与集群绘图服务程序建立TCPSocket连接，通过并行和管道两种方式传输绘图或显示所需数据，由集群JAVA接口配合绘图调度完成绘图并行处理。所述的步骤(4)计算的参数及结果图形在胖节点上按照预定义的评估结果报表格式或要求汇总，利用多线程进行作业日志管理和报表显示。本专利技术的有益效果是：本专利技术为克服目前现有技术无法实现巨大数据的存储、管理和处理等问题，提出了一种基于集群并行运算的GNSS导航信号海量数据快速处理技术，不仅涵盖如何确定数据处理算法是否可并行执行，以及如何构建集群并行运算环境，还解决了如何分解待并行执行的算法，以及如何构建可并行的执行算法的问题。相比现有技术，本专利技术将GNSS导航信号处理算法的多数据源特性和集群的多任务进行无缝集成，针对GNSS导航信号处理的数据种类繁多、数据量巨大等问题，提出了构建基于集群环境的并行执行框架，大大提高运算效率和实时性，提高运算的可靠性。本专利技术可应用于全球卫星导航系统(包括我国BeiDou、美国GPS、欧盟Galileo等系统)卫星导航信号的分析处理，尤其是对GNSS卫星导航信号质量的监测评估、导航信号畸变的快速诊断与实时预警建模技术的研究与实现，有重要作用，在有效提高数据处理的运算效率基础上，能够在信号畸变未对用户造成影响或影响不严重的情况下，及时发现该异常并在最短时间内进行异常诊断，然后及时告知卫星、地面运控及用户，给系统决策者提供有效决策依据，便于其及时采取相应措施进行修正或补救，从而将信号畸变对用户和整个系统的影响降到最低，提高卫本文档来自技高网...

【技术保护点】
一种基于集群并行运算的GNSS导航信号海量数据快速处理方法，其特征在于包括下述步骤：步骤1，收集所有有关GNSS导航数据处理的各类型数据；挑选出能够综合分析、相互无依赖关系的数据；步骤2，采用若干计算机作为节点构建集群环境，包括用户节点、管理节点、存储节点和计算节点；所述的用户节点提供用户界面，接受用户任务，通过运行调度器将任务分派到其它节点，并将运算结果返回给用户；所述的管理节点对集群中的任意节点进行监视和操作，并处理集群中所有节点的日志和报警信息；所述的存储节点提供存储共享，确保数据同步访问；所述的计算节点包括胖节点和工作节点，胖节点的计算能力优于工作节点，每个集群包括1个胖节点和若干工作节点；各个节点间通过进程间通信网络在执行并行任务时进行进程间通信，管理节点通过管理网络收集集群信息、监视集群计算机和执行维护任务的网络，计算节点通过存储访问网络访问存储节点；步骤3，针对步骤1挑选出的数据进行任务分解、数据分解或数据流分解；所述的任务分解对应用程序根据其执行的功能进行分解；所述的数据分解将应用程序根据各任务所处理的数据进行分解，利用多个线程对不同的数据块执行相同的操作；所述的数据流分解将一个线程的输出作为另一个线程的输入；步骤4，构建可并行执行算法，具体步骤如下：(1)通过提取存储节点的数据文件和文件列表文件标识，完成数据采集文件的提取；(2)对提取的数据文件进行合理性检验、剔除野值、系统误差修正和公共误差修正；(3)将M个同步通道、每个通道N颗卫星、每颗卫星L个频点的任务一次性投入集群系统，并行计算，最后在胖节点上面完成各工作节点计算数据比价汇总；(4)对于需要其他指标结果作为输入的数据，在执行并行计算后执行串行计算。...

【技术特征摘要】
1.一种基于集群并行运算的GNSS导航信号海量数据快速处理方法，其特征在于包括下述步骤：步骤1，收集所有有关GNSS导航数据处理的各类型数据；挑选出能够综合分析、相互无依赖关系的数据；步骤2，采用若干计算机作为节点构建集群环境，包括用户节点、管理节点、存储节点和计算节点；所述的用户节点提供用户界面，接受用户任务，通过运行调度器将任务分派到其它节点，并将运算结果返回给用户；所述的管理节点对集群中的任意节点进行监视和操作，并处理集群中所有节点的日志和报警信息；所述的存储节点提供存储共享，确保数据同步访问；所述的计算节点包括胖节点和工作节点，胖节点的计算能力优于工作节点，每个集群包括1个胖节点和若干工作节点；各个节点间通过进程间通信网络在执行并行任务时进行进程间通信，管理节点通过管理网络收集集群信息、监视集群计算机和执行维护任务的网络，计算节点通过存储访问网络访问存储节点；步骤3，针对步骤1挑选出的数据进行任务分解、数据分解或数据流分解；所述的任务分解对应用程序根据其执行的功能进行分解；所述的数据分解将应用程序根据各任务所处理的数据进行分解，利用多个线程...

【专利技术属性】
技术研发人员：贺成艳，卢晓春，郭际，王雪，饶永南，
申请(专利权)人：中国科学院国家授时中心，
类型：发明
国别省市：陕西,61