【技术实现步骤摘要】
本专利技术涉及相控阵天气雷达数据处理领域，具体涉及一种相控阵天气雷达并行异构数据处理方法及系统。
技术介绍
1、常规天气雷达的数据处理由于数据体量较小，主要是常规cpu串行数据处理方法，后随着偏振雷达的发展和应用，逐渐转为cpu多线程数据处理方法，如基于qt开发环境而言的继承thread、runnable线程池以及基于c++的openmp并行处理，这些方法和技术通过增加cpu数量来提高数据处理效率，但仍然无法满足相控阵天气雷达海量数据的高时效处理要求。
2、相控阵天气雷达因其天线波束的快速扫描、波形捷变、空间功率合成和多波束形成能力，同一时刻下每个方位包含多个仰角层的探测结果，使其探测结果的时间、空间分辨率都比较高，数据体量是常规天气雷达的20倍以上，数据流量是常规天气雷达的100倍以上，探测间隔从常规的6分钟缩短到相控阵体制的1分钟左右，这使得雷达后端的数据处理系统需要在短时间内(约30秒内)非常高效的完成各类数据处理，尤其是基数据(体积扫描存储结果)的各类产品处理。常规处理方法在控制成本的前提下，几乎无法满足需求，迫切需要设计开发新的数据处理方法来满足高时效处理需求。
技术实现思路
1、近年来，由于机器学习，人工智能，图像识别等领域的不断发展，gpu作为一种强大的并行化计算工具逐渐登上舞台，可以实现对大量数据的重复计算(尤其是浮点计算)，在地质探测、气象数值预报、图像处理等多个领域得到了广泛引用。基于此，本专利技术提供了如下技术方案：
2、本专利技术提供
3、s1：接收相控阵天气雷达扫描生成的多波束下的多层的基数据；
4、s2：接收任务需求，每个任务包括一个以上的产品，
5、将可分离出适合gpu运算部分的产品，进行算法重构，所述算法重构的具体内容为分离出适合gpu运算部分与不适合gpu运算部分，产品的不适合gpu运算部分使用cpu进行处理，产品的适合gpu运算部分通过gpu对基数据进行处理，最终得到产品数据；
6、将不可分离出适合gpu运算部分的产品，进行常规处理，所述常规处理的具体内容为使用cpu对基数据进行处理，得到产品数据；
7、s3：将产品数据进行储存，并传输给后续系统。
8、优选的，还包括步骤：
9、s1.1：将基数据进行标准化处理，得到标准化数据，所述标准化处理的过程包括：
10、将基数据转化为统一的分层数据格式，同时将基数据的内容在内存中进行重新排列，排列的方式为同类型数据在内存中连续存放，每个类型数据内部按照定方位步长进行排序；
11、在步骤s2中基数据替换为标准化数据。
12、优选的，所述后续系统包括数据显示分析系统。
13、优选的，产品数据进行存储时，使用分级存储的方式进行存储。
14、优选的，分级存储的分级依据包括雷达站号、数据类型、年、月、日或产品类型。
15、本专利技术还提供了一种相控阵天气雷达并行异构数据处理系统，包括以下模块：
16、基数据模块：用于接收相控阵天气雷达扫描生成的多波束下的多层的基数据；
17、任务处理模块：用于接收任务需求，每个任务包括一个以上的产品，
18、将可分离出适合gpu运算部分的产品，进行算法重构，所述算法重构的具体内容为分离出适合gpu运算部分与不适合gpu运算部分，产品的不适合gpu运算部分使用cpu进行处理，产品的适合gpu运算部分通过gpu对基数据进行处理，最终得到产品数据；
19、将不可分离出适合gpu运算部分的产品，进行常规处理，所述常规处理的具体内容为使用cpu对基数据进行处理，得到产品数据；
20、存储模块：用于将产品数据进行储存，并传输给后续系统。
21、优选的，还包括模块：
22、数据标准化模块：用于将基数据进行标准化处理，得到标准化数据，所述标准化处理的过程包括：
23、将基数据转化为统一的分层数据格式，同时将基数据的内容在内存中进行重新排列，排列的方式为同类型数据在内存中连续存放，每个类型数据内部按照定方位步长进行排序；
24、在任务处理模块中基数据替换为标准化数据。
25、优选的，所述后续系统包括数据显示分析系统。
26、优选的，产品数据进行存储时，使用分级存储的方式进行存储。
27、优选的，分级存储的分级依据包括雷达站号、数据类型、年、月、日或产品类型。
28、有益效果：
29、1)基于gpu的并行异构处理带来高加速比，各类复杂数据处理高效完成；
30、2)本专利技术针对相控阵天气雷达的多波束扫描特点，以及cpu与gpu之间的传输特点，对基数据进行标准化处理，可以降低基数据所有产品处理流程的复杂度，大大提升cpu与gpu之间的协作效率；
31、3)基于原始数据精度，可设置更高的产品精度，充分满足气象精细化服务要求；
32、4)多任务自由定制，各类产品数据处理流程并行化设计，产品间无耦合，灵活性强，高可用；
33、5)针对相控阵雷达的大数据体量特点，采用分级存储和万兆网络共享，提升后端数据显示分析系统对各类数据的交互效率，降低存储成本，易维护；
34、6)大大降低对计算机硬件内存和cpu的需求，降本增效显著。
本文档来自技高网...【技术保护点】
1.一种相控阵天气雷达并行异构数据处理方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种相控阵天气雷达并行异构数据处理方法，其特征在于还包括步骤：
3.根据权利要求1所述的一种相控阵天气雷达并行异构数据处理方法，其特征在于，所述后续系统包括数据显示分析系统。
4.根据权利要求1所述的一种相控阵天气雷达并行异构数据处理方法，其特征在于，产品数据进行存储时，使用分级存储的方式进行存储。
5.根据权利要求4所述的一种相控阵天气雷达并行异构数据处理方法，其特征在于，分级存储的分级依据包括雷达站号、数据类型、年、月、日或产品类型。
6.一种相控阵天气雷达并行异构数据处理系统，其特征在于包括以下模块：
7.根据权利要求6所述的一种相控阵天气雷达并行异构数据处理系统，其特征在于还包括模块：
8.根据权利要求6所述的一种相控阵天气雷达并行异构数据处理系统，其特征在于，所述后续系统包括数据显示分析系统。
9.根据权利要求6所述的一种相控阵天气雷达并行异构数据处理系统，其特征在于，产品数据进行存
10.根据权利要求9所述的一种相控阵天气雷达并行异构数据处理系统，其特征在于，分级存储的分级依据包括雷达站号、数据类型、年、月、日或产品类型。
...【技术特征摘要】
1.一种相控阵天气雷达并行异构数据处理方法，其特征在于包括以下步骤：
2.根据权利要求1所述的一种相控阵天气雷达并行异构数据处理方法，其特征在于还包括步骤：
3.根据权利要求1所述的一种相控阵天气雷达并行异构数据处理方法，其特征在于，所述后续系统包括数据显示分析系统。
4.根据权利要求1所述的一种相控阵天气雷达并行异构数据处理方法，其特征在于，产品数据进行存储时，使用分级存储的方式进行存储。
5.根据权利要求4所述的一种相控阵天气雷达并行异构数据处理方法，其特征在于，分级存储的分级依据包括雷达站号、数据类型、年、月、日或产品类型。
...【专利技术属性】
技术研发人员：耿利宁，高磊，
申请(专利权)人：南京恩瑞特实业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。