一种面向大规模矢量场数据处理方法技术

本发明专利技术提供了一种面向大规模矢量场数据处理方法。此方法将将大规模矢量场数据进行等分形成子区域，按子区域数据的位置按序进行编码；读取子区域数据，且将其合并成数据块；读取数据块且根据数据块的编码通过哈希映射将数据块分配至相应分区，将空间上邻近的数据块分配到同一分区，流数据阀门依次按编码数值判断数据块的单一性和完整性。由于该方法根据数据块的编码通过哈希映射将数据块分配至相应分区，从而将空间上邻近的数据块分配到同一分区，不需重新寻找数据块在空间上邻近的数据块，提高了迭代计算的效率；流数据阀门排除了重复和缺失信息的数据块，保证了数据流的单一性和完整性。

【技术实现步骤摘要】
一种面向大规模矢量场数据处理方法
本专利技术涉及一种面向大规模矢量场数据处理方法，属于高性能计算框架领域。
技术介绍
在信息时代，传感器以及信息技术快速发展，矢量场数据以及其应用需求随之快速增长，针对大规模矢量场数据的实时计算也面临着越来越高的性能需求。以风场数据在气象领域中的应用为例，数据由广泛分布的风速风向传感器采集获取，在多个区域的气象部门进行同步汇总，在统一的云计算环境下进行分析计算，最终用来分析风场结构，进行台风预警等，但是面对巨大的数据量，目前气象部门对这些数据的应用仍然面临着分钟级的延迟。同样的，在海洋科学中，洋流数据可用于分析洋流对气候的影响，在数据处理性能上也面临着相同的问题。矢量场数据有着很广泛的应用。例如，对风场和海流数据的分析可以预测台风、海啸等自然灾害，及时发出预警信息便于公民及时做出防范措施，保证公民的生命安全，减少人们的财产损失。如果对这些数据的分析利用不够及时，数据的实用价值也会相应降低，因此，研究大规模矢量场数据的高性能计算具有十分重要的现实意义。现有大规模矢量场数据计算方法将大规模矢量场数据分本文档来自技高网...

【技术保护点】
1.一种面向大规模矢量场数据处理方法，其特征在于，该方法至少包括以下步骤：/n(1)将大规模矢量场数据进行等分，且将等分后形成的每个分矢量场数据再次等分，重复上述步骤，直至等分次数达到矢量场数据的维数数值，最终等分后形成子区域，按子区域数据的位置按序进行编码；/n(2)设定最大合并数，读取所有子区域数据，根据最大合并数依次将子区域数据按编码值由小至大依次合并成区域块；/n(3)根据数据块的形成先后进行编码，读取数据块且根据数据块的编码通过哈希映射将数据块分配至相应分区，将空间上邻近的数据块分配到同一分区；/n所用哈希映射公式为

【技术特征摘要】
1.一种面向大规模矢量场数据处理方法，其特征在于，该方法至少包括以下步骤：
(1)将大规模矢量场数据进行等分，且将等分后形成的每个分矢量场数据再次等分，重复上述步骤，直至等分次数达到矢量场数据的维数数值，最终等分后形成子区域，按子区域数据的位置按序进行编码；
(2)设定最大合并数，读取所有子区域数据，根据最大合并数依次将子区域数据按编码值由小至大依次合并成区域块；
(3)根据数据块的形成先后进行编码，读取数据块且根据数据块的编码通过哈希映射将数据块分配至相应分区，将空间上邻近的数据块分配到同一分区；
所用哈希映射公式为
式中A为分区数，C为数据块的编码数，M为分区总数，为向下取整后的分区数；
(4)利用流数据阀门检验数据块单一性和完整性；具体步骤如下：
1)根据数据块的编码数值设置不同的缓冲区；
2)依次按编码数值将数据块分配至相应的缓冲区内且判断待分配的数据块是否与缓冲区内某一数据块相同，若相同则将该数据块替代缓冲区内与之相同的数据块，若不同则将该数据块添加至相应的缓冲区内；
3)判断缓冲区内数据块中数据是否完整，若完整则输出该数据快，若不完整则不输出该数据块；
(5)对数据块进行迭代计算，即始终使用上一次计算的结果数据进行计算，且将计算后的数据块合并形成数据...

【专利技术属性】
技术研发人员：答海玲，张柱，郑坤，冉秀桃，
申请(专利权)人：武汉兆图科技有限公司，
类型：发明
国别省市：湖北;42