一种用于NetCDF文件的变量数据缓存方法和系统技术方案

本申请属于计算机优化领域，具体公开一种用于NetCDF文件的变量数据缓存方法和系统。包括：从NetCDF文件的根group开始，逐级往下递归获取数据及其中的元数据信息，自动生成数据索引、数据块、元数据构建数据箱子，若有多个文件，每一个文件对应一个数据箱子，将这多个数据箱子组织成数据仓库。本申请通过预先加载数据块到内存中的数据箱子，构建快速的索引结构，实现对大规模数据集的快速访问，满足人工智能算法对数据实时性和响应性的需求；通过减少重复读取文件的次数，提高数据的利用率和计算资源的利用效率；通过优化数据访问和管理流程，降低对计算资源的需求。相比于直接从文件中读取数据，通过数据缓存和索引技术可以减少数据访问的时间和计算负载。

【技术实现步骤摘要】

本申请属于计算机优化领域，更具体地，涉及一种用于netcdf文件的变量数据缓存方法和系统。

技术介绍

1、netcdf(network common data form)是一种用于存储科学数据的自描述、机器无关的数据格式，其支持面向数组的科学数据的创建、访问和共享。netcdf被广泛应用于气象学、地球科学、环境科学等领域，用于存储各种类型的多维数组数据。随着科学数据规模的增长，直接从netcdf文件中读取数据的效率逐渐成为一个瓶颈，尤其是在需要频繁并发访问大量数据的应用场景下。

2、netcdf以数组的格式存储和获取数据。经典的netcdf数据模型包含变量、维度、属性，是netcdf文件的核心。在netcdf-4之后，经典数据模型进行了增强，引入了一些新特性，如groups、无限制多维度、以及新的数据类型(包括用户定义的类型)。group是一种组织数据的方式，类似于unix文件系统中的目录。netcdf文件具有如下特征：(1)用户可以定义具有层次结构的group，并将变量、维度和属性添加到这些group中；(2)每个文件都从至少一个根group本文档来自技高网...

【技术保护点】

1.一种用于NetCDF文件的变量数据缓存方法，其特征在于，包括：

2.如权利要求1所述的变量数据缓存方法，其特征在于，步骤S11具体如下：

3.如权利要求1所述的变量数据缓存方法，其特征在于，步骤S13中，所述数据索引值由第一部分和第二部分组成；

4.如权利要求1所述的变量数据缓存方法，其特征在于，步骤S14中，为每个数据类型的数据块单独构建一个哈希表，四个哈希表所采用的哈希函数不要求相同。

5.如权利要求1所述的变量数据缓存方法，其特征在于，当需要查找某个数据块时，指定所需数据块的数据类型和对应的变量名，将两者进行拼接得到数据索引值。<...

【技术特征摘要】

1.一种用于netcdf文件的变量数据缓存方法，其特征在于，包括：

2.如权利要求1所述的变量数据缓存方法，其特征在于，步骤s11具体如下：

3.如权利要求1所述的变量数据缓存方法，其特征在于，步骤s13中，所述数据索引值由第一部分和第二部分组成；

4.如权利要求1所述的变量数据缓存方法，其特征在于，步骤s14中，为每个数据类型的数据块单独构建一个哈希表，四个哈希表所采用的哈希函数不要求相同。

5.如权利要求1所述的变量数据缓存方法，其特征在于，当需要查找某个数据块时，指定所需数据块的数据类型和对应的变量名，将两者进行拼接得到数据索引值。

6.如权利要求5所述的变量数据缓存方法，其...

【专利技术属性】
技术研发人员：张东映，杨旭，黄智超，张肖，杜帅，张语轩，李嘉宸，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：