数据读取方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种数据读取方法、数据读取装置、电子设备以及存储介质。数据读取方法包括：获取网络通用数据格式文件，以及要读取的原始维度信息和属性信息，并根据原始维度信息和属性信息与网络通用数据格式文件对应的预设文件特征进行匹配得到数据定位方法，再根据数据定位方法将原始维度信息转换为坐标信息，以及根据坐标信息在网络通用数据格式文件中读取目标数据。本申请的数据读取方法能够快速定位读取到网络通用数据格式文件中的目标数据，减少低频非必要的数据库空间占用和储存成本。本。本。

【技术实现步骤摘要】
数据读取方法、装置、电子设备及存储介质


[0001]本申请涉及数据处理领域，特别涉及一种数据读取方法、数据读取装置、电子设备及存储介质。

技术介绍

[0002]网络通用数据格式(network Common Data Form，NetCDF)是针对科学数据的特点开发的一种面向数组型并适于网络共享的数据的描述和编码标准。NetCDF数据文件能够高度压缩的数据文件，对网格数据进行高效地存储、管理、获取和分发等操作，广泛应用于大气科学、水文、海洋学、环境模拟、地球物理等诸多领域。
[0003]若将NetCDF数据文件转存数据库，不仅转存过程耗时较长，同时也会占用大量的数据库存储空间。在数据使用频率较低、或对时效性要求不高的情况下，转存数据库后读取数据的成本较高。

技术实现思路

[0004]本申请旨在至少解决现有技术中存在的技术问题之一。为此，本申请提供了一种数据读取方法、数据读取装置、电子设备及存储介质。
[0005]本申请实施方式提供的数据读取方法，包括：
[0006]获取网络通用数据格式文件，以及要读取的原始维度信息和属性信息；
[0007]根据所述原始维度信息和所述属性信息与所述网络通用数据格式文件对应的预设文件特征进行匹配得到数据定位方法；
[0008]根据所述数据定位方法将所述原始维度信息转换为坐标信息；
[0009]根据所述坐标信息在所述网络通用数据格式文件中读取目标数据。
[0010]在某些实施方式中，所述根据所述原始维度信息和所述属性信息与所述网络通用数据格式文件对应的预设文件特征进行匹配得到数据定位方法，包括：
[0011]在所述原始维度信息和所述属性信息与所述预设文件特征不匹配的情况下，对所述网络通用数据格式文件进行预处理以确定对应的所述预设文件特征和数据定位方法。
[0012]在某些实施方式中，对所述网络通用数据格式文件进行预处理以确定对应的所述预设文件特征和数据定位方法，包括：
[0013]确定所述网络通用数据格式的预设属性信息；
[0014]获取所述网络通用数据格式文件中的预设维度以及所述预设维度的结构和规则；
[0015]确定与所述预设维度以及所述预设维度的结构和规则相适配的数学函数以得到数据定位方法；
[0016]将所述预设维度、所述数据定位方法和所述预设属性信息进行存储以确定所述网络通用数据格式文件对应的文件特征。
[0017]在某些实施方式中，所述确定与所述预设维度以及所述预设维度的结构和规则相适配的数学函数以得到数据定位方法，包括：
[0018]在所述预设维度以及所述预设维度的结构和规则与数学函数不适配的情况下，以字典形式存储所述预设维度和对应数据在所述网络通用数据格式文件中的位置以得到所述数据定位方法。
[0019]在某些实施方式中，在所述网络通用数据格式文件的数量为多个的情况下，所述根据所述数据定位方法将所述原始维度信息转换为坐标信息的步骤之前，所述数据读取方法包括：
[0020]根据所述数据定位方法对所述网络通用数据格式文件进行分类。
[0021]在某些实施方式中，所述根据所述数据定位方法将所述原始维度信息转换为坐标信息，包括：
[0022]根据所述数据定位方法分别将所述原始维度信息转换为分类后的对应类型的所述网络通用数据格式文件的坐标信息。
[0023]在某些实施方式中，所述根据所述坐标信息在所述网络通用数据格式文件中读取目标数据，包括：
[0024]在所述网络通用数据格式文件的数量为多个的情况下，创建多个线程分别根据对应的所述坐标信息在各个所述网络通用数据格式文件读取所述目标数据。
[0025]本申请实施方式提供的数据读取装置，包括：
[0026]获取模块，用于获取网络通用数据格式文件，以及要读取的原始维度信息和属性信息；
[0027]匹配模块，用于根据所述原始维度信息和所述属性信息与所述网络通用数据格式文件对应的预设文件特征进行匹配得到数据定位方法；
[0028]转换模块，用于根据所述数据定位方法将所述原始维度信息转换为坐标信息；
[0029]读取模块，用于根据所述坐标信息在所述网络通用数据格式文件中读取目标数据。
[0030]本申请实施方式提供的电子设备，包括处理器和存储器，其中，存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述的数据读取方法。
[0031]本申请实施方式的非易失性计算机可读存储介质，包含有计算机程序，当所述计算机程序被处理器执行时，使得所述处理器执行所述的数据读取方法。
[0032]本申请实施方式的数据读取方法、数据读取装置、电子设备及计算机存储介质中，通过读取的原始维度信息和属性信息与网络通用数据格式文件对应的预设文件特征进行匹配，得到目标数据位置的数据定位方法，再由数据定位方法直接将原始维度信息转换为坐标信息，从而根据坐标信息在网络通用数据格式文件中读取到目标数据。如此，可在相对较低的存储空间占用的情况下，实现低成本的快速定位读取，减少了低频非必要的数据库空间占用和储存成本。
[0033]本申请的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。
附图说明
[0034]本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
[0035]图1是本申请某些实施方式的数据读取方法的流程示意图；
[0036]图2是本申请某些实施方式的数据读取装置的模块示意图；
[0037]图3
‑
8是本申请某些实施方式的数据读取方法的流程示意图。
具体实施方式
[0038]下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。
[0039]请参阅图1，本申请提供一种数据读取方法，数据读取方法包括步骤：
[0040]01，获取网络通用数据格式文件，以及要读取的原始维度信息和属性信息；
[0041]02，根据原始维度信息和属性信息与网络通用数据格式文件对应的预设文件特征进行匹配得到数据定位方法；
[0042]03，根据数据定位方法将原始维度信息转换为坐标信息；
[0043]04，根据坐标信息在网络通用数据格式文件中读取目标数据。
[0044]请参阅图2，本申请实施方式提供了一种数据读取装置10。数据读取装置10包括获取模块110、匹配模块120、转换模块130和读取模块140。步骤01可以由获取模块110实现，步骤02可以由匹配模块120实现，步骤03可以由转换模块130实现。步骤04可以由读取模块140实现。
[0045]或者说，获取模块110可以用于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据读取方法，其特征在于，包括：获取网络通用数据格式文件，以及要读取的原始维度信息和属性信息；根据所述原始维度信息和所述属性信息与所述网络通用数据格式文件对应的预设文件特征进行匹配得到数据定位方法；根据所述数据定位方法将所述原始维度信息转换为坐标信息；根据所述坐标信息在所述网络通用数据格式文件中读取目标数据。2.根据权利要求1所述的数据读取方法，其特征在于，所述根据所述原始维度信息和所述属性信息与所述网络通用数据格式文件对应的预设文件特征进行匹配得到数据定位方法，包括：在所述原始维度信息和所述属性信息与所述预设文件特征不匹配的情况下，对所述网络通用数据格式文件进行预处理以确定对应的所述预设文件特征和数据定位方法。3.根据权利要求2所述的数据读取方法，其特征在于，所述对所述网络通用数据格式文件进行预处理以确定对应的所述预设文件特征和数据定位方法，包括：确定所述网络通用数据格式文件的预设属性信息；获取所述网络通用数据格式文件中的预设维度以及所述预设维度的结构和规则；确定与所述预设维度以及所述预设维度的结构和规则相适配的数学函数以得到数据定位方法；将所述预设维度、所述数据定位方法和所述预设属性信息进行存储以确定所述网络通用数据格式文件对应的文件特征。4.根据权利要求3所述的数据读取方法，其特征在于，所述确定与所述预设维度以及所述预设维度的结构和规则相适配的数学函数以得到数据定位方法，包括：在所述预设维度以及所述预设维度的结构和规则与数学函数不适配的情况下，以字典形式存储所述预设维度和对应数据在所述网络通用数据格式文件中的位置以得到所述数据定位方法。5.根据权利要求1所述的数据读取方法，其特征在于，在所述...

【专利技术属性】
技术研发人员：王辰，朱祥，郑旭，
申请(专利权)人：北京京东方能源科技有限公司，
类型：发明
国别省市：