多维分级哈希编码、解码方法与设备、存储介质技术

本发明专利技术提出一种多维分级哈希编码、解码方法与设备、存储介质，所述编码方法包括：将数据按照时间周期进行分类；对时间周期相关数据进行稀疏滤波，生成多维数据；对各维数据按照数据量大小进行排序并存储，根据数据存储位置计算生成哈希值；将各个周期对应的每个哈希值按照数据量大小进行排序，获得哈希表，并进行存储。本发明专利技术优化了存储方法与I/O，可大大节省存储空间。通过多维周期分级哈希编码并存储的哈希表，可用以并行定位数据的存储位置以及并行读取数据，提高数据读取速度。

Multidimensional hash coding, decoding method and equipment, storage medium

The invention provides a multi-dimensional hierarchical hash encoding and decoding method and apparatus, storage medium, the encoding method includes the data according to time periodic classification; data sparse filter on the time period, generation of multi-dimensional data; the dimension data in accordance with the size of data are sorted and stored according to the data storage location computation. Hashige; each hash value corresponding to each cycle rank size according to the amount of data to obtain a hash table, and storage. The present invention is optimized with I/O storage method, can greatly save the storage space. The hash table, which is multidimensional periodic hash coding and hash table, can be used to locate data location and read data parallel, and improve data reading speed.

【技术实现步骤摘要】
多维分级哈希编码、解码方法与设备、存储介质
本专利技术涉及数据存储管理领域，特别涉及一种时间序列相关数据的多维分级哈希编码、解码方法与设备、存储介质。技术背景云存储和大数据背景下，数据呈现爆炸式增长趋势。根据研究显示，2020年数字宇宙将达到35.2ZB，比2009年的0.8ZB猛增44倍，这其中80％以上为非结构化数据。金融领域、国民经济宏观控制、区域综合发展规划、企业经营管理、市场潜量预测、气象预报、水文预报、地震前兆预报、农作物病虫灾害预报、环境污染控制、生态平衡、天文学和海洋学等等大量数据密集型应用导致数据的井喷。因数据存储量巨大，导致读写速度很慢，其主要问题是存储与I/O没有做到很好的优化，故不断对存储方法提出新的严峻挑战。
技术实现思路
本专利技术提供一种多维分级哈希编码、解码方法与设备、存储介质，通过优化存储方法与I/O，很好地解决上述数据读写速度慢的问题，同时降低数据存储使用空间。本专利技术提供了一种多维分级哈希编码方法，包括如下步骤：数据输入；将数据按照时间周期进行分类；对各时间周期相关数据进行稀疏滤波，生成多维数据；对各维数据按照数据量大小进行排序并存储，根据数据存储位置计算生成哈希值；将各个周期对应的每组哈希值按照数据量大小进行排序，获得哈希表并存储。所述的稀疏滤波是将数据相同值进行删除的压缩方法，在一组时间相关序列值中，检测相邻的值是否相同，如果相同则删除相邻的相同值。所述的哈希表包含二级或二级以上数据结构。所述的时间周期包括但不限于年、月、周、日、时、30分钟、5分钟、5秒、1秒、1跳。所述的哈希值用于标识所述数据的位置，每个哈希值标识了对应周期的数据位置。所述的数据与时间序列相关，包括但不限于金融数据、国民经济宏观控制数据、区域综合发展规划数据、企业经营管理数据、市场潜量预测数据、气象预报数据、水文预报数据、地震前兆预报数据、农作物病虫灾害预报数据、环境污染控制数据、生态平衡数据、天文学数据和海洋学数据。所述的哈希表可用于并行定位数据的存储位置和/或并行读取数据。本专利技术还提出了一种多维分级哈希解码方法，包括以下步骤：读取哈希表；获得数据位置；根据数据位置，分周期整块读出数据；串行或者并行读取，直到所需的数据读取完成。本专利技术还提供一种计算设备，包括：一个或多个处理器；存储器；以及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述多维分级哈希编码方法和/或所述多维分级哈希解码方法中的任一方法的指令。本专利技术还提供一种存储介质，所述存储介质存储有一个或多个程序，所述一个或多个程序包括指令，所述指令当由基于分级目标评价的策略生成设备执行时，使得所述计算设备执行所述多维分级哈希编码方法和/或所述多维分级哈希解码方法中的任一方法。本专利技术通过对数据进行时间周期分类，并对分级后的数据进行稀疏滤波生成多维数据，并对数据进行排序存储生成哈希值，再对哈希值进行排序生成哈希表的方式优化存储方法与I/O，可大大节省存储空间。通过按时间周期进行多维分级并存储的哈希表，可用于并行定位数据的存储位置以及并行读取数据，提高数据读取速度。附图说明图1是本专利技术多维分级哈希编码流程图。图2是稀疏滤波采样流程。图3是本专利技术多维分级哈希数据布局模式。图4是本专利技术多维分级哈希编码的装置。图5是本专利技术多维分级哈希解码流程图。图6是本专利技术多维分级哈希解码装置。具体实施方式下面结合附图并通过具体实施方式来进一步说明本专利技术的技术方案和优点。实施例一本专利技术实施例一公开了一种多维分级哈希编码方法，参照图1所示流程：步骤111，输入与时间序列相关的原始数据。步骤112，将原始数据按照时间周期进行分类，形成至少两级数据结构。相应地，哈希表的数据结构视数据的时间周期分类而定，该哈希表用于存放相应的哈希值。时间周期可根据需要设置，如数据可以按年、月、周、日、时、30分钟、5分钟，5秒，1秒，1跳等分类存储，但不限于此。步骤113，对分级后的各时间周期相关数据进行稀疏滤波，即是将数据相同值进行删除的压缩方法。如图2所示，在一组时间相关序列值中，对相邻的值进行检测，若相邻值相同，则删除相邻的相同值；如果相邻的值不同，则予保留；以获得各周期相应的多维数据。该多维数据，可以是多维金融数据，如多支股票按时间周期进行分类的成交价格。使用稀疏滤波对数据进行处理，由于删除了相邻数据的相同值，压缩了大量存储空间，提高了解码器的读取速度。步骤114，对各个周期相应的各维数据按照数据量大小进行排序并存储，根据数据存储位置计算生成哈希值。哈希值用于标识所述数据的位置，每个哈希值标识了对应周期的数据位置。步骤115，将各个周期对应的每个哈希值按照数据量大小进行排序，可按照由大到小或由小到大的顺序排列，获得哈希表。哈希表可用于并行定位数据的存储位置以及并行读取数据，大大提高了数据读取速度。图3是本专利技术实施例一所述的哈希数据布局模式，对各维数据按时间周期进行分类，增加哈希表，形成至少两级数据结构。以股票交易数据为例，将一支或多支股票的历史交易价格作为原始数据，该原始数据按年、月、日、时、30分钟、5分钟，5秒，1秒，1跳等时间周期进行分类存储。增加哈希表，形成两级以上数据结构。以两级数据结构为例，第二级节点是实际存储数据的节点，是一个或多个股票在某一时间段内的交易价格经过周期分类，如按年、月、日、时、30分钟、5分钟，5秒，1秒，1跳等时间周期分类并稀疏滤波后实际存储的金融数据，形成一维或多维金融数据。各周期每一维金融数据按照数据量大小排序并存储，根据数据存储位置计算生成哈希值，该哈希值标识了某支股票在该周期的数据位置。各周期多个哈希值按照数据量大小排序后生成哈希表，即分级数据布局结构的第一节点，其标识了相应股票数据位置——比如，哈希表中的第一个哈希值标识了月周期数据中第一支股票数据的位置。该数据布局模式优化了存储方法与I/O，可大大节省存储空间。同时，将原始数据以时间周期进行分类，增加哈希表，形成至少两级数据结构，可并行读取数据排序和哈希表排序，提高数据读取速度。该方法适用于所有与时间序列相关领域的数据进行哈希编码存储，该时间序列相关领域数据包括金融数据、国民经济宏观控制数据、区域综合发展规划数据、企业经营管理数据、市场潜量预测数据、气象预报数据、水文预报数据、地震前兆预报数据、农作物病虫灾害预报数据、环境污染控制数据、生态平衡数据、天文学数据和海洋学数据等等，并不限于此。实施例二本实施例提出了一种多维分级哈希编码装置，如图4所示，包括：数据写模块411，实施时间序列相关数据的输入，该时间序列相关数据包括金融数据、国民经济宏观控制数据、区域综合发展规划数据、企业经营管理数据、市场潜量预测数据、气象预报数据、水文预报数据、地震前兆预报数据、农作物病虫灾害预报数据、环境污染控制数据、生态平衡数据、天文学数据和海洋学数据等等。分类模块412，将数据按照时间周期进行分类，增加哈希表，形成至少两级数据结构。相应地，哈希表的数据结构视数据的时间周期分类而定，该哈希表用于存放相应的哈希值。时间周期可根据需要设置，可以包括年、月、周、日、时、30分钟、5分钟，5秒，1秒，1跳等，并不限于此。稀疏滤波模块413本文档来自技高网...

【技术保护点】
一种多维分级哈希编码方法，适于在计算设备中执行，包括以下步骤：数据输入；将数据按照时间周期进行分类；对各时间周期相关数据进行稀疏滤波，生成多维数据；对各维数据按照数据量大小进行排序并存储，根据数据存储位置计算生成哈希值；将各个周期对应的每组哈希值按照数据量大小进行排序，获得哈希表并存储。

【技术特征摘要】
1.一种多维分级哈希编码方法，适于在计算设备中执行，包括以下步骤：数据输入；将数据按照时间周期进行分类；对各时间周期相关数据进行稀疏滤波，生成多维数据；对各维数据按照数据量大小进行排序并存储，根据数据存储位置计算生成哈希值；将各个周期对应的每组哈希值按照数据量大小进行排序，获得哈希表并存储。2.如权利要求1所述的方法，其特征在于，所述的稀疏滤波是将数据相同值进行删除的压缩方法，在一组时间相关序列值中，检测相邻的值是否相同，如果相同则删除相邻的相同值。3.如权利要求1所述的方法，其特征在于，所述的哈希表包含二级或二级以上数据结构。4.如权利要求1所述的方法，其特征在于，所述的时间周期包括但不限于年、月、周、日、时、30分钟、5分钟、5秒、1秒、1跳。5.如权利要求1所述的方法，其特征在于，所述的哈希值用于标识所述数据的位置，每个哈希值标识了对应周期的数据位置。6.如权利要求1所述的方法，其特征在于，所述的数据与时间序列相关，包括但不限于金融数据、国民经济宏观控制数据、区域综合发展规划数据...

【专利技术属性】
技术研发人员：陈盛福，李贵，
申请(专利权)人：上海宽全智能科技有限公司，
类型：发明
国别省市：上海,31