一种多维数据的存储方法技术

本发明专利技术公开了一种多维数据的存储方法，涉及数据存储技术领域，解决了现有技术中，数据存储时无法根据对应数据维度进行分区存储，以至于容易造成数据空洞和数据爆炸的技术问题；本发明专利技术是根据记录数据和查询数据对应匹配不同粒度的数据维，进一步提高了存储数据的查询效率，当数据维的粒度越小则表明对应数据越详细，因此在详细数据进行查询时不利其处于查询高效状态；还将数据根据对应数据维进行分区存储，提高了数据存储的合格性，同时保证数据在存储过程中内降低查询的难度，且能够将存储数据进行分布式存储，防止同一区数据出现丢失导致整个存储数据无法正常使用，以至于保证数据存储的实用性。存储的实用性。存储的实用性。

【技术实现步骤摘要】
一种多维数据的存储方法


[0001]本专利技术涉及数据存储
，具体为一种多维数据的存储方法。

技术介绍

[0002]多维数据库可以简单地理解为：将数据存放在一个n维数组中，而不是像关系数据库那样以记录的形式存放，因此存在大量稀疏矩阵，人们可以通过多维视图来观察数据；但是在现有技术中，数据存储时无法根据对应数据维度进行分区存储，以至于容易造成数据空洞和数据爆炸，同时不利于数据存储的高效性，此外，不能够将存储数据匹配合理的粒度，导致数据查询效率和存储效率无法最大化；
[0003]针对上述的技术缺陷，现提出一种解决方案。

技术实现思路

[0004]本专利技术的目的就在于为了解决上述提出的问题，而提出一种多维数据的存储方法，是将待存储数据的硬件设备进行存储检测，判断硬件存储的效率是否正常，从而保证存储数据进入硬件设备后能够正常进行查询或者存储，保证数据存储的工作效率；将数据根据对应数据维进行分区存储，提高了数据存储的合格性，同时保证数据在存储过程中内降低查询的难度，且能够将存储数据进行分布式存储，防止同一区数据出现丢失导致整个存储数据无法正常使用，以至于保证数据存储的实用性。
[0005]本专利技术的目的可以通过以下技术方案实现：
[0006]一种多维数据的存储方法，具体存储方法步骤如下：
[0007]步骤一、物理存储检测，在需要进行数据存储时，将待存储数据的硬件设备进行存储检测，判断硬件存储的效率是否正常；
[0008]步骤二、数据维存储划分，在完成物理存储检测后，将待存储数据传输至硬件设备内，硬件设备在接收到存储数据后，将存储数据进行数据维划分，在存储数据多个数据维中进行选择三个数据维，并将硬件设备进行分区，且分区标准根据存储数据的三个数据维，将数据根据对应数据维进行分区存储；
[0009]步骤三、数据粒度划分，在通过数据维划分且数据完成存储后，将每个数据维对应的数据进行分析，并将对应存储数据划分为记录数据和查询数据，并根据记录数据和查询数据对应匹配不同粒度的数据维，进一步提高了存储数据的查询效率；
[0010]步骤四、数据分割，将各个数据对应数据维的数据粒度划分后，将各个区存储数据进行分割，根据存储数据对应数据维进行分割。
[0011]作为本专利技术的一种优选实施方式，步骤一中物理存储检测分析过程如下：
[0012]将待存储数据对应硬件设备标记为分析对象，设置标号i，i为大于1的自然数，采集到分析对象完成数据清空后可存储数据内存与总数据内存的占比以及分析对象在历史存储过程中存储数据占比增加时数据传输速度的最大浮动值，并将分析对象完成数据清空后可存储数据内存与总数据内存的占比以及分析对象在历史存储过程中存储数据占比增
加时数据传输速度的最大浮动值分别与内存占比阈值和速度最大浮动值阈值进行比较：
[0013]若分析对象完成数据清空后可存储数据内存与总数据内存的占比未超过内存占比阈值，或者分析对象在历史存储过程中存储数据占比增加时数据传输速度的最大浮动值超过速度最大浮动值阈值，则判定分析对象的存储检测不合格，生成存储检测不合格信号并将对应分析对象判定为非存储设备；
[0014]若分析对象完成数据清空后可存储数据内存与总数据内存的占比超过内存占比阈值，且分析对象在历史存储过程中存储数据占比增加时数据传输速度的最大浮动值未超过速度最大浮动值阈值，则判定分析对象的存储检测合格，生成存储检测合格信号并将对应分析对象判定为存储设备。
[0015]作为本专利技术的一种优选实施方式，步骤二中数据维存储划分过程如下：
[0016]将存储设备内实时存储的数据对应数据维进行采集，并将数据维设置标号o，o为大于的自然数，数据维表示为数据的维度，如数据为家庭开销数据，则数据维有日期维、支出账户维、家庭成员维，日期维表示为一季度，一月，二月，三月，其中，一季度作为日期维的父成员；支出账户维表示为日用品、衣物、洗涤，其中，日用品作为支出账户维的父成员；家庭成员维表示为家庭、成员A、成员B，其中家庭作为家庭成员维的父成员；除父成员的数据均为对应数据维的叶成员；
[0017]采集到历史访问过程中访问数据时选择数据维作为筛选条件的频率以及对应数据维作为筛选条件的持续时长；通过分析获取到数据维的使用分析系数；
[0018]将数据维根据对应使用分析系数数值从大到小的顺序进行排序，并将排序前三的数据维构建分区数据维组，且对应分区数据维组内数据维统称为分区数据维；根据三个分区数据维构建空间坐标系，采集到分区数据维的叶成员数量，并将其分别标记为C1、C2、C3，通过分区数据维叶成员数量进行相乘获取到分区数，即分区数表示为C1
×
C2
×
C3；完成分区后，将对应存储数据根据分区数据维进行划分，并将存储至对应区域内。
[0019]作为本专利技术的一种优选实施方式，步骤三中数据粒度划分具体步骤如下：
[0020]将各个存储区域内的数据进行分析，采集到存储区域内存储数据的需求查询频率以及存储数据查询过程中需查询数据内存占比，并将存储区域内存储数据的需求查询频率以及存储数据查询过程中需查询数据内存占比分别与需求查询频率阈值和查询数据内存占比阈值进行比较：
[0021]若存储区域内存储数据的需求查询频率超过需求查询频率阈值，或者存储数据查询过程中需查询数据内存占比未超过查询数据内存占比阈值，则将对应存储数据标记为查询型数据；若存储区域内存储数据的需求查询频率未超过需求查询频率阈值，且存储数据查询过程中需查询数据内存占比超过查询数据内存占比阈值，则将对应存储数据标记为存储型数据；
[0022]在将存储数据划分为查询型数据和存储型数据后，将查询型数据和存储型数据对应匹配高粒度存储方式和低粒度存储方式。
[0023]作为本专利技术的一种优选实施方式，步骤四中数据分割具体过程如下：
[0024]采集到实时需查询数据的存储内存以及需查询数据的平均查询数据内存，并将实时需查询数据的存储内存以及需查询数据的平均查询数据内存分别与存储内存阈值和平均查询数据内存阈值进行比较：
[0025]若实时需查询数据的存储内存超过存储内存阈值，且需查询数据的平均查询数据内存超过平均查询数据内存阈值，则判定存储区域的实时需查询数据适合进行数据分割；若实时需查询数据的存储内存未超过存储内存阈值，或者需查询数据的平均查询数据内存未超过平均查询数据内存阈值，则判定存储区域的实时需查询数据不适合进行数据分割；
[0026]将实时需查询数据对应数据维进行分析，采集到实时需查询数据对应查询条件为父成员的频率和叶成员的频率，若实时需查询数据对应查询条件为父成员的频率高于叶成员的频率，且查询次数超过次数阈值，则将对应父成员和叶成员作为分割条件，并将对应存储区域内实时需查询数据根据父成员和叶成员进行划分，即同一父成员的数据再一个子区域存储，同一叶成员的数据再一个子区域存储。
[0027]与现有技术相比，本专利技术的有益效果是：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多维数据的存储方法，其特征在于，具体存储方法步骤如下：步骤一、物理存储检测，在需要进行数据存储时，将待存储数据的硬件设备进行存储检测，判断硬件存储的效率是否正常；步骤二、数据维存储划分，在完成物理存储检测后，将待存储数据传输至硬件设备内，硬件设备在接收到存储数据后，将存储数据进行数据维划分，在存储数据多个数据维中进行选择三个数据维，并将硬件设备进行分区，且分区标准根据存储数据的三个数据维，将数据根据对应数据维进行分区存储；步骤三、数据粒度划分，在通过数据维划分且数据完成存储后，将每个数据维对应的数据进行分析，并将对应存储数据划分为记录数据和查询数据，并根据记录数据和查询数据对应匹配不同粒度的数据维，进一步提高了存储数据的查询效率；步骤四、数据分割，将各个数据对应数据维的数据粒度划分后，将各个区存储数据进行分割，根据存储数据对应数据维进行分割。2.根据权利要求1所述的一种多维数据的存储方法，其特征在于，步骤一中物理存储检测分析过程如下：将待存储数据对应硬件设备标记为分析对象，设置标号i，i为大于1的自然数，采集到分析对象完成数据清空后可存储数据内存与总数据内存的占比以及分析对象在历史存储过程中存储数据占比增加时数据传输速度的最大浮动值，并将分析对象完成数据清空后可存储数据内存与总数据内存的占比以及分析对象在历史存储过程中存储数据占比增加时数据传输速度的最大浮动值分别与内存占比阈值和速度最大浮动值阈值进行比较：若分析对象完成数据清空后可存储数据内存与总数据内存的占比未超过内存占比阈值，或者分析对象在历史存储过程中存储数据占比增加时数据传输速度的最大浮动值超过速度最大浮动值阈值，则判定分析对象的存储检测不合格，生成存储检测不合格信号并将对应分析对象判定为非存储设备；若分析对象完成数据清空后可存储数据内存与总数据内存的占比超过内存占比阈值，且分析对象在历史存储过程中存储数据占比增加时数据传输速度的最大浮动值未超过速度最大浮动值阈值，则判定分析对象的存储检测合格，生成存储检测合格信号并将对应分析对象判定为存储设备。3.根据权利要求1所述的一种多维数据的存储方法，其特征在于，步骤二中数据维存储划分过程如下：将存储设备内实时存储的数据对应数据维进行采集，并将数据维设置标号o，o为大于的自然数，数据维表示为数据的维度，如数据为家庭开销数据，则数据维有日期维、支出账户维、家庭成员维，日期维表示为一季度，一月，二月，三月，其中，一季度作为日期维的父成员；支出账户维表示为日用品、衣物、洗涤，其中，日用品作为支出账户维的父成员；家庭成员维表示为家庭、成员A、成员B，其中家庭作为家庭成员维的父成员；除父成员的数据均为对应数据维的叶成员；采集到历...

【专利技术属性】
技术研发人员：唐君伟，
申请(专利权)人：上海绎维软件系统有限公司，
类型：发明
国别省市：