一种基于维度的分布式存储方法技术

本发明专利技术公开了一种基于维度的分布式存储方法

【技术实现步骤摘要】
一种基于维度的分布式存储方法、装置、设备和介质


[0001]本申请涉及计算机
，特别涉及一种基于维度的分布式存储方法
、
装置
、
设备和介质
。

技术介绍

[0002]目前，随着分布式存储技术的迅速发展，分布式存储的应用也越来越广泛
。
分布式存储系统，是将数据分散存储在多台独立的设备上
。
分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性
、
可用性和存取效率，还易于扩展
。
[0003]同时，随着计算机技术的进步，使得数据收集变得越来越容易，导致数据库规模越来越大
、
复杂性越来越高，如各种类型的贸易交易数据
、Web
文档
、
基因表达数据等，它们的维度（属性）通常可以达到成百上千维甚至更高
。
高维数据聚类分析在市场分析
、
信息安全
、
金融
、
娱乐等方面都有很广泛的应用
。
[0004]现有技术一般对业务中产生的原始数据直接进行存储
。
但是，在对原始数据进行应用时，必然要对直接存储的原始数据增加筛查去重过滤
、
搜索
、
排查等动作，极大的增加了计算时间
、
拖累运行结果效率和增加程序处理原始数据的成本
。
且当其他应用业务在不同时刻需要相同或相似的数据时，往往需要重复读取原始数据并重复进行处理，这进一步增加了处理原始数据的成本
。
[0005]另一方面，现有技术通常对原始数据零散或者粗略的分类存储，在分配存储空间时，较为简单粗暴，由此可能会导致一些种类的原始数据的存储空间比较富余，而另一些种类的原始数据的存储空间紧张，没有得到有效的资源分配
。
[0006]综上，当前原始数据通常具有较高的维度，而在对原始数据进行存储时，却并没有考虑原始数据的维度进行存储，导致在为原始数据分配存储空间时，通常不够合理，存储空间的利用率较低
。
且在对存储后的原始数据进行应用时，通常需要根据业务应用需求对原始数据进一步进行处理，存储后的数据的处理成本较高，应用效率较差
。

技术实现思路

[0007]基于此，有必要针对上述技术问题，提供一种基于维度的分布式存储方法
、
装置
、
设备和介质
。
[0008]本说明书采用下述技术方案：本说明书提供了一种基于维度的分布式存储方法，包括：获取待存储的原始数据；根据对原始数据的维度存储需求，配置
WEB
服务组合规则；其中，
WEB
服务组合规则包括数据聚类规则
、
数据存储规则以及数据维度化规则；根据
WEB
服务组合规则中的数据聚类规则，选取聚类算法对原始数据进行聚类，并根据数据维度化规则处理聚类得到的每类原始数据，得到高维数据或低维数据或包含高维
数据和低维数据的混维数据；针对每类维度数据，根据当前分布式存储系统中各存储器的性能指标和
WEB
服务组合规则中的数据存储规则，将该类维度数据存储于对应目标存储器中；其中，目标存储器包括高维存储器，低维存储器以及混维存储器
。。
[0009]可选地，所述数据聚类规则包括：聚类属性
、
数据维度化规则与聚类算法的对应关系；根据
WEB
服务组合规则中的数据聚类规则，选取聚类算法对原始数据进行聚类，具体包括：根据
WEB
服务组合规则中的数据维度化规则，以及数据维度化规则与聚类算法的对应关系，选取聚类算法；基于数据聚类规则中的聚类属性，通过选取的聚类算法对原始数据进行聚类
。
[0010]可选地，所述数据存储规则包括目标存储节点和目标存储地域；所述根据当前分布式存储系统中各存储器的性能指标和
WEB
服务组合规则中的数据存储规则，将该类维度数据存储于对应目标存储器中，具体包括：根据
WEB
服务组合规则中的数据存储规则中的目标存储地域和目标存储节点，确定分布式存储系统中在目标存储地域目标存储节点的可用存储器；根据各可用存储器当前的性能指标，确定用于存储该类维度数据的目标存储器，并将该类维度数据存储于对应目标存储器中
。
[0011]可选地，所述
WEB
服务组合规则还包括传输规则；所述传输规则为推迟不满足预设数据流速率的数据传输；所述将该类维度数据存储于对应目标存储器中，具体包括：根据当前存储网络的
QOS
指标和
WEB
服务组合规则中的传输规则，确定存储时间；根据用于存储该类维度数据的目标存储器和存储时间，生成对应的存储指令，以将该类维度数据在存储时间存储于对应目标存储器中
。
[0012]可选地，所述将该类维度数据存储于对应目标存储器中，具体包括：检查用于存储该类维度数据的目标存储器是否正常工作；若是，则将该类维度数据存储于对应目标存储器中；若否，则不将该类维度数据存储于对应目标存储器中，针对该类维度数据，根据检查结果
、
当前分布式存储系统中各存储器的性能指标和
WEB
服务组合规则中的数据存储规则，重新确定用于存储该类维度数据的目标存储器并进行存储
。
[0013]可选地，通过缓存存储器对待存储的原始数据，以及得到高维数据或低维数据或混维数据进行缓存；从缓存存储器中读取原始数据进行聚类，以及从缓存存储器中读取各类维度数据进行存储；所述方法还包括：若接收到各目标存储器存储成功的存储结果，向缓存存储器发送缓存数据删除指令，使缓存存储器删除缓存数据；若接收到各目标存储器存储失败的存储结果，根据存储结果
、
预设的数据存储规则和对原始数据的维度存储需求，重新配置
WEB
服务组合规则
。
[0014]可选地，所述数据存储规则还包括存储中止规则和存储终止规则；
所述存储中止规则为根据
QOS
指标变化程度确定中止存储并在后续完成存储；所述存储终止规则为根据
QOS
指标变化程度确定终止存储并返回存储失败结果；所述方法还包括：将该类维度数据存储至对应目标存储器的过程中，根据
QOS
指标变化程度确定中止存储或终止存储
。
[0015]本说明书提供了一种基于维度的分布式存储装置，包括：获取模块，用于获取待存储的原始数据；配置模块，用于根据对原始数据的维度存储需求，配置
WEB
服务组合规则；其中，
WEB
服务组合规则包括数据聚类规则
、
数据存储规则以及数据维度化规则；处理模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于维度的分布式存储方法，其特征在于，包括：获取待存储的原始数据；根据对原始数据的维度存储需求，配置
WEB
服务组合规则；其中，
WEB
服务组合规则包括数据聚类规则
、
数据存储规则以及数据维度化规则；根据
WEB
服务组合规则中的数据聚类规则，选取聚类算法对原始数据进行聚类，并根据数据维度化规则处理聚类得到的每类原始数据，得到高维数据或低维数据或包含高维数据和低维数据的混维数据；针对每类维度数据，根据当前分布式存储系统中各存储器的性能指标和
WEB
服务组合规则中的数据存储规则，将该类维度数据存储于对应目标存储器中；其中，目标存储器包括高维存储器，低维存储器以及混维存储器
。2.
如权利要求1所述的基于维度的分布式存储方法，其特征在于，所述数据聚类规则包括：聚类属性
、
数据维度化规则与聚类算法的对应关系；根据
WEB
服务组合规则中的数据聚类规则，选取聚类算法对原始数据进行聚类，具体包括：根据
WEB
服务组合规则中的数据维度化规则，以及数据维度化规则与聚类算法的对应关系，选取聚类算法；基于数据聚类规则中的聚类属性，通过选取的聚类算法对原始数据进行聚类
。3.
如权利要求1所述的基于维度的分布式存储方法，其特征在于，所述数据存储规则包括目标存储节点和目标存储地域；所述根据当前分布式存储系统中各存储器的性能指标和
WEB
服务组合规则中的数据存储规则，将该类维度数据存储于对应目标存储器中，具体包括：根据
WEB
服务组合规则中的数据存储规则中的目标存储地域和目标存储节点，确定分布式存储系统中在目标存储地域目标存储节点的可用存储器；根据各可用存储器当前的性能指标，确定用于存储该类维度数据的目标存储器，并将该类维度数据存储于对应目标存储器中
。4.
如权利要求1所述的基于维度的分布式存储方法，其特征在于，所述
WEB
服务组合规则还包括传输规则；所述传输规则为推迟不满足预设数据流速率的数据传输；所述将该类维度数据存储于对应目标存储器中，具体包括：根据当前存储网络的
QOS
指标和
WEB
服务组合规则中的传输规则，确定存储时间；根据用于存储该类维度数据的目标存储器和存储时间，生成对应的存储指令，以将该类维度数据在存储时间存储于对应目标存储器中
。5.
如权利要求1所述的基于维度的分布式存储方法，其特征在于，所述将该类维度数据存储于对应目标存储器中，具体包括：检查用于存储该类维度数据的目标存储器是否正常工作；若是，则将该类维度数据存储于对应目标存储器中；若否，则不将...

【专利技术属性】
技术研发人员：张颖，孙月俊，
申请(专利权)人：创云融达信息技术天津股份有限公司，
类型：发明
国别省市：