应用于分布式存储集群的数据存储方法及分布式存储集群技术

本发明专利技术公开了一种应用于分布式存储集群的数据存储方法及分布式存储集群，方法包括：当客户端接收到写入请求时，使用预设算法对待写入数据处理，得到多个数据片段；客户端将各个数据片段分别映射到后端相应的存储介质；在用于管理存储介质的进程指示下，客户端将数据片段以消息形式发送到与该数据片段相映射的存储介质，由该存储介质将该数据片段存储。本发明专利技术应用于分布式存储集群的数据存储方法及分布式存储集群，由客户端对待写入数据进行处理，得到多个数据片段，并将各个数据片段分别映射并传输到相应的存储介质而进行存储，对待写入数据的处理以及分发到存储介质由客户端进行，与现有技术相比能够减轻存储数据时后端的处理压力。

【技术实现步骤摘要】
应用于分布式存储集群的数据存储方法及分布式存储集群
本专利技术涉及数据存储
，特别是涉及一种应用于分布式存储集群的数据存储方法。本专利技术还涉及一种分布式存储集群。
技术介绍
随着大数据时代的到来，互联网领域每天产生的数据量越来越大，由此分布式存储集群技术被应用。分布式存储集群是将多个存储服务器构建网络拓扑，形成存储服务器集群，在存储集群中通过相关算法提供数据的读取、写入以及落盘功能，分布式存储集群是利用多台存储服务器分担存储负荷。现有的分布式存储集群，客户端将接收到的待写入数据直接发送到后端，由后端运行的处理进程对数据进行冗余处理、打包分发以及落盘操作，这使得后端处理进程的负载比较大，如果集群规模超过一定程度，影响就会非常明显，甚至导致整个集群陷入崩溃。
技术实现思路
本专利技术的目的是提供一种应用于分布式存储集群的数据存储方法以及一种分布式存储集群，与现有技术相比减轻了存储数据时后端的处理压力。为实现上述目的，本专利技术提供如下技术方案：一种应用于分布式存储集群的数据存储方法，包括：当客户端接收到写入请求时，使用预设算法对待写入数据处理，得到多个数据片段；所述客户端将各个所述数本文档来自技高网...

【技术保护点】
1.一种应用于分布式存储集群的数据存储方法，其特征在于，包括：当客户端接收到写入请求时，使用预设算法对待写入数据处理，得到多个数据片段；所述客户端将各个所述数据片段分别映射到后端相应的存储介质；在用于管理所述存储介质的进程指示下，所述客户端将所述数据片段以消息形式发送到与该数据片段相映射的所述存储介质，由该所述存储介质将该数据片段存储。

【技术特征摘要】
1.一种应用于分布式存储集群的数据存储方法，其特征在于，包括：当客户端接收到写入请求时，使用预设算法对待写入数据处理，得到多个数据片段；所述客户端将各个所述数据片段分别映射到后端相应的存储介质；在用于管理所述存储介质的进程指示下，所述客户端将所述数据片段以消息形式发送到与该数据片段相映射的所述存储介质，由该所述存储介质将该数据片段存储。2.根据权利要求1所述的应用于分布式存储集群的数据存储方法，其特征在于，所述客户端将各个所述数据片段分别映射到后端相应的存储介质包括：所述客户端结合所述数据片段的类型和大小，根据所述数据片段所属文件的索引节点号，通过哈希算法得到目标存储介质的编号，将所述数据片段映射到所述目标存储介质。3.根据权利要求1所述的应用于分布式存储集群的数据存储方法，其特征在于，在用于管理所述存储介质的进程指示下，所述客户端将所述数据片段以消息形式发送到与该数据片段相映射的所述存储介质包括：通过所述客户端与用于管理所述存储介质的进程之间建立的通信链接，所述客户端将所述数据片段以消息形式发送到与该数据片段相映射的所述存储介质。4.根据权利要求1-3任一项所述的应用于分布式存储集群的数据存储方法，其特征在于，还包括：当所述客户端接收到所述写入请求时，所述客户端将所述待写入数据存储到本地缓存器内，并向上层应用返回指示写入成功的信息。5.根据权利要求1-3任一项所述的应用于分布式存储集群的数据存储方法，其特征在于，还包括：当所述存储介质将对应的所述数据片段完成存储后，所述存储介质向所述客户端发送指示写入成功的信息，所述客户端将该指示写...

【专利技术属性】
技术研发人员：魏盟，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41