基于多路对象存储服务的高可靠性企业级存储系统及读写方法技术方案

本发明专利技术涉及基于多路对象存储服务的高可靠性企业级存储系统及读写方法。高可靠性企业级存储系统，包括一个由m个本地存储节点和n个对象存储服务虚拟节点组成的可动态自调节的存储系统、NPave接口转换系统和读写客户端，读写客户端通过NPave接口转换系统读写可动态自调节的存储系统中的数据，可动态自调节的存储系统会从对象读写缓冲区获取数据，并基于纠删码算法对数据进行分片，并把分片好的数据同时通过ISCSI接口将部分对象写入本地节点和通过RESTFUL API将另外部分对象写入对象存储服务虚拟节点。本发明专利技术提高了数据读写的效率，防止数据丢失，减少对互联网的依赖性，降低流量费用。

High reliability enterprise storage system based on multi-channel object storage service and its read-write method

The invention relates to a high reliability enterprise level storage system based on multi-channel object storage service and a reading and writing method. High reliability enterprise storage system, including a dynamic self-adjusting storage system, npave interface conversion system and read-write client composed of M local storage nodes and N object storage service virtual nodes. The read-write client reads and writes the data in the dynamic self-adjusting storage system through npave interface conversion system, and the dynamic self-adjusting storage system reads and writes the data from the object The buffer gets the data, and segments the data based on the erasure correction code algorithm. At the same time, some objects are written to the local node through the iSCSI interface and other objects are written to the object storage service virtual node through the restful API. The invention improves the efficiency of data reading and writing, prevents data loss, reduces the dependence on the Internet, and reduces the traffic cost.

【技术实现步骤摘要】
基于多路对象存储服务的高可靠性企业级存储系统及读写方法
本专利技术涉及一种基于多路对象存储服务的高可靠性企业级存储系统及读写方法。
技术介绍
随着社会经济的不断发展，特别是近几年，数据正在爆发式地不断增长，社会上各行各业都面临着巨大的数据文件需要进行存储。同时，在如何以低成本、高可靠和高可用性的方式来进行数据文件存储，成为了大多数企业的难题。如果要达到高可靠和高可用性，往往需要对数据文件进行多副本存储，那么企业需要购买容量数倍于数据文件大小的存储服务器部署在企业机房内部。同时，为了防止单个机房的电源或者环境故障带来的数据损失，企业还需要在不同的地点建立2个或以上的机房来部署更多的存储服务器。对象存储服务是由网络服务商提供的一种海量、弹性、高可用、高性价比的存储服务，是一项面向Internet访问的服务，提供了基于HTTP/HTTPS协议的Web服务接口，用户可以随时随地在任意可以连接至Internet的电脑上，通过接口调用来访问和管理存储在对象存储服务中的数据。目前，我们国内涌现了多家优秀的互联网公司提供的对象存储服务。本文档来自技高网...

【技术保护点】
1.基于多路对象存储服务的高可靠性企业级存储系统，其特征在于包括一个由m个本地存储节点和n个对象存储服务虚拟节点组成的可动态自调节的存储系统、NPave接口转换系统和读写客户端，读写客户端通过NPave接口转换系统读写由m个本地存储节点和n个对象存储服务虚拟节点组成的可动态自调节的存储系统中的数据，/n所述的NPave接口转换系统包括POSIX虚拟文件系统服务模块，POSIX虚拟文件系统服务模块连接文件读写缓冲模块，文件读写缓冲模块通过Linux内核接口连接NPave用户态文件系统模块，NPave用户态文件系统模块将数据拆分为散列的对象，并将对象的元数据信息记录在对象元数据数据库中，然后把对象...

【技术特征摘要】
20190527 CN 20191044385881.基于多路对象存储服务的高可靠性企业级存储系统，其特征在于包括一个由m个本地存储节点和n个对象存储服务虚拟节点组成的可动态自调节的存储系统、NPave接口转换系统和读写客户端，读写客户端通过NPave接口转换系统读写由m个本地存储节点和n个对象存储服务虚拟节点组成的可动态自调节的存储系统中的数据，
所述的NPave接口转换系统包括POSIX虚拟文件系统服务模块，POSIX虚拟文件系统服务模块连接文件读写缓冲模块，文件读写缓冲模块通过Linux内核接口连接NPave用户态文件系统模块，NPave用户态文件系统模块将数据拆分为散列的对象，并将对象的元数据信息记录在对象元数据数据库中，然后把对象通过LinuxXFS文件系统接口投递到对象读写缓冲区；
可动态自调节的存储系统会从对象读写缓冲区获取数据，并基于纠删码算法对数据进行分片，并把分片好的数据同时通过ISCSI接口将部分对象写入本地节点和通过RESTFULAPI将另外部分对象写入对象存储服务虚拟节点。


2.根据权利要求1所述的基于多路对象存储服务的高可靠性企业级存储系统，其特征在于所述的m个本地存储节点和n个对象存储服务存储节点组成的可动态自调节的存储系统是基于一种动态调节权重的纠删码算法，该算法核心是建一个权重环，并基于权重环中各个节点的权重，把根据纠删码进行分片的对象数据完成最终的对应节点写入和读取，权重环表示的是读写优先权重，动态进行自调节是指权重环被分为三个区域：完美区、正常区和隔离区，每个区的刻度根据实际网络和节点个数分布情况调节，每次加入一个新的节点时，节点处于正常区刻度正中心，每经过一次探测，利用如下公式进行计算：step＝(该节点探测延时/平均延时)*时间加权+(该节点探测次数/探测总次数)*次数加权；step如果大于1，那么向隔离区方向前进一个刻度，反之向完美区前进一个刻度。


3.根据权利要求2所述的基于多路对象存储服务的高可靠性企业级存储系统，其特征在于当节点处于正常区时，探测周期设定为30秒，当节点步入完美区时，探测周期远小于30秒，隔离区探测周期远大于3...

【专利技术属性】
技术研发人员：黄艺海，甘晨，
申请(专利权)人：杭州前云数据技术有限公司，
类型：发明
国别省市：浙江;33