一种云存储系统的数据写入方法、装置及云存储系统制造方法及图纸

本发明专利技术公开了一种云存储系统的数据写入方法以及装置，云存储系统的存储节点上至少包含高速存储设备以及大容量存储设备，通过接收客户端节点发送的写请求，将客户端节点进行纠删码处理后的待写入数据写入到高速存储设备；在写入完后后，向客户端节点发送完成响应；接收客户端节点发送的持久化请求，将待写入数据持久化写入到大容量存储设备。本发明专利技术通过写高速存储设备、写大容量存储设备两步完成数据的写入，既能够保证云存储系统的数据可靠性和一致性，又能在提供大的存储容量的同时降低写操作的延迟。并且在客户端节点完成纠删码的处理，能够减轻服务端的压力，降低网络通信的数据量。此外，本发明专利技术还提供了一种具有上述技术优点的云存储系统。

【技术实现步骤摘要】
一种云存储系统的数据写入方法、装置及云存储系统
本专利技术涉及数据存储
，特别是涉及一种云存储系统的数据写入方法、装置以及云存储系统。
技术介绍
随着移动互联网、物联网等的飞跃式发展，个人数据、家庭数据、企业数据等都呈现爆发式增长，海量数据时代悄然到来。同时这些数据己经从单纯的关系型数据向非关系型数据转换，如图片、音频、视频、文档等，传统的存储管理方式己经无法满足这类数据的存储需求，如何有效的存储、管理、维护这类非关系型数据被越来越多的业内人数所重点关注。云存储是指通过集群应用、网格技术或分布式文件系统等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。就如同云状的广域网和互联网一样，云存储对使用者来讲，不是指某一个具体的设备，而是指一个由许许多多个存储设备和服务器所构成的集合体。使用者使用云存储，并不是使用某一个存储设备，而是使用整个云存储系统带来的一种数据访问服务。云存储技术的飞速发展，使得云存储成为了一个新型的数据存储解决方案。近两年，国内的云存储技术也取得了蓬勃的发展，各厂商纷纷推出自己的云存储产品，云存储领域呈现出了欣欣向荣的景象。但总体来说，国内云存储技术还处于发展阶段。现有存储节点在对大数据进行写入的过程中，由于大容量存储设备的性能的限制，容易导致客户端出现卡顿、写操作出现延迟、影响存储性能的现象。专利
技术实现思路
本专利技术的目的是提供一种云存储系统的数据写入方法、装置以及云存储系统，以解决现有云储存系统中容易出现卡顿现象、写操作延迟较多、存储性能较低的问题。为解决上述技术问题，本专利技术提供一种云存储系统的数据写入方法，所述云存储系统的存储节点上至少包含一个高速存储设备以及一个大容量存储设备，所述方法包括：接收客户端节点发送的写请求，并将所述客户端节点进行纠删码处理后的待写入数据写入到所述高速存储设备；在写入完后后，向所述客户端节点发送完成响应；接收所述客户端节点发送的持久化请求，将所述待写入数据持久化写入到所述大容量存储设备。可选地，在所述将所述待写入数据持久化写入到所述大容量存储设备之后还包括：删除存储在所述高速存储设备上相应的版本化数据。可选地，还包括：每个存储节点通过心跳机制检测其他存储节点的运行状态；当检测到一个或多个存储节点的状态发生异常时，处于正常状态的各节点之间比较所述高速存储设备中数据的版本号，以版本最低的数据作为基准数据，将其他节点中大于所述基准数据的版本号的数据进行删除。可选地，所述高速存储设备为固态硬盘或非易失性存储器；所述大容量存储设备为机械硬盘或磁盘阵列。本专利技术还提供了一种云存储系统的数据写入装置，所述云存储系统的存储节点上至少包含一个高速存储设备以及一个大容量存储设备，所述装置包括：第一写入模块，用于接收客户端节点发送的写请求，并将所述客户端节点进行纠删码处理后的待写入数据写入到所述高速存储设备；响应模块，用于在写入完后后，向所述客户端节点发送完成响应；第二写入模块，用于接收所述客户端节点发送的持久化请求，将所述待写入数据持久化写入到所述大容量存储设备。本专利技术还提供了一种云存储系统，包括：客户端节点以及多个存储节点组成的存储集群；所述存储集群中的每个存储节点上至少包含一个高速存储设备以及一个大容量存储设备；其中，所述客户端节点用于接收用户的写请求，对待写入数据进行纠删码处理，并将纠删码处理后的数据发送至指定的存储节点；所述存储节点接收所述客户端节点发送的写请求，并将所述待写入数据写入到所述高速存储设备，在写入完成后，向所述客户端节点发送完成响应；所述客户端节点在接收到所述完成响应后，向所述存储节点发送持久化请求；所述存储节点接收所述持久化请求，将所述待写入数据持久化写入到所述大容量存储设备。可选地，所述存储节点还用于通过心跳机制检测其他存储节点的运行状态；当检测到一个或多个存储节点的状态发生异常时，处于正常状态的各节点之间比较所述高速存储设备中数据的版本号，以版本最低的数据作为基准数据，将其他节点中大于所述基准数据的版本号的数据进行删除。可选地，所述客户端节点具体用于将所述待写入数据分割为片段，生成原始数据块；计算所述原始数据块中的冗余数据，将所述冗余数据进行扩展、编码，并存储于不同的位置。可选地，所述存储节点还用于在将所述待写入数据持久化写入到所述大容量存储设备中之后，删除存储在所述高速存储设备上相应的版本化数据。可选地，所述高速存储设备为固态硬盘或非易失性存储器；所述大容量存储设备为机械硬盘或磁盘阵列。本专利技术所提供的云存储系统的数据写入方法以及装置，云存储系统的存储节点上至少包含一个高速存储设备以及一个大容量存储设备，通过接收客户端节点发送的写请求，并将客户端节点进行纠删码处理后的待写入数据写入到高速存储设备；在写入完后后，向客户端节点发送完成响应；接收客户端节点发送的持久化请求，将待写入数据持久化写入到大容量存储设备。本专利技术通过写高速存储设备、写大容量存储设备两步完成数据的写入，既能够保证云存储系统的数据可靠性和一致性，又能在提供大的存储容量的同时降低写操作的延迟。并且在客户端节点完成纠删码的处理，能够减轻服务端的压力，降低网络通信的数据量。此外，本专利技术还提供了一种具有上述技术优点的云存储系统。附图说明为了更清楚的说明本专利技术实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术所提供的云存储系统的数据写入方法的一种具体实施方式的流程图；图2为本专利技术所提供的云存储系统的数据写入方法的另一种具体实施方式的流程图；图3为纠删码原理示意图；图4为本专利技术实施例提供的云存储系统的数据写入装置的结构框图；图5为本专利技术实施例提供的云存储系统的示意图；图6为本专利技术实施例提供的云存储系统写操作的处理过程示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术所提供的云存储系统的数据写入方法的一种具体实施方式的流程图如图1所示，所述云存储系统的存储节点上至少包含一个高速存储设备以及一个大容量存储设备，所述方法包括：步骤S101：接收客户端节点发送的写请求，并将所述客户端节点进行纠删码处理后的待写入数据写入到所述高速存储设备；需要说明的是，本专利技术所提供的种云存储系统可以具体包括：一个或多个客户端节点，用于接收并处理用户的写请求。多个存储节点组成的存储集群，用于存储数据。其中每个存储节点上至少包含一个高速存储设备和一个大容量存储设备。客户端节点对用户提交的数据进行纠删码编码和分组；对于每个数据分组，客户端节点本文档来自技高网...

【技术保护点】
一种云存储系统的数据写入方法，其特征在于，所述云存储系统的存储节点上至少包含一个高速存储设备以及一个大容量存储设备，所述方法包括：接收客户端节点发送的写请求，并将所述客户端节点进行纠删码处理后的待写入数据写入到所述高速存储设备；在写入完后后，向所述客户端节点发送完成响应；接收所述客户端节点发送的持久化请求，将所述待写入数据持久化写入到所述大容量存储设备。

【技术特征摘要】
1.一种云存储系统的数据写入方法，其特征在于，所述云存储系统的存储节点上至少包含一个高速存储设备以及一个大容量存储设备，所述方法包括：接收客户端节点发送的写请求，并将所述客户端节点进行纠删码处理后的待写入数据写入到所述高速存储设备；在写入完后后，向所述客户端节点发送完成响应；接收所述客户端节点发送的持久化请求，将所述待写入数据持久化写入到所述大容量存储设备。2.如权利要求1所述的云存储系统的数据写入方法，其特征在于，在所述将所述待写入数据持久化写入到所述大容量存储设备之后还包括：删除存储在所述高速存储设备上相应的版本化数据。3.如权利要求1或2所述的云存储系统的数据写入方法，其特征在于，还包括：每个存储节点通过心跳机制检测其他存储节点的运行状态；当检测到一个或多个存储节点的状态发生异常时，处于正常状态的各节点之间比较所述高速存储设备中数据的版本号，以版本最低的数据作为基准数据，将其他节点中大于所述基准数据的版本号的数据进行删除。4.如权利要求3所述的云存储系统的数据写入方法，其特征在于，所述高速存储设备为固态硬盘或非易失性存储器；所述大容量存储设备为机械硬盘或磁盘阵列。5.一种云存储系统的数据写入装置，其特征在于，所述云存储系统的存储节点上至少包含一个高速存储设备以及一个大容量存储设备，所述装置包括：第一写入模块，用于接收客户端节点发送的写请求，并将所述客户端节点进行纠删码处理后的待写入数据写入到所述高速存储设备；响应模块，用于在写入完后后，向所述客户端节点发送完成响应；第二写入模块，用于接收所述客户端节点发送的持久化请求，将所述待写入数据持...

【专利技术属性】
技术研发人员：吴明桥，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41