The invention discloses a method, device and data to the server, which relates to the technical field of data processing, can solve the object to be written before the write operation because of the existing technology, the data will be migrated to other nodes, resulting in the write operation on the object, the problem of incomplete data object in. The method of the invention includes: after receiving a write request, according to the written requests to determine the target object to be written; the first storage space in the target lock, to indicate the target data in the first storage space is not allowed to transfer; write requests based on the target object corresponding to the writing data to be written to second storage space, second memory read and write speed in a first storage space; according to predetermined rules, the corresponding has been written into the second storage space of the target object in writing data to be written to the first storage space. The invention is mainly applicable to the scene of storing data based on the distributed storage system.
【技术实现步骤摘要】
数据写入的方法、装置及服务器
本专利技术涉及数据处理
,特别是涉及一种数据写入的方法、装置及服务器。
技术介绍
随着互联网技术的发展,数据的存储方法也变得多样化。在当今大数据时代,为了防止数据存储发生瓶颈,出现了一种分布式存储系统,即将数据分散存储在多个独立的设备上。对于分布式存储系统中的每个节点而言,数据写入时需要写入到HDD(HardDiskDrive,硬盘驱动器)中进行持久化存储,但是HDD的写入效率较低,因此若客户端需要一次性写入大量数据,则需要花费较长时间才能写入成功,从而导致响应客户端的效率较低。为了加快数据写入效率,在接收到客户端发送的写入请求后,先将数据以操作日志的形式写入到写入效率较高的SSD(SolidStateDisk,固态硬盘)中,当数据的写入到达一定数据量阈值或者时间阈值时,根据操作日志将SSD中的数据迁移到HDD中,以使数据得到持久化存储。对于整个分布式存储系统而言,由于每个节点的使用频度可能不均衡,所以每个节点的负载(主要指数据的存储)可能不均衡,从而导致分布式存储系统整体的读写性能降低。为了提高分布式存储系统整体的读写性能,可以将负载量较大的节点中的数据迁移到负载量较小的节点中,并且在进行数据迁移时,以对象为单位进行迁移。然而,专利技术人在实现上述方案的过程中发现,在将数据从SSD迁移至HDD的过程中,也会有新的数据写入SSD当中。由此HDD中会源源不断地写入数据,并且当HDD中数据量到达一定阈值时,需要将HDD中的部分数据迁移至其他节点(以对象为单位进行迁移),以使分布式存储系统得到均衡存储。然而,这些被迁移数据所在 ...
【技术保护点】
一种数据写入的方法,其特征在于,所述方法包括:在接收到写入请求后,根据所述写入请求确定待写入的目标对象;将第一存储空间中的目标对象进行锁定,以指示所述第一存储空间中目标对象的数据不允许被迁移;基于所述写入请求,将所述目标对象对应的待写入数据写入第二存储空间,其中,所述第二存储空间的读写速度快于所述第一存储空间;根据预设规则,将所述第二存储空间中已写入的所述目标对象对应的待写入数据写入所述第一存储空间。
【技术特征摘要】
1.一种数据写入的方法,其特征在于,所述方法包括:在接收到写入请求后,根据所述写入请求确定待写入的目标对象;将第一存储空间中的目标对象进行锁定,以指示所述第一存储空间中目标对象的数据不允许被迁移;基于所述写入请求,将所述目标对象对应的待写入数据写入第二存储空间,其中,所述第二存储空间的读写速度快于所述第一存储空间;根据预设规则,将所述第二存储空间中已写入的所述目标对象对应的待写入数据写入所述第一存储空间。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:在将所述目标对象对应的待写入数据全部写入所述第一存储空间后,将所述第一存储空间中的目标对象解除锁定,以指示所述第一存储空间中目标对象的数据允许被迁移。3.根据权利要求2所述的方法,其特征在于,在将所述第一存储空间中的目标对象解除锁定之前,所述方法还包括:判断所述目标对象是否为预测写入对象,所述预测写入对象为根据预设时间段内的写入情况预测的下次写入操作涉及的对象;所述将所述第一存储空间中的目标对象解除锁定包括:若所述目标对象不是所述预设写入对象,则将所述第一存储空间中的目标对象解除锁定。4.根据权利要求3所述的方法,其特征在于,所述预测写入对象包括在预设时间段内写入热度满足预设要求的对象和/或首次完成写入操作的对象。5.根据权利要求1所述的方法,其特征在于,在将第一存储空间中的目标对象进行锁定之后,所述方法还包括:根据预设锁定条件确定除所述目标对象之外的对象;将所述第一存储空间中确定的对象进行锁定,以便在所述确定的对象不满足所述预设锁定条件时,将所述第一存储空间中所述确定的对象解除锁定。6.根据权利要求5所述的方法,其特征在于,所述根据预设锁定条件确定除所述目标对象之外的对象包括:确定在预设时间段内写入热度满足预设要求且不是所述目标对象的对象;和/或,确定距离进入写入周期小于或等于...
【专利技术属性】
技术研发人员:余涛,
申请(专利权)人:北京联想超融合科技有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。