数据写入的方法、装置及服务器制造方法及图纸

本发明专利技术公开一种数据写入的方法、装置及服务器，涉及数据处理技术领域，能够解决现有技术中因待写入对象在进行写入操作之前，其中的数据就被迁移至其他节点，从而导致在对该对象进行写入操作后，该对象中数据不完整的问题。本发明专利技术的方法主要包括：在接收到写入请求后，根据写入请求确定待写入的目标对象；将第一存储空间中的目标对象进行锁定，以指示第一存储空间中目标对象的数据不允许被迁移；基于写入请求，将目标对象对应的待写入数据写入第二存储空间，第二存储空间的读写速度快于第一存储空间；根据预设规则，将第二存储空间中已写入的目标对象对应的待写入数据写入第一存储空间。本发明专利技术主要适用于基于分布式存储系统存储数据的场景中。

Data writing methods, devices, and servers

The invention discloses a method, device and data to the server, which relates to the technical field of data processing, can solve the object to be written before the write operation because of the existing technology, the data will be migrated to other nodes, resulting in the write operation on the object, the problem of incomplete data object in. The method of the invention includes: after receiving a write request, according to the written requests to determine the target object to be written; the first storage space in the target lock, to indicate the target data in the first storage space is not allowed to transfer; write requests based on the target object corresponding to the writing data to be written to second storage space, second memory read and write speed in a first storage space; according to predetermined rules, the corresponding has been written into the second storage space of the target object in writing data to be written to the first storage space. The invention is mainly applicable to the scene of storing data based on the distributed storage system.

【技术实现步骤摘要】
数据写入的方法、装置及服务器
本专利技术涉及数据处理
，特别是涉及一种数据写入的方法、装置及服务器。
技术介绍
随着互联网技术的发展，数据的存储方法也变得多样化。在当今大数据时代，为了防止数据存储发生瓶颈，出现了一种分布式存储系统，即将数据分散存储在多个独立的设备上。对于分布式存储系统中的每个节点而言，数据写入时需要写入到HDD(HardDiskDrive，硬盘驱动器)中进行持久化存储，但是HDD的写入效率较低，因此若客户端需要一次性写入大量数据，则需要花费较长时间才能写入成功，从而导致响应客户端的效率较低。为了加快数据写入效率，在接收到客户端发送的写入请求后，先将数据以操作日志的形式写入到写入效率较高的SSD(SolidStateDisk，固态硬盘)中，当数据的写入到达一定数据量阈值或者时间阈值时，根据操作日志将SSD中的数据迁移到HDD中，以使数据得到持久化存储。对于整个分布式存储系统而言，由于每个节点的使用频度可能不均衡，所以每个节点的负载(主要指数据的存储)可能不均衡，从而导致分布式存储系统整体的读写性能降低。为了提高分布式存储系统整体的读写性能，可以将负载量较大的节点中的数据迁移到负载量较小的节点中，并且在进行数据迁移时，以对象为单位进行迁移。然而，专利技术人在实现上述方案的过程中发现，在将数据从SSD迁移至HDD的过程中，也会有新的数据写入SSD当中。由此HDD中会源源不断地写入数据，并且当HDD中数据量到达一定阈值时，需要将HDD中的部分数据迁移至其他节点(以对象为单位进行迁移)，以使分布式存储系统得到均衡存储。然而，这些被迁移数据所在的对象，很可能是正处于待写入状态的对象，即在将待写入数据写入HDD的对应对象之前，该对象中的数据已被迁移至其他节点，从而导致将待写入数据写入HDD中的对应对象时，该对象中已没有数据，进而导致该对象中的数据不完整，并且该其他节点的对象中也因没有该待写入数据而导致对象的数据不完整。
技术实现思路
有鉴于此，本专利技术提供一种数据写入的方法、装置及服务器，能够解决现有技术中因待写入对象在进行写入操作之前，其中的数据就被迁移至其他节点，从而导致在对该对象进行写入操作后，该对象中数据不完整的问题。第一方面，本专利技术提供了一种数据写入的方法，所述方法包括：在接收到写入请求后，根据所述写入请求确定待写入的目标对象；将第一存储空间中的目标对象进行锁定，以指示所述第一存储空间中目标对象的数据不允许被迁移；基于所述写入请求，将所述目标对象对应的待写入数据写入第二存储空间，其中，所述第二存储空间的读写速度快于所述第一存储空间；根据预设规则，将所述第二存储空间中已写入的所述目标对象对应的待写入数据写入所述第一存储空间。第二方面，本专利技术提供了一种数据写入的装置，所述装置包括：确定单元，用于在接收到写入请求后，根据所述写入请求确定待写入的目标对象；锁定单元，用于将第一存储空间中的目标对象进行锁定，以指示所述第一存储空间中目标对象的数据不允许被迁移；写入单元，用于基于所述写入请求，将所述目标对象对应的待写入数据写入第二存储空间，其中，所述第二存储空间的读写速度快于所述第一存储空间；所述写入单元还用于根据预设规则，将所述第二存储空间中已写入的所述目标对象对应的待写入数据写入所述第一存储空间。第三方面，本专利技术提供了一种服务器，所述服务器为分布式存储系统中的一个节点；其中，所述服务器包括存储介质和处理器；所述处理器，适于实现各指令；所述存储介质，适于存储多条指令；所述指令适于由所述处理器加载并执行如第一方面所述的数据写入的方法。借由上述技术方案，本专利技术提供的数据写入的方法、装置及服务器，能够在接收到写入请求后，立即将第一存储空间(例如HDD)中待写入的目标对象进行锁定，然后再将待写入数据写入读写速度更快的第二存储空间(例如SSD)，以便后续根据预设规则，将第二存储空间中已写入的目标对象对应的待写入数据写入所述第一存储空间，从而避免出现在将待写入数据写入第一存储空间的目标对象之前，其中的数据就被迁移至其他节点，导致当前节点中的目标对象和其他节点中的目标对象都发生数据不完整的现象。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提供的一种数据写入的方法的流程图；图2示出了现有技术提供的一种数据写入示例图；图3示出了本专利技术实施例提供的一种数据写入示例图；图4示出了本专利技术实施例提供的另一种数据写入的方法的流程图；图5示出了本专利技术实施例提供的一种数据写入的装置的组成框图；图6示出了本专利技术实施例提供的另一种数据写入的装置的组成框图。具体实施方式下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。本专利技术实施例提供了一种数据写入的方法，所述方法可以应用于传统的分布式存储系统中，也可以应用于超融合存储系统中，如图1所示，所述方法主要包括：101、在接收到写入请求后，根据所述写入请求确定待写入的目标对象。在客户端向服务器发送写入请求时，会标明待写入的数据内容以及待写入的地址。由于目前的分布式存储系统中主要以对象为基本单位进行存储，所以写入请求中会携带有待写入目标对象的对象标识、待写入数据的起始位置在目标对象中的偏移量以及待写入数据本身。在当前节点接收到客户端发送的写入请求后，能够通过对写入请求进行解析，从中获取待写入目标对象的对象标识，由此确定待写入的目标对象。102、将第一存储空间中的目标对象进行锁定，以指示所述第一存储空间中目标对象的数据不允许被迁移。当通过解析写入请求获知需要进行写入操作的目标对象后，可以立即将第一存储空间中的目标对象进行锁定，以便在将待写入数据写入第一存储空间的目标对象中之前，若当前节点的第一存储空间达到阈值，需要进行数据迁移，则当前节点只会对未锁定的对象中的数据进行迁移，而不会对被锁定的目标对象中的数据进行迁移。其中，将第一存储空间中的目标对象进行锁定的具体实现方式包括但不限于以下方法：为所述第一存储空间中的目标对象添加一条锁记录，所述锁记录用于指示所述第一存储空间中目标对象的数据不允许被迁移；需要补充的是，第一存储空间为用于持久化存储的存储空间，主要包括HDD。103、基于所述写入请求，将所述目标对象对应的待写入数据写入第二存储空间。其中，第二存储空间的读写速度快于第一存储空间，第二存储空间具有闪存功能，主要包括SSD。在获得写入请求后，为了将待写入数据进行快速写入，可以先将待写入数据写入读写速度较快的第二存储空间中，然后再将写入第二存储空间中的数据迁移至第一存储空间中进行持久化存储。为了更快地将待本文档来自技高网...

【技术保护点】
一种数据写入的方法，其特征在于，所述方法包括：在接收到写入请求后，根据所述写入请求确定待写入的目标对象；将第一存储空间中的目标对象进行锁定，以指示所述第一存储空间中目标对象的数据不允许被迁移；基于所述写入请求，将所述目标对象对应的待写入数据写入第二存储空间，其中，所述第二存储空间的读写速度快于所述第一存储空间；根据预设规则，将所述第二存储空间中已写入的所述目标对象对应的待写入数据写入所述第一存储空间。

【技术特征摘要】
1.一种数据写入的方法，其特征在于，所述方法包括：在接收到写入请求后，根据所述写入请求确定待写入的目标对象；将第一存储空间中的目标对象进行锁定，以指示所述第一存储空间中目标对象的数据不允许被迁移；基于所述写入请求，将所述目标对象对应的待写入数据写入第二存储空间，其中，所述第二存储空间的读写速度快于所述第一存储空间；根据预设规则，将所述第二存储空间中已写入的所述目标对象对应的待写入数据写入所述第一存储空间。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在将所述目标对象对应的待写入数据全部写入所述第一存储空间后，将所述第一存储空间中的目标对象解除锁定，以指示所述第一存储空间中目标对象的数据允许被迁移。3.根据权利要求2所述的方法，其特征在于，在将所述第一存储空间中的目标对象解除锁定之前，所述方法还包括：判断所述目标对象是否为预测写入对象，所述预测写入对象为根据预设时间段内的写入情况预测的下次写入操作涉及的对象；所述将所述第一存储空间中的目标对象解除锁定包括：若所述目标对象不是所述预设写入对象，则将所述第一存储空间中的目标对象解除锁定。4.根据权利要求3所述的方法，其特征在于，所述预测写入对象包括在预设时间段内写入热度满足预设要求的对象和/或首次完成写入操作的对象。5.根据权利要求1所述的方法，其特征在于，在将第一存储空间中的目标对象进行锁定之后，所述方法还包括：根据预设锁定条件确定除所述目标对象之外的对象；将所述第一存储空间中确定的对象进行锁定，以便在所述确定的对象不满足所述预设锁定条件时，将所述第一存储空间中所述确定的对象解除锁定。6.根据权利要求5所述的方法，其特征在于，所述根据预设锁定条件确定除所述目标对象之外的对象包括：确定在预设时间段内写入热度满足预设要求且不是所述目标对象的对象；和/或，确定距离进入写入周期小于或等于...

【专利技术属性】
技术研发人员：余涛，
申请(专利权)人：北京联想超融合科技有限公司，
类型：发明
国别省市：北京,11