The application embodiment provides a data processing method, device and server, and relates to the field of object storage technology. The method receives the object data sent by the client by the repeated data deleting engine and repeats the data to delete the received object data to determine whether the received object data is repeated data in the object storage device cluster, and when the received object data is not repeated data, it is according to the first. The preset rule sends the received object data to the object storage device in the object storage device cluster. When the object data is repeated, the duplicate data deleting engine does not write it, thus ensuring that the object data with the same content will only be written once in the object storage device cluster. Global data duplication processing can effectively reduce the storage space usage of object storage system.
【技术实现步骤摘要】
数据处理方法、装置及服务器
本申请涉及对象存储
,具体而言,涉及一种数据处理方法、装置及服务器。
技术介绍
现有的对象存储系统在进行数据处理的过程中,客户端将对象数据的请求直接发送对象存储设备(Object-basedStorageDevice,OSD)集群中的某一个对象存储设备,由该对象存储设备直接管理存储介质空间,如硬盘的逻辑块(LBA)空间,实现对象数据的存取。如果一个对象存储设备中存放很多的重复数据,比如不同的用户在云盘中存放内容相同的文档、图片、视频等,会对存储空间造成极大的浪费,故需要对重复数据进行删除。现有的解决方案是对象存储设备在接收到客户端发送的对象数据后,由对象存储设备对接收的对象数据进行重复数据删除处理,使得整个对象存储设备集群存入很多重复数据,造成了存储空间的浪费。
技术实现思路
本申请实施例的目的在于提供一种数据处理方法、装置及服务器,以提升对象存储系统中存储空间利用率。为了实现上述目的,本申请实施例采用的技术方案如下:第一方面,本申请实施例提出一种数据处理方法,应用于对象存储系统中的重复数据删除引擎,所述对象存储系统中包括安装有所述重复数据删除引擎的服务器以及由至少一个对象存储设备组成的对象存储设备集群,所述重复数据删除引擎和所述至少一个对象存储设备通信连接。该数据处理方法包括:接收客户端发送的对象数据;对接收的对象数据进行重复数据删除处理从而判断所述接收的对象数据是否在所述对象存储设备集群中为重复数据;当所述接收的对象数据为不重复数据时,按照第一预设规则将所述接收的对象数据发送到所述对象存储设备集群中对应的对象存储设备。第二 ...
【技术保护点】
1.一种数据处理方法,其特征在于,应用于对象存储系统中的重复数据删除引擎,所述对象存储系统中包括安装有所述重复数据删除引擎的服务器以及由至少一个对象存储设备组成的对象存储设备集群,所述重复数据删除引擎和所述至少一个对象存储设备通信连接,所述方法包括:接收客户端发送的对象数据;对接收的对象数据进行重复数据删除处理从而判断所述接收的对象数据是否在所述对象存储设备集群中为重复数据;当所述接收的对象数据为不重复数据时,按照第一预设规则将所述接收的对象数据发送到所述对象存储设备集群中对应的对象存储设备。
【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于对象存储系统中的重复数据删除引擎,所述对象存储系统中包括安装有所述重复数据删除引擎的服务器以及由至少一个对象存储设备组成的对象存储设备集群,所述重复数据删除引擎和所述至少一个对象存储设备通信连接,所述方法包括:接收客户端发送的对象数据;对接收的对象数据进行重复数据删除处理从而判断所述接收的对象数据是否在所述对象存储设备集群中为重复数据;当所述接收的对象数据为不重复数据时,按照第一预设规则将所述接收的对象数据发送到所述对象存储设备集群中对应的对象存储设备。2.如权利要求1所述的数据处理方法,其特征在于,所述重复数据删除引擎中维护有第一对应关系,所述第一对应关系包括所述重复数据删除引擎维护的对象数据的唯一标识信息与对象数据存入到对象存储设备中的数据名称的对应关系,所述方法还包括:当所述接收的对象数据为不重复数据时,将所述接收的对象数据的唯一标识信息和所述接收的对象数据存入到对应的对象存储设备中的数据名称的对应关系插入到所述第一对应关系中。3.如权利要求2所述的数据处理方法,其特征在于,当所述重复数据删除引擎为至少两个时,每个所述重复数据删除引擎维护基于自己完成重复数据删除处理的对象数据所建立的第一对应关系;所述对接收的对象数据进行重复数据删除处理,包括:第一重复数据删除引擎接收到所述客户端发送的对象数据时,通过第二预设规则确定执行重复数据删除处理操作的第二重复数据删除引擎,将所述接收的对象数据发送至所述第二重复数据删除引擎;所述第二重复数据删除引擎基于所述第二重复数据删除引擎维护的第一对应关系对所述接收的对象数据进行重复数据删除处理。4.如权利要求3所述的数据处理方法,其特征在于,所述当所述接收的对象数据为不重复数据时,将所述接收的对象数据的唯一标识信息和所述接收的对象数据存入到对应的对象存储设备中的数据名称的对应关系插入到所述第一对应关系中,包括:当所述接收的对象数据为不重复数据时,所述第二重复数据删除引擎将所述接收的对象数据的唯一标识信息和所述接收的对象数据存入到所述对应的对象存储设备中的数据名称的对应关系插入到所述第二重复数据删除引擎维护的第一对应关系中。5.如权利要求2所述的数据处理方法,其特征在于,所述重复数据删除引擎中维护有第二对应关系,所述第二对应关系包括所述重复数据删除引擎维护的接收客户端发送的对象数据的名称与对象数据的唯一标识信息的对应关系,所述方法还包括:若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第二对应关系中没有记录,则将所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系插入到所述第二对应关系中。6.如权利要求5所述的数据处理方法,其特征在于,所述方法还包括:若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第二对应关系中已有记录,重新计算所述接收的对象数据的唯一标识信息,在所述第二对应关系中将所述接收的对象数据的名称对应的所述接收的对象数据的唯一标识信息更新为重新计算得到的所述接收的对象数据的唯一标识信息。7.如权利要求5所述的数据处理方法,其特征在于,所述第一对应关系还包括对象数据的唯一标识信息对应的引用计数,所述引用计数用于在每判断一次对象数据为重复数据时对所述对象数据的唯一标识信息对应地增加一次计数,所述方法还包括:若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第二对应关系中已有记录,在所述第一对应关系中,将所述已有记录中所述接收的对象数据的唯一标识信息对应的引用计数减少一次;当所述已有记录中所述接收的对象数据的唯一标识信息对应的引用计数为0时,向存储有所述接收的对象数据的唯一标识信息对应对象数据的对象存储设备发送删除所述对应对象数据的指令。8.如权利要求7所述的数据处理方法,其特征在于,当所述重复数据删除引擎为至少两个时,每个所述重复数据删除引擎维护基于自己完成重复数据删除处理的对象数据所建立的第一对应关系,以及维护基于自己接收到由客户端发送的对象数据所建立的第二对应关系;所述若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第二对应关系中已有记录,在所述第一对应关系中,将所述已有记录中所述接收的对象数据的唯一标识信息对应的引用计数减少一次,包括:第三重复数据删除引擎接收所述客户端按照第三预设规则发送的所述对象数据,若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第三重复数据删除引擎维护的第二对应关系中已有记录,按照所述已有记录中所述接收的对象数据的唯一标识信息确定第四重复删除引擎;在所述第四重复删除引擎维护的第一对应关系中,将所述已有记录中所述接收的对象数据的唯一标识信息对应的引用计数减少一次。9.如权利要求5所述的数据处理方法,其特征在于,所述方法还包括:当接收到所述客户端发送的目标对象数据的读请求时,根据所述目标对象数据的名称查询所述第二对应关系;当在所述第二对应关系中查询到所述目标对象数据的唯一标识信息时,则根据所述第一对应关系,查询所述目标对象数据的唯一标识信息对应的所述目标对象数据存入到对象存储设备中的数据名称;根据所述目标对象数据存入到对象存储设备中的数据名称读取所述目标对象数据并将所述目标对象数据反馈给所述客户端。10.如权利要求9所述的数据处理方法,其特征在于,当所述重复数据删除引擎为至少两个时,每个所述重复数据删除引擎维护基于自己完成重复数据删除处理的对象数据所建立的第一对应关系,以及维护基于自己接收到由客户端发送的对象数据所建立的第二对应关系;所述当接收到所述客户端发送的目标对象数据的读请求时,根据所述目标对象数据的名称查询所述第二对应关系,包括:第五重复数据删除引擎在接收到所述目标对象数据的读请求时,查询所述第五重复...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。