数据处理方法、装置及服务器制造方法及图纸

技术编号:18425872 阅读:32 留言:0更新日期:2018-07-12 01:53
本申请实施例提出一种数据处理方法、装置及服务器,涉及对象存储技术领域。该方法由重复数据删除引擎接收客户端发送的对象数据,并对接收的对象数据进行重复数据删除处理从而判断所述接收的对象数据是否在所述对象存储设备集群中为重复数据,当所述接收的对象数据为不重复数据时,按照第一预设规则将所述接收的对象数据发送到所述对象存储设备集群中对应的对象存储设备,当对象数据为重复数据时,则重复数据删除引擎不将其写入,从而保证内容相同的对象数据在对象存储设备集群中只会被写入一次,实现了全局重复数据删除处理,有效降低了对象存储系统的存储空间使用量。

Data processing methods, devices and servers

The application embodiment provides a data processing method, device and server, and relates to the field of object storage technology. The method receives the object data sent by the client by the repeated data deleting engine and repeats the data to delete the received object data to determine whether the received object data is repeated data in the object storage device cluster, and when the received object data is not repeated data, it is according to the first. The preset rule sends the received object data to the object storage device in the object storage device cluster. When the object data is repeated, the duplicate data deleting engine does not write it, thus ensuring that the object data with the same content will only be written once in the object storage device cluster. Global data duplication processing can effectively reduce the storage space usage of object storage system.

【技术实现步骤摘要】
数据处理方法、装置及服务器
本申请涉及对象存储
,具体而言,涉及一种数据处理方法、装置及服务器。
技术介绍
现有的对象存储系统在进行数据处理的过程中,客户端将对象数据的请求直接发送对象存储设备(Object-basedStorageDevice,OSD)集群中的某一个对象存储设备,由该对象存储设备直接管理存储介质空间,如硬盘的逻辑块(LBA)空间,实现对象数据的存取。如果一个对象存储设备中存放很多的重复数据,比如不同的用户在云盘中存放内容相同的文档、图片、视频等,会对存储空间造成极大的浪费,故需要对重复数据进行删除。现有的解决方案是对象存储设备在接收到客户端发送的对象数据后,由对象存储设备对接收的对象数据进行重复数据删除处理,使得整个对象存储设备集群存入很多重复数据,造成了存储空间的浪费。
技术实现思路
本申请实施例的目的在于提供一种数据处理方法、装置及服务器,以提升对象存储系统中存储空间利用率。为了实现上述目的,本申请实施例采用的技术方案如下:第一方面,本申请实施例提出一种数据处理方法,应用于对象存储系统中的重复数据删除引擎,所述对象存储系统中包括安装有所述重复数据删除引擎的服务器以及由至少一个对象存储设备组成的对象存储设备集群,所述重复数据删除引擎和所述至少一个对象存储设备通信连接。该数据处理方法包括:接收客户端发送的对象数据;对接收的对象数据进行重复数据删除处理从而判断所述接收的对象数据是否在所述对象存储设备集群中为重复数据;当所述接收的对象数据为不重复数据时,按照第一预设规则将所述接收的对象数据发送到所述对象存储设备集群中对应的对象存储设备。第二方面,本申请实施例还提出一种数据处理装置,应用于对象存储系统,所述对象存储系统中包括安装有重复数据删除引擎的服务器以及由至少一个对象存储设备组成的对象存储设备集群,所述重复数据删除引擎和所述至少一个对象存储设备通信连接。所述数据处理装置包括所述重复数据删除引擎。所述重复数据删除引擎包括接收模块、数据写入处理模块及发送模块,该接收模块用于接收客户端发送的对象数据,该数据写入处理模块用于对接收的对象数据进行重复数据删除处理从而判断所述接收的对象数据是否在所述对象存储设备集群中为重复数据,该发送模块用于当所述接收的对象数据为不重复数据时,按照第一预设规则将所述接收的对象数据发送到所述对象存储设备集群中对应的对象存储设备。第三方面,本申请实施例还提出一种服务器,该服务器应用于对象存储系统,所述对象存储系统包括由至少一个对象存储设备组成的对象存储设备集群,所述服务器包括:存储器,用于存储一个或多个程序;处理器;当所述一个或多个程序被所述处理器执行时,实现如上所述的方法。相对现有技术,在本申请实施例中,由于对象存储系统包括了安装有重复数据删除引擎的服务器以及由至少一个对象存储设备组成的对象存储设备集群,当存储对象数据时,客户端不是将对象数据直接发送到对象存储设备,而是先发送给重复数据删除引擎,由重复数据删除引擎对所述接收的对象数据进行重复数据删除处理后,再存放到对应的对象存储设备中,实现了全局重复数据删除处理的技术效果,有效降低了对象存储系统的存储空间使用量。为使本申请的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。附图说明为了更清楚地说明本申请实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本申请的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获取其他相关的附图。图1示出了本申请实施例所提供的对象存储系统的组成示意图。图2示出了本申请实施例所提供的服务器的功能模块示意图。图3示出了本申请实施例所提供的重复数据删除引擎所维护的第一对应关系和第二对应关系的示意图。图4示出了本申请实施例所提供的重复数据删除引擎为多个的情况下的示意图。图5示出了本申请实施例所提供的数据处理方法的流程示意图。图6示出了对象数据的粒度较大时重复数据删除引擎维护的第二对应关系的示意图。图7示出了本申请另一实施例所提供的数据处理方法的流程示意图。图8示出了不重复数据写入的流程示意图。图9示出了重复数据写入的流程示意图。图10示出了冲突数据写入的流程示意图。图11示出了本申请另一实施例所提供的数据处理方法的流程示意图。图12示出了更新对象数据的流程示意图。图13示出了本申请另一实施例所提供的数据处理方法的流程示意图。图14示出了获取对象数据的流程示意图。图15示出了本申请另一实施例所提供的数据处理装置的功能模块图。图标:10-对象存储系统;100-服务器;200-对象存储设备集群;300-客户端;400-数据处理装置;110-存储器;120-处理器;130-通信接口;410-接收模块;420-数据写入处理模块;430-发送模块;440-对应关系维护模块;450-数据读取处理模块。具体实施方式在实现本申请实施例的技术方案的过程中,本申请专利技术人发现:现有的重复数据删除处理是在每个对象存储设备上进行处理,客户端写数据时,将对象数据直接发送到对象存储设备,对象存储设备通过记录的对象数据与指纹、指纹与逻辑块地址的映射关系实现重复数据删除处理。例如,对于内容相同的对象数据(比如对象数据a和对象数据d)只存放一份数据到逻辑块地址LBA1这个位置。基于上述研究,专利技术人经过多方调研发现,现有技术中的重复数据删除处理并不是全局重删,对于整个对象存储设备集群而言仍存在重复数据,原因在于:内容相同的多个对象数据,可能被发送到多个不同的对象存储设备中经重复数据删除处理后再进行存放,而现有技术中对象存储设备是对本对象存储设备接收的对象数据进行重复数据删除处理,故只能保证一个对象存储设备中没有内容相同的对象数据,但两个甚至多个对象存储设备之间还可能存在内容相同的对象数据,导致无法实现全局重删。以上现有技术中的方案所存在的缺陷,均是专利技术人在经过实践并仔细研究后得出的结果,因此,上述问题的发现过程以及下文中本申请实施例针对上述问题所提出的解决方案,都应该是专利技术人在本专利技术过程中对本专利技术做出的贡献。下面将结合本申请实施例中附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请的实施例,本领域技术人员在没有做出创造性劳动的前提下所获取的所有其他实施例,都属于本申请保护的范围。应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。请参照图1,为本申请实施例所提供的对象存储系统10的组成示意图。如图1所示,对象存储系统10包括服务器100、由至少一个对象存储设备(如图1所示的OSD.1、OSD.2、OSD.3、…、OSD.xx)本文档来自技高网...

【技术保护点】
1.一种数据处理方法,其特征在于,应用于对象存储系统中的重复数据删除引擎,所述对象存储系统中包括安装有所述重复数据删除引擎的服务器以及由至少一个对象存储设备组成的对象存储设备集群,所述重复数据删除引擎和所述至少一个对象存储设备通信连接,所述方法包括:接收客户端发送的对象数据;对接收的对象数据进行重复数据删除处理从而判断所述接收的对象数据是否在所述对象存储设备集群中为重复数据;当所述接收的对象数据为不重复数据时,按照第一预设规则将所述接收的对象数据发送到所述对象存储设备集群中对应的对象存储设备。

【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于对象存储系统中的重复数据删除引擎,所述对象存储系统中包括安装有所述重复数据删除引擎的服务器以及由至少一个对象存储设备组成的对象存储设备集群,所述重复数据删除引擎和所述至少一个对象存储设备通信连接,所述方法包括:接收客户端发送的对象数据;对接收的对象数据进行重复数据删除处理从而判断所述接收的对象数据是否在所述对象存储设备集群中为重复数据;当所述接收的对象数据为不重复数据时,按照第一预设规则将所述接收的对象数据发送到所述对象存储设备集群中对应的对象存储设备。2.如权利要求1所述的数据处理方法,其特征在于,所述重复数据删除引擎中维护有第一对应关系,所述第一对应关系包括所述重复数据删除引擎维护的对象数据的唯一标识信息与对象数据存入到对象存储设备中的数据名称的对应关系,所述方法还包括:当所述接收的对象数据为不重复数据时,将所述接收的对象数据的唯一标识信息和所述接收的对象数据存入到对应的对象存储设备中的数据名称的对应关系插入到所述第一对应关系中。3.如权利要求2所述的数据处理方法,其特征在于,当所述重复数据删除引擎为至少两个时,每个所述重复数据删除引擎维护基于自己完成重复数据删除处理的对象数据所建立的第一对应关系;所述对接收的对象数据进行重复数据删除处理,包括:第一重复数据删除引擎接收到所述客户端发送的对象数据时,通过第二预设规则确定执行重复数据删除处理操作的第二重复数据删除引擎,将所述接收的对象数据发送至所述第二重复数据删除引擎;所述第二重复数据删除引擎基于所述第二重复数据删除引擎维护的第一对应关系对所述接收的对象数据进行重复数据删除处理。4.如权利要求3所述的数据处理方法,其特征在于,所述当所述接收的对象数据为不重复数据时,将所述接收的对象数据的唯一标识信息和所述接收的对象数据存入到对应的对象存储设备中的数据名称的对应关系插入到所述第一对应关系中,包括:当所述接收的对象数据为不重复数据时,所述第二重复数据删除引擎将所述接收的对象数据的唯一标识信息和所述接收的对象数据存入到所述对应的对象存储设备中的数据名称的对应关系插入到所述第二重复数据删除引擎维护的第一对应关系中。5.如权利要求2所述的数据处理方法,其特征在于,所述重复数据删除引擎中维护有第二对应关系,所述第二对应关系包括所述重复数据删除引擎维护的接收客户端发送的对象数据的名称与对象数据的唯一标识信息的对应关系,所述方法还包括:若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第二对应关系中没有记录,则将所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系插入到所述第二对应关系中。6.如权利要求5所述的数据处理方法,其特征在于,所述方法还包括:若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第二对应关系中已有记录,重新计算所述接收的对象数据的唯一标识信息,在所述第二对应关系中将所述接收的对象数据的名称对应的所述接收的对象数据的唯一标识信息更新为重新计算得到的所述接收的对象数据的唯一标识信息。7.如权利要求5所述的数据处理方法,其特征在于,所述第一对应关系还包括对象数据的唯一标识信息对应的引用计数,所述引用计数用于在每判断一次对象数据为重复数据时对所述对象数据的唯一标识信息对应地增加一次计数,所述方法还包括:若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第二对应关系中已有记录,在所述第一对应关系中,将所述已有记录中所述接收的对象数据的唯一标识信息对应的引用计数减少一次;当所述已有记录中所述接收的对象数据的唯一标识信息对应的引用计数为0时,向存储有所述接收的对象数据的唯一标识信息对应对象数据的对象存储设备发送删除所述对应对象数据的指令。8.如权利要求7所述的数据处理方法,其特征在于,当所述重复数据删除引擎为至少两个时,每个所述重复数据删除引擎维护基于自己完成重复数据删除处理的对象数据所建立的第一对应关系,以及维护基于自己接收到由客户端发送的对象数据所建立的第二对应关系;所述若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第二对应关系中已有记录,在所述第一对应关系中,将所述已有记录中所述接收的对象数据的唯一标识信息对应的引用计数减少一次,包括:第三重复数据删除引擎接收所述客户端按照第三预设规则发送的所述对象数据,若所述接收的对象数据的名称与所述接收的对象数据的唯一标识信息的对应关系在所述第三重复数据删除引擎维护的第二对应关系中已有记录,按照所述已有记录中所述接收的对象数据的唯一标识信息确定第四重复删除引擎;在所述第四重复删除引擎维护的第一对应关系中,将所述已有记录中所述接收的对象数据的唯一标识信息对应的引用计数减少一次。9.如权利要求5所述的数据处理方法,其特征在于,所述方法还包括:当接收到所述客户端发送的目标对象数据的读请求时,根据所述目标对象数据的名称查询所述第二对应关系;当在所述第二对应关系中查询到所述目标对象数据的唯一标识信息时,则根据所述第一对应关系,查询所述目标对象数据的唯一标识信息对应的所述目标对象数据存入到对象存储设备中的数据名称;根据所述目标对象数据存入到对象存储设备中的数据名称读取所述目标对象数据并将所述目标对象数据反馈给所述客户端。10.如权利要求9所述的数据处理方法,其特征在于,当所述重复数据删除引擎为至少两个时,每个所述重复数据删除引擎维护基于自己完成重复数据删除处理的对象数据所建立的第一对应关系,以及维护基于自己接收到由客户端发送的对象数据所建立的第二对应关系;所述当接收到所述客户端发送的目标对象数据的读请求时,根据所述目标对象数据的名称查询所述第二对应关系,包括:第五重复数据删除引擎在接收到所述目标对象数据的读请求时,查询所述第五重复...

【专利技术属性】
技术研发人员:陈钊冯宇
申请(专利权)人:新华三技术有限公司
类型:发明
国别省市:浙江,33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1