The present invention provides a data processing method and apparatus, which include: when a write operation for a data block is detected, the data block is mapped to the object to be mapped; and when the amount of data in the object reaches a preset capacity, the object is stored and processed. The embodiment of the invention can merge small data block I/O into large data block I/O and reduce resource consumption.
【技术实现步骤摘要】
一种数据处理方法及装置
本专利技术涉及通信
,尤其涉及一种数据处理方法及装置。
技术介绍
Ceph(分布式存储系统)是一种性能优异、高可靠性和高扩展性分布式存储系统,广泛应用于各类大中小型存储环境。Ceph的数据处理流程如下:1、用户需要存储或访问的data(数据)通过librbd(LibraryRADOS(Reliable,Autonomous,DistributedObjectStore,可靠、自治、分布式对象存储)BlockDevice,RADOS块存储接口库)映射为Ceph能够处理的object(对象);2、在data被映射为一个或多个object之后,就需要将每个object独立地映射到一个PG(PlacementGroup,归置组)中;3、将作为object的逻辑组织单元的PG映射到数据的实际存储单元OSD。其中,Ceph利用CRUSH的算法,根据PGID(标识)得到一组OSD,并将该PG中各object均分别保存到该组OSD中。由于该组OSD中的各OSD可能位于不同的主机节点,因此,需要通过网络将数据传输至相应的OSD上。然而实践发现,当需要处理的data为地址随机,并且大小为4k的数据块时,每发起一次写操作请求都会对应一次I/O(Input/output,输入/输出)处理流程,此过程中会涉及到地址计算、网络传输、数据落盘等。当存在大量此类data需要进行处理,并且每个data对应不同的object,则会触发大量的I/O处理流程,进而消耗大量的CPU(CenterProcessUnit,中央处理单元)资源。
技术实现思路
本专利技术提供一种 ...
【技术保护点】
1.一种数据处理方法,应用于分布式对象存储系统的存储节点,其特征在于,所述方法包括:当检测到针对数据块的写入操作时,将所述数据块映射至待映射的对象object;其中,所述待映射的object为所分配的用于进行数据块映射,且未进行存储处理的object;所述object的大小大于所述数据块的大小,且为所述数据块大小的整数倍;当所述object中的数据量达到预设容量时,对所述object进行存储处理。
【技术特征摘要】
1.一种数据处理方法,应用于分布式对象存储系统的存储节点,其特征在于,所述方法包括:当检测到针对数据块的写入操作时,将所述数据块映射至待映射的对象object;其中,所述待映射的object为所分配的用于进行数据块映射,且未进行存储处理的object;所述object的大小大于所述数据块的大小,且为所述数据块大小的整数倍;当所述object中的数据量达到预设容量时,对所述object进行存储处理。2.根据权利要求1所述的方法,其特征在于,所述将所述数据块映射至待映射的对象object之后,还包括:当所述object中的数据量未达到所述预设容量,但当前时间与所述object中第一次映射数据块的时间之间的差值达到预设时长时,对所述object进行存储处理。3.根据权利要求1所述的方法,其特征在于,所述将所述数据块映射至待映射的object之后,还包括:根据所述数据块的写入地址确定所述数据块在预先设置的虚拟对象Vobject中对应的叶子节点的标识;其中,所述数据块的大小为所述叶子节点的大小的整数倍;将所述叶子节点的标识与所述object的标识以及所述数据块在所述object中的地址偏移量的对应关系记录至所述叶子节点在其对应的Vobject中的上一层节点;其中,所述上一层节点为树枝节点或根节点,树枝节点的标识与树枝节点所属object的标识以及树枝节点在其所属object中的地址偏移量记录在上一层树枝节点或根节点中,根节点的数据映射至该根节点所属Vobject对应的目标object中,所述目标object用于映射根节点的数据。4.根据权利要求3所述的方法,其特征在于,所述将所述叶子节点的标识与所述object的标识以及所述数据块在所述object中的地址偏移量的对应关系记录至所述叶子节点在其对应的Vobject中的上一层节点,包括:采用异址更新追加写的策略,将所述叶子节点的标识与所述object的标识以及所述数据块在所述object中的地址偏移量的对应关系记录至所述叶子节点在其对应的Vobject中的上一层节点。5.根据权利要求3所述的方法,其特征在于,Vobiect为根节点、树枝节点以及叶子节点的三层树形结构;所述方法还包括:当检测到针对数据的读取操作时,根据所述数据的读取地址确定所述数据对应目标Vobject中的目标叶子节点的标识;根据所述目标叶子节点的标识确定对应的目标树枝节点的标识;根据所述目标树枝节点的标识,从所述目标Vobject对应的目标object中获取所述目标树枝节点的地址信息;所述目标树枝节点的地址信息包括所述目标树枝节点所属object的标识以及所述目标树枝节点在其所属object中的地址偏移量;根据所述目标树枝节点的地址信息,从所述目标树枝节点所属object中获取所述目标叶子节点的地址信息;所述目标叶子节点的地址信息包括所述目标叶子节点所属的object的标识以及所述目标叶子节点在其所属object中的地址偏移量;根据所述目标叶子节点的地址信息,从已存储的所述目标叶子节点所属object中读取所...
【专利技术属性】
技术研发人员:张世龙,陈钊,王成林,
申请(专利权)人:新华三技术有限公司,
类型:发明
国别省市:浙江,33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。