分布式存储数据处理方法和装置制造方法及图纸

本发明专利技术公开了一种分布式存储数据处理方法和装置。其中，该方法包括：在接收到来自目标客户端的数据操作请求的情况下，检测分布式存储系统中是否配置有快照模块，其中，上述数据操作请求至少包括：数据写入请求和数据读取请求；依据检测结果确定与上述数据操作请求对应的操作方式；在操作成功的情况下，返回数据操作结果至上述目标客户端。本发明专利技术解决了现有技术中分布式存储系统的数据处理方法存在快照占用的存储空间较大的技术问题。

Distributed Storage Data Processing Method and Device

【技术实现步骤摘要】
分布式存储数据处理方法和装置
本专利技术涉及数据处理领域，具体而言，涉及一种分布式存储数据处理方法和装置。
技术介绍
目前分布式存储系统CHPH实现的快照是写时拷贝COW，在打上时间点快照之后，每写入一个IO，会将对应的对象数据4M拷贝出来，写入新的对象，然后将新的数据写入对应的位置。但是，虽然目前分布式存储系统CHPH实现了快照功能，仍存在两个未解决的问题：1)每一次写IO涉及到三次IO操作(一次读原来的对象数据，一次写入新的对象，一次写入新的IO)，严重导致卷性能严重下降，根据实际测试情况，甚至可能下降一半以上；2)每次写入新的IO，需要拷贝一个4M数据的对象，存在只更新很小的数据情况下也需要占用4M的空间，导致快照占用的存储空间较大，大大浪费了存储空间，现有技术中分布式存储系统CHPH的数据处理方法存在快照占用的存储空间较大的技术问题。针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
本专利技术实施例提供了一种分布式存储数据处理方法和装置，以至少解决现有技术中分布式存储系统的数据处理方法存在快照占用的存储空间较大的技术问题。根据本专利技术实施例的一个方面，提供了一种分布式存储数据处理方法，包括：在接收到来自目标客户端的数据操作请求的情况下，检测分布式存储系统中是否配置有快照模块，其中，上述数据操作请求至少包括：数据写入请求和数据读取请求；依据检测结果确定与上述数据操作请求对应的操作方式；在操作成功的情况下，返回数据操作结果至上述目标客户端。进一步地，检测分布式存储系统中是否配置有快照模块，包括：根据目标数据分布算法和上述数据操作请求，定位上述分布式存储系统中的目标存储模块，其中，上述目标存储模块用于维护上述分布式存储系统的元数据库；检测上述目标存储模块中是否配置有上述快照模块，得到上述检测结果。进一步地，依据检测结果确定与上述数据操作请求对应的操作方式，包括：若上述检测结果为上述分布式存储系统中配置有上述快照模块，则将上述分布式存储系统中的快照对象和新建对象写入元数据库，并基于目标分配粒度将待写入数据写入上述新建对象中，其中，上述新建对象是为存储上述待写入数据新建的对象；若上述检测结果为上述分布式存储系统中未配置有上述快照模块，则写入上述待写入数据至与上述待写入数据对应的原存储对象中，上述快照对象的第一识别码和上述原存储对象的第二识别码相同。进一步地，在将上述分布式存储系统中的快照对象和新建对象写入元数据库之前，上述方法还包括：将上述分布式存储系统中的原存储对象重命名为上述快照对象；依据上述原存储对象的原始命名确定上述新建对象的新建对象名，其中，上述元数据库中存储有上述第一识别码与新建对象名的第一映射关系，以及上述第二识别码与上述新建对象名的第二映射关系。进一步地，在上述数据操作请求为数据写入请求的情况下，返回数据操作结果至上述目标客户端，包括：返回上述快照对象的第一识别码和上述新建对象的第二识别码至上述目标客户端。进一步地，上述目标分配粒度的取值范围至少为4KB至4MB。进一步地，在上述数据操作请求为数据读取请求的情况下，依据检测结果确定与上述数据操作请求对应的操作方式，包括：若上述检测结果为上述分布式存储系统中配置有上述快照模块，则依据上述数据读取请求中携带的识别码信息定位元数据库中的目标磁盘位置，并从上述目标磁盘位置读取与上述数据读取请求对应的目标读取数据，其中，上述识别码信息至少包括：快照对象的第一识别码和新建对象的第二识别码；若上述检测结果为上述分布式存储系统中未配置有上述快照模块，则依据上述分布式存储系统中的原存储对象的第三识别码定位上述目标磁盘位置，并从上述目标磁盘位置读取上述目标读取数据。进一步地，在上述数据操作请求为数据读取请求的情况下，返回数据操作结果至上述目标客户端，包括：返回读取到上述目标读取数据至上述目标客户端。根据本专利技术实施例的另一方面，还提供了一种分布式存储数据处理装置，包括：检测模块，用于在接收到来自目标客户端的数据操作请求的情况下，检测分布式存储系统中是否配置有快照模块，其中，上述数据操作请求至少包括：数据写入请求和数据读取请求；确定模块，用于依据检测结果确定与上述数据操作请求对应的操作方式；返回模块，用于在操作成功的情况下，返回数据操作结果至上述目标客户端。根据本专利技术实施例的另一方面，还提供了一种存储介质，上述存储介质包括存储的程序，其中，在上述程序运行时控制上述存储介质所在设备执行任意一项上述的分布式存储数据处理方法。根据本专利技术实施例的另一方面，还提供了一种处理器，上述处理器用于运行程序，其中，上述程序运行时执行任意一项上述的分布式存储数据处理方法。在本专利技术实施例中，通过在接收到来自目标客户端的数据操作请求的情况下，检测分布式存储系统中是否配置有快照模块，其中，上述数据操作请求至少包括：数据写入请求和数据读取请求；依据检测结果确定与上述数据操作请求对应的操作方式；在操作成功的情况下，返回数据操作结果至上述目标客户端，达到了减小快照占用的存储空间的目的，从而实现了提高存储空间的利用率的技术效果，进而解决了现有技术中分布式存储系统的数据处理方法存在快照占用的存储空间较大的技术问题。附图说明此处所说明的附图用来提供对本专利技术的进一步理解，构成本申请的一部分，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：图1是根据本专利技术实施例的一种分布式存储数据处理方法的流程图；图2是根据本专利技术实施例的另一种可选的分布式存储数据处理方法的流程图；图3是根据本专利技术实施例的另一种可选的分布式存储数据处理方法的流程图；以及图4是根据本专利技术实施例的一种分布式存储数据处理装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。首先，为方便理解本专利技术实施例，下面将对本专利技术中所涉及的部分术语或名词进行解释说明：写时拷贝(Copy-on-Write，COW):当protectedentity的某个block将被改写的时候，该block首先被copy到其他地方(即拷贝到快照系统指定的某个位置)，然后再在它原来的位置(即该protectedentity的存储位置)进行改写。写时重定向(Redirect-on-Write，ROW)：Row快照使用指针指向protectedentity的所有本文档来自技高网...

【技术保护点】
1.一种分布式存储数据处理方法，其特征在于，包括：在接收到来自目标客户端的数据操作请求的情况下，检测分布式存储系统中是否配置有快照模块，其中，所述数据操作请求至少包括：数据写入请求和数据读取请求；依据检测结果确定与所述数据操作请求对应的操作方式；在操作成功的情况下，返回数据操作结果至所述目标客户端。

【技术特征摘要】
1.一种分布式存储数据处理方法，其特征在于，包括：在接收到来自目标客户端的数据操作请求的情况下，检测分布式存储系统中是否配置有快照模块，其中，所述数据操作请求至少包括：数据写入请求和数据读取请求；依据检测结果确定与所述数据操作请求对应的操作方式；在操作成功的情况下，返回数据操作结果至所述目标客户端。2.根据权利要求1所述的方法，其特征在于，检测分布式存储系统中是否配置有快照模块，包括：根据目标数据分布算法和所述数据操作请求，定位所述分布式存储系统中的目标存储模块，其中，所述目标存储模块用于维护所述分布式存储系统的元数据库；检测所述目标存储模块中是否配置有所述快照模块，得到所述检测结果。3.根据权利要求1所述的方法，其特征在于，在所述数据操作请求为数据写入请求的情况下，依据检测结果确定与所述数据操作请求对应的操作方式，包括：若所述检测结果为所述分布式存储系统中配置有所述快照模块，则将所述分布式存储系统中的快照对象和新建对象写入元数据库，并基于目标分配粒度将待写入数据写入所述新建对象中，其中，所述新建对象是为存储所述待写入数据新建的对象；若所述检测结果为所述分布式存储系统中未配置有所述快照模块，则写入所述待写入数据至与所述待写入数据对应的原存储对象中，所述快照对象的第一识别码和所述原存储对象的第二识别码相同。4.根据权利要求3所述的方法，其特征在于，在将所述分布式存储系统中的快照对象和新建对象写入元数据库之前，所述方法还包括：将所述分布式存储系统中的原存储对象重命名为所述快照对象；依据所述原存储对象的原始命名确定所述新建对象的新建对象名，其中，所述元数据库中存储有所述第一识别码与新建对象名的第一映射关系，以及所述第二识别码与所述新建对象名的第二映射关系。5.根据权利要求3所述的方法，其特征在于，在所述数据操作请求为数据写入请求的情况下，返回数据操作...

【专利技术属性】
技术研发人员：肖永玲，王豪迈，胥昕，
申请(专利权)人：星辰天合北京数据科技有限公司，
类型：发明
国别省市：北京,11