一种分布式海量对象的管理方法和装置制造方法及图纸

本发明专利技术涉及一种分布式海量对象的管理方法和装置，通过获取数据对象、与数据对象对应的全局唯一标识，全局唯一标识包括服务器标识；将数据对象、全局唯一标识暂存至本地，得到本地暂存文件；将本地暂存文件同步至与服务器标识对应的目标服务器中，得到位于目标服务器中的数据文件；生成与数据文件对应的索引文件，并基于索引文件对数据文件进行管理。本发明专利技术通过在将本地的数据对象同步至服务器时，生成与数据对象对应的索引文件。并根据索引文件对数据对象进行统一管理，从而解决了现有技术中分布式存储技术中的管理混乱的技术问题。中分布式存储技术中的管理混乱的技术问题。中分布式存储技术中的管理混乱的技术问题。

【技术实现步骤摘要】
一种分布式海量对象的管理方法和装置


[0001]本专利技术涉及分布式存储
，具体涉及一种分布式海量对象的管理方法和装置。

技术介绍

[0002]现有的大多数对象存储服务均具备海量、可扩展、高可用的特性，其中，依赖的很重要的一项技术就是分布式存储技术，该技术自动将数据分布于不同的服务器或存储设备上，以解决单个存储设备容量有限的局限性，同时，现代分布式存储技术也会将数据在不同设备上冗余存储，防止个别存储设备故障带来数据丢失的问题。但是现有的分布式存储系统存在管理混乱的问题。

技术实现思路

[0003]本专利技术的目的之一在于提供一种分布式海量对象的管理方法和装置，以解决现有技术中分布式存储系统存在管理混乱的技术问题。
[0004]为了实现上述目的，本专利技术采用的技术方案如下：
[0005]一种分布式海量对象的管理方法，所述方法包括：
[0006]获取数据对象、与所述数据对象对应的全局唯一标识，所述全局唯一标识包括服务器标识；
[0007]将所述数据对象、所述全局唯一标识暂存至本地，得到本地暂存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式海量对象的管理方法，其特征在于，所述方法包括：获取数据对象、与所述数据对象对应的全局唯一标识，所述全局唯一标识包括服务器标识；将所述数据对象、所述全局唯一标识暂存至本地，得到本地暂存文件；将所述本地暂存文件同步至与所述服务器标识对应的目标服务器，得到位于所述目标服务器中的数据文件；生成与所述数据文件对应的索引文件，并基于所述索引文件对所述数据文件进行管理。2.根据权利要求1所述的分布式海量对象的管理方法，其特征在于：获取与所述数据对象对应的全局唯一标识，包括：获取服务器标识、当前时间的时间戳；基于所述服务器标识、所述数据对象、所述时间戳生成全局唯一标识。3.根据权利要求2所述的分布式海量对象的管理方法，其特征在于：所述数据对象的数量为多个时，将多个数据对象、多个全局唯一标识暂存至本地，得到本地暂存文件，包括：在本地创建当前存储块，并将所述多个数据对象、与所述多个数据对象对应的全局唯一标识写入至所述当前存储块中，在所述当前存储块的数据量大于预设的数据量阈值，或者所述当前存储块的数据对象数量大于预设的对象数量阈值，或者所述当前存储块的创建时间大于预设的时间阈值时，基于已经写入至所述当前存储块中的数据对象和全局唯一标识构建数据块、对象元数据；在本地创建下一个存储块，并将剩余的数据对象、与所述剩余的数据对象对应的全局唯一标识写入至下一个存储块中，在所述下一个存储块的数据量大于预设的数据量阈值，或者所述下一个存储块的数据对象数量大于预设的对象数量阈值，或者所述下一个存储块的创建时间大于预设的时间阈值时，基于已经写入至所述下一个存储块中的数据对象和全局唯一标识构建数据块、对象元数据；直至将所有数据对象、全局唯一标识写入至本地，得到多个数据块、多个对象元数据；基于多个数据块、所述多个对象元数据构建本地暂存文件。4.根据权利要求3所述的分布式海量对象的管理方法，其特征在于：在所述服务器标识包括主服务器标识和备用服务器标识时，将所述本地暂存文件同步至与所述服务器标识对应的目标服务器中，得到位于所述目标服务器中的数据文件，包括：对所述本地暂存文件进行扫描，得到本地暂存文件存在的时间、本地暂存文件的数据量；在所述本地暂存文件存在的时间超过预设的发送时间阈值，或者所述本地暂存文件的数据量大于预设的发送数据量阈值时，在当前周期将所述本地暂存文件同步至目标服务器；在当前周期成功将所述本地暂存文件同步至目标服务器时，得到位于所述目标服务器中的数据文件；在当前周期未能成功将所述本地暂存文件同步至目标服务器时，在下一个周期将所述本地暂存文件同步至目标服务器，直至成功将所述本地暂存文件同步至目标服务器，并得到位于所述目标服务器中的数据文件。5.根据权利要求4所述的分布式海量对象的管理方法，其特征在于：将所述本地暂存文
件同步至目标服务器，包括：将所述本地暂存文件压缩后发送至与所述主服务器标识对应的主服务器中，得到第一发送结果；在所述第一发送结果包括发送成功信息时，删除所述本地暂存文件，并判定成功将所述本地暂存文件同步至目标服务器；在所述第一发送结果包括发送失败信息时，将压缩后的本地暂存文件发送至与所述备用服务器标识对应的备用服务器中，得到第二发送结果；在所述第二发送结果包括发送成功信息时，删除所述本地暂存文件，并判定成功将所述本地暂存文件同步至目标服务器；在所述第二发送结果包括发送失败信息时，判定未能成功将所述本地暂存文件同步至目标服务器。6.根据权利要求4所述的分布式海量对象的管理方法，其特征在于：生成与所述数据文件对应的索引文件，包括：将所述数据文件持久化至所述目标服务器中，得到持久化后的数据文件、持久化后的数据...

【专利技术属性】
技术研发人员：廖雄杰，
申请(专利权)人：北京基调网络股份有限公司，
类型：发明
国别省市：