【技术实现步骤摘要】
数据处理方法、系统、服务器及介质
[0001]本申请涉及计算机
，尤其涉及数据处理方法、系统、服务器及介质。
技术介绍
[0002]随着大数据技术发展，为了满足用户对各种类型数据的存储，提出了多种存储方式，对象存储则是其中一种。
[0003]在大数据使用场景下，随着数据量的持续增多，数据大小不一。在对对象存储中数据进行对象获取操作的时候，会产生大量的小文件以及大量随机读。在大数据作业中，数据量持续增多，文件大小不一，作业访问对象存储时，可能会产生大量的查询请求，在有的情况下，每秒查询率(Queries Per Second，QPS)可以达到很大数量级别。受限于服务器处理请求的规模。影响了对象存储的吞吐效率。由于大量的小文件、随机读取，严重影响对象读取作业效率。
技术实现思路
[0004]为解决或改善现有技术中存在的问题，本申请各实施例提供了数据处理方法、系统、服务器及介质。
[0005]第一方面，在本申请的一个实施例中，提供了一种数据处理方法。应用于服务器端，该方法包括：
[00...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，所述方法包括：接收用于获取至少一个对象的目标数据或所述目标数据中目标数据块的获取请求；其中，所述获取请求中包含有至少一个对象标识；基于至少一个所述对象标识对应元数据与元数据存储单元的对应关系，生成针对所述元数据存储单元的元数据请求；其中，所述元数据与所述元数据存储单元的对应关系包括一对一的对应关系或多对一的对应关系；接收元数据端中各所述元数据存储单元响应所述元数据请求所反馈的元数据；发送基于所述元数据获取到的至少一个所述目标数据或所述目标数据块。2.根据权利要求1所述的方法，所述基于至少一个所述对象标识对应元数据与元数据存储单元的对应关系，生成针对所述元数据存储单元的元数据请求，包括：获取所述获取请求中包含的至少一个对象标识；确定所述对象标识对应的元数据，以及存储有至少一个元数据的元数据存储单元；根据所述元数据与所述元数据存储单元之间的对应关系，生成针对存储有至少一个元数据的存储单元的元数据请求。3.根据权利要求2所述的方法，所述根据所述元数据与所述元数据存储单元之间的对应关系，生成针对存储有至少一个元数据的存储单元的元数据请求，包括：确定所述获取请求中包含的至少一个对象标识对应的元数据的第一数量，以及用于存储第一数量个元数据的存储单元的第二数量；其中，第一数量和第二数量均为正整数；若所述元数据的第一数量大于所述存储单元的第二数量，则确定所述元数据与所述元数据存储单元为多对一的对应关系；将针对同一个元数据存储单元中多个元数据的多个元数据获取请求合并得到一个元数据请求。4.根据权利要求1所述的方法，所述接收用于获取至少一个对象的目标数据或所述目标数据中任一目标数据块的获取请求；其中，所述获取请求中包含有至少一个对象标识，包括：接收携带有至少一个对象的对象标识，并用于获取所述对象的所述目标数据的获取请求；或者，接收携带有至少一个对象的对象标识和/或对象的目标数据块对应的数据块标识，并用于获取所述目标数据和所述目标数据库的获取请求。5.根据权利要求1所述的方法，所述发送基于所述元数据获取到的至少一个所述目标数据或所述目标数据块，包括：根据所述对象标识，确定所述获取请求中至少一个对象分别对应的对象请求；根据所述对象标识与对象请求之间的对应关系，将基于所述元数据获取到的至少一个所述目标数据或所述目标数据中目标数据块发送给对应的客户端。6.根据权利要求1所述的方法，所述发送基于所述元数据获取到的至少一个所述目标数据或所述目标数据块，包括：基于所述元数据将通过主路获取到的至少一个所述目标数据或所述目标数据块发送给客户端；基于所述元数据将通过备路获取到的至少一个所述目标数据或所述目标数据块存储
到缓存单元。7.根据权利要求6所述的方法，所述基于所述元数据将通过主路获取到的至少一个所述目标数据或...
【专利技术属性】
技术研发人员：何振华，周翱，梁明旭，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。