一种数据处理方法、装置以及存储系统制造方法及图纸

本申请提出一种数据处理方法、装置以及存储系统。上述存储系统包括与多种存储服务方式分别对应的多个接口，与上述多个接口分别对应的多个数据服务单元以及上述多种存储服务方式共用的存储介质。其中，上述方法可以包括接收数据处理请求。基于上述数据处理请求确定与该次数据处理对应的元数据信息。将上述元数据信息共享至上述存储系统包括的各数据服务单元以使上述存储系统响应于任一接口接收到的针对上述存储介质中的存储数据的处理请求，对与上述接口对应的数据服务单元所存储的元数据对应的存储数据进行处理，从而既提高了存储空间利用率也简化了用户提取数据的流程，降低了出错率。了出错率。了出错率。

【技术实现步骤摘要】
一种数据处理方法、装置以及存储系统


[0001]本申请涉及计算机技术，具体涉及一种数据处理方法、装置以及存储系统。

技术介绍

[0002]目前采用多种存储方式进行数据处理。其中，上述存储方式可以包括分布式存储方式。上述分布式存储方式可以包括对象存储、文件存储和块存储。
[0003]在相关技术中，不同的存储方式需要对应不同的存储接口与存储系统，不同的存储系统是相互独立不能共用的。
[0004]例如，对象存储需要使用S3(Amazon Simple Storage Service，简单存储服务)接口，文件存储需要使用Posix(Portable Operating System Interface，可移植操作系统接口)接口。当用户通过不同的数据采集工具采集数据时，由于不同采集工具对应的存储方式不同，因此，需要至少维护提供Posix接口的文件存储系统与提供S3接口的对象存储系统，来满足存储用户使用不同采集工具采集到的数据。而当用户需要获取采集的所有数据时，需要分别从访问文件系统与对象存储系统中将数据提取出来，然后再做归拢。
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，应用于存储系统；其特征在于，所述存储系统包括与多种存储服务方式分别对应的多个接口，与所述多个接口分别对应的多个数据服务单元以及所述多种存储服务方式共用的存储介质；所述方法包括：接收数据处理请求；基于所述数据处理请求确定与该次数据处理对应的元数据信息；将所述元数据信息共享至所述存储系统包括的各数据服务单元以使所述存储系统响应于任一接口接收到的针对所述存储介质中的存储数据的处理请求，对与所述接口对应的数据服务单元所存储的元数据对应的存储数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述基于所述数据处理请求确定与该次数据处理对应的元数据信息，包括：通过与接收所述数据处理请求的接口对应的第一数据服务单元，基于所述数据处理请求确定与该次数据处理对应的元数据信息。3.根据权利要求2所述的方法，其特征在于，所述存储系统包括消息队列服务；所述方法还包括：在所述消息队列服务中分别为所述多个数据服务单元注册服务以使所述多个数据服务单元之间相互监听；所述将所述元数据信息共享至所述存储系统包括的各数据服务单元，包括：通过所述第一数据服务单元，将所述元数据信息发送至所述消息队列；所述存储系统包括的除所述第一数据服务单元以外的其它数据服务单元在监听到所述元数据信息后，从所述消息队列中获取并存储所述元数据信息。4.根据权利要求2所述的方法，其特征在于，所述将所述元数据信息共享至所述存储系统包括的各数据服务单元，包括：通过所述第一数据服务单元，将所述元数据信息分发至所述存储系统包括的其它数据服务单元；所述其它数据服务单元响应于接收到的所述元数据信息，存储所述元数据信息。5.根据权利要求1
‑
4任一所述的方法，其特征在于，当所述数据处理请求包括针对存储数据的处理请求时，所述基于所述数据处理请求确定与该次数据处理对应的元数据信息，包括：获取所述数据处理请求携带的存储数据信息；基于所述存储数据信息生成对应的元数据信息，并将生成的元数据信息确定为与该次数据处理对应的元数据信息；所述方法还包括：在确定所述元数据信息之后，基于所述元数据信息，对所述元数据对应的存储数据进行处理。6.根据权利要求1
‑
4任一所述的方法，其特征在于，当所述数据处理请求包括针对元数据的处理请求时，所述基于所述数据处理请求确定与该次数据处理对应的元数据信息，包括：获取所述数据处理请求携带的元数据检索条件；
基于所述检索条件，获取满足所述检索条件的元数据信息...

【专利技术属性】
技术研发人员：李忠文，
申请(专利权)人：上海商汤智能科技有限公司，
类型：发明
国别省市：