一种数据存储方法及其设备技术

本申请实施例公开了一种数据处理方法及其设备，用于计算与存储分离场景下。本申请实施例方法包括：计算设备获取存储系统的资源信息，资源信息表示存储系统的可调用的内部资源，计算设备根据资源信息对目标任务进行物理优化得到优化目标任务，目标任务为计算设备生成，计算设备向存储系统发送优化目标任务。本申请实施例中，计算设备通过获取存储系统的资源信息优化目标任务，提升了存储系统执行优化目标任务的效率。目标任务的效率。目标任务的效率。

【技术实现步骤摘要】
一种数据存储方法及其设备


[0001]本申请实施例涉及计算机
，具体涉及一种数据存取方法及其设备。

技术介绍

[0002]由于越来越多的业务系统对计算与存储提出了更高的弹性要求，同时网络性能获得了高速的发展，使得计算与存储分离架构(以下简称存算分离)成为未来的技术发展趋势。
[0003]存算分离架构使得用户可以根据业务不同的发展阶段，灵活配比计算与存储能力，对计算与存储资源进行独立扩容，获得更高的投入产出比。同时，存算分离架构实现了计算服务的无状态化，从而可实现真正的弹性计算，可以随时增减计算资源。
[0004]但存算分离架构实现了存储层对计算层的完全透明，除了带来上述好处外，也带来了严重的计算优化问题。例如，计算出无法感知存储层的资源信息，从而在设计计算任务阶段，无法根据存储层的资源信息优化计算任务，降低了计算任务的计算效率。

技术实现思路

[0005]本申请实施例提供了一种数据处理方法及其设备，用于在计算与存储分离架构下，计算设备通过获取存储系统的资源信息，并根据资源信息对目标任务进行物理优化，使得存储本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：计算设备获取存储系统的资源信息，所述资源信息表示所述存储系统的可调用的内部资源；所述计算设备根据所述资源信息对目标任务进行物理优化得到优化目标任务，所述目标任务为所述计算设备生成；所述计算设备向所述存储系统发送所述优化目标任务。2.根据权利要求1所述的方法，其特征在于，所述资源信息包括元数据，所述元数据表示所述存储系统存储数据的元数据，所述计算设备获取存储系统的资源信息包括：所述计算设备获取所述存储系统的所述元数据。3.根据权利要求2所述的方法，其特征在于，所述元数据包括硬件拓扑信息，所述计算设备根据所述资源信息对目标任务进行物理优化得到优化目标任务包括：所述计算设备根据所述硬件拓扑信息确定所述存储系统执行所述目标任务的目标节点；所述计算设备根据所述目标节点对所述目标任务进行物理优化得到所述优化目标任务。4.根据权利要求3所述的方法，其特征在于，所述元数据还包括数据分布信息，所述计算设备根据所述目标节点对所述目标任务进行物理优化得到优化目标任务包括：所述计算设备根据所述数据分布信息确定所述目标节点中执行所述目标任务使用的目标数据；所述计算设备根据所述目标数据对所述目标任务进行物理优化得到所述优化目标任务。5.根据权利要求4所述的方法，其特征在于，所述元数据还包括算力资源信息，所述方法还包括：所述计算设备根据所述算力资源信息确定所述目标节点的可调用算力资源；所述计算设备根据所述目标数据对所述目标任务进行物理优化得到所述优化目标任务包括：所述计算设备根据所述目标数据和所述可调用算力资源对所述目标任务进行物理优化得到优化目标任务。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述存储系统包括用户插件管理器，所述计算设备根据所述资源信息对目标任务进行物理优化得到优化目标任务之前，所述方法还包括：所述计算设备通过所述用户插件管理器获取计算算子，所述用户插件管理器为所述存储系统对所述计算设备开放的用户接口；所述计算设备根据所述资源信息对目标任务进行物理优化得到优化目标任务包括：所述计算设备根据所述计算算子对所述目标任务进行物理优化得到所述优化目标任务。7.根据权利要求6所述的方法，其特征在于，所述计算设备通过所述用户插件管理器获取计算算子之前，所述方法还包括：所述计算设备向所述用户插件管理器注册所述计算算子。
8.根据权利要求6或7中所述的方法，其特征在于，所述优化目标任务包括计算算子信息，所述计算算子信息包括以下至少一个：所述计算算子的名称、所述计算算子访问的数据对象、所述计算算子访问的数据对象的数据位置信息、多个所述计算算子的并行方式。9.一种数据处理方法，其特征在于，包括：存储系统采集资源信息，所述资源信息表示所述存储系统的可调用的内部资源；所述存储系统向所述计算设备发送所述资源信息；所述存储系统接收所述计算设备发送的优化目标任务，所述优化目标任务为所述计算设备根据所述资源信息对目标任务进行物理优化得到的，所述目标任务为所述计算设备生成；所述存储系统执行所述优化目标任务。10.根据权利要求9所述的方法，其特征在于，所述资源信息包括元数据，所述元数据表示所述存储系统存储数据的元数据，所述存储系统向所述计算设备发送所述资源信息包括：所述存储系统向所述计算设备发送所述元数据。11.根据权利要求9或10所述的方法，其特征在于，所述存储系统包括用户插件管理器，所述资源信息包括计算算子，所述存储系统向所述计算设备发送所述资源信息包括：所述存储系统通过所述用户插件管理器向所述计算设备发送所述计算算子，所述用户插件管理器为所述存储系统对所述计算设备开放的用户接口。12.根据权利要求11所述的方法，其特征在于，所述存储系统通过所述用户插件管理器向所述计算设备发送所述计算算子之前，所述方法还包括：所述存储系统通过所述用户插件管理器接收所述计算设备发送的注册信息，所述注册信息用于注册所述计算算子；所述存储系统将所述计算算子保存到所述用户插件管理器中。13.根据权利要求11或12所述的方法，其特征在于，所述优化目标任务包括计算算子信息，所述计算算子信息包括以下至少一个：所述计算算子的名称、所述计算算子访问的数据对象、所述计算算子访问的数据对象的数据位置信息、多个所述计算算子的并行方式。14.根据权利要求9至13中任一项所述的方法，其特征在于，所述存储系统采集资源信息包括：所述存储系统动态采集所述资源信息。15...

【专利技术属性】
技术研发人员：张学，范振勇，曹宇，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：