AI算力资源远程调用场景下的数据直通方法技术

技术编号:38482942 阅读:24 留言:0更新日期:2023-08-15 16:59
一种AI算力资源远程调用场景下的数据直通方法,方法中,AI算力客户端中的AI应用发起数据读取或预处理请求,拦截数据读取或预处理请求并转发到AI算力服务端的数据服务层;数据服务层将数据读取或预处理请求发送至存储资源对应的存储服务层;存储服务层访问存储资源进行数据读取和预处理操作;AI算力客户端中的AI应用发起数据复制到算力设备的请求,AI调用转发层将数据复制到算力设备的请求进行拦截并转发到本地的数据转发层,由数据转发层再发送至数据服务层;数据服务层发送数据复制到算力设备的请求到存储服务层;存储服务层直接将读取并完成预处理的数据通过RDMA网络直接传输到AI算力设备。输到AI算力设备。输到AI算力设备。

【技术实现步骤摘要】
AI算力资源远程调用场景下的数据直通方法


[0001]本专利技术属于AI
,尤其涉及一种AI算力资源远程调用场景下的数据直通方法。

技术介绍

[0002]人工智能的发展对于算力的需求呈指数级增长,但是算力资源整体利用率却偏低,并且无法统一管理和调配。为了更高效的使用AI算力资源,现有技术利用软件对物理的AI算力设备如GPU、FPGA、ASIC等进行抽象,形成一个统一的AI算力资源池。在统一的AI算力资源池下,AI应用可以与物理的AI算力分离部署,AI应用部署在云中的任意位置,通过网络远程调用的方式按需使用AI算力资源。
[0003]现有AI算力远程调用技术方案中,利用库打桩等拦截技术对AI客户端的算力API调用进行捕获并拦截,发送给远端AI算力服务器进行计算。远端设备计算完成之后将结果返回给用户,实现AI算力资源的虚拟化,切分和聚合等,提升AI算力资源利用率。
[0004]但是在实际的机器学习模型训练和推理过程中,尤其是计算机视觉和自然语言处理等任务,大量的数据需要预处理之后传输到AI算力设备中进行计算。在AI算力资源远程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AI算力资源远程调用场景下的数据直通方法,其特征在于,其包括以下步骤:AI算力客户端中的AI应用发起数据读取或预处理请求,拦截数据读取或预处理请求并转发到AI算力服务端的数据服务层;所述数据服务层将数据读取或预处理请求发送至存储资源对应的存储服务层;所述存储服务层访问存储资源进行数据读取和预处理操作;AI算力客户端中的AI应用发起数据复制到算力设备的请求,AI调用转发层将数据复制到算力设备的请求进行拦截并转发到本地的数据转发层,由数据转发层再发送至所述数据服务层;所述数据服务层发送数据复制到算力设备的请求到所述存储服务层;所述存储服务层直接将读取并完成预处理的数据通过RDMA网络直接传输到AI算力...

【专利技术属性】
技术研发人员:王强王龙翔董小社覃遵颍杨帆折波张哲崔靖茹张旭东
申请(专利权)人:西安交通大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1