人工智能网络模型计算系统中数据交互的方法及计算系统技术方案

本发明专利技术提供一种人工智能网络模型计算系统中数据交互的方法及计算系统。所述方法包括：第一系统准备第一模型所需的第一输入数据，所述第一模型在第二系统中运行。所述第一系统将所述第一输入数据拷贝到所述第二系统。所述第二系统利用所述第一输入数据运行所述第一模型。所述第二系统中所述第一模型运行完成后，所述第二系统返回第一输出数据的地址到所述第一系统。所述第一系统利用所述第一模型的所述第一输入数据和/或所述第一输出数据，准备第二模型所需第一输入数据，所述第二模型在所述第二系统中运行。根据本发明专利技术的技术方案，数据传输过程中所占据内存空间小，且数据传输速度快。传输速度快。传输速度快。

【技术实现步骤摘要】
人工智能网络模型计算系统中数据交互的方法及计算系统


[0001]本专利技术涉及人工智能
，具体涉及一种人工智能网络模型计算系统中进行数据交互的方法及计算系统。

技术介绍

[0002]随着人工智能技术与机器学习和深度学习技术的不断发展与成熟，用于深度学习计算的AI芯片技术也越来越趋于成熟。在各种生产、生活场景下，从医疗保健到自动驾驶，从智慧生活到智慧城市，AI芯片在生活与生产中扮演着重要角色。
[0003]同时，随着AI模型的发展，模型内部需要的矩阵乘法、卷积、向量加法等运算也越来越繁复，对算力的需求一日高过一日。现行的AI芯片多专注于深度学习算法的计算速度，以模型为单位，依靠部署机器学习和深度学习算法训练出来的模型进行运算。相较于通用芯片，AI芯片在功能上有少部分缺失。在实际运行AI芯片进行运算时，需要频繁的与通用芯片进行数据交互。
[0004]为此，需要一种技术方案，能够提高芯片或系统间的数据交互速度与可靠性。

技术实现思路

[0005]本专利技术旨在提供用于人工智能网络模型计算系统中进行数据交互的方法及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人工智能网络模型计算系统中数据交互的方法，其特征在于，包括：第一系统准备第一模型所需的第一输入数据，所述第一模型在第二系统中运行；所述第一系统将所述第一输入数据拷贝到所述第二系统；所述第二系统利用所述第一输入数据运行所述第一模型；所述第二系统中所述第一模型运行完成后，所述第二系统返回第一输出数据的地址到所述第一系统；所述第一系统利用所述第一模型的所述第一输入数据和/或所述第一输出数据，准备第二模型所需第一输入数据，所述第二模型在所述第二系统中运行；其中，所述第一系统具有所述第二系统中所述第一输入数据和所述第一输出数据的所有权。2.根据权利要求1所述的方法，其特征在于，所述第一系统将所述第一输入数据拷贝到所述第二系统，包括：所述第一系统向所述第二系统申请内存空间；根据所述申请，所述第二系统分配内存空间并返回所述内存空间的第一数据地址；所述第一系统通过第一消息通信协议将所述第一输入地址和所述第一输入数据发送至所述第二系统；所述第二系统将所述第一输入数据拷贝到所述第一输入地址上。3.根据权利要求1所述的方法，其特征在于，所述第二系统利用所述第一输入数据运行所述第一模型，包括：所述第一系统将返回的所述第一输入地址序列化；所述第一系统将序列化的所述第一输入地址发送给所述第二系统；所述第二系统将所述第一系统传输的序列化的所述第一输入地址进行反序列化处理，并根据得到的所述第一输入地址获得所述第一输入数据；所述第二系统利用获得的所述第一输入数据运行所述第一模型。4.根据权利要求1所述的方法，其特征在于，所述第二系统返回第一输出数据的地址到所述第一系统，包括：所述第二系统将所述第一模型的所述第一输出数据的第一输出地址进行序列化，并将序列化后的所述第一输出地址传输回所述第一系统中；所述第一系统将所述第一输出地址反序列化。5.根据权利要求1所述的方法，其特征在于，所述第一系统...

【专利技术属性】
技术研发人员：王聪聪，熊超，牛昕宇，
申请(专利权)人：深圳鲲云信息科技有限公司，
类型：发明
国别省市：