一种数据调用方法、装置、设备及介质制造方法及图纸

本申请公开了一种数据调用方法、装置、设备及介质，涉及人工智能领域，包括：对预先获取的模型进行抽象转换，以得到计算图，然后对所述计算图进行图像分割优化，以得到各计算子图；对所述计算子图进行向量化处理，以得到张量表示，确定出张量表示的类型，并根据所述张量表示的类型确定出相应的目标代码；利用所述目标代码对所述张量表示进行处理，以得到底层代码，并将所述底层代码发送至与所述计算子图的类型相对应的编译器，以得到二进制文件，以便服务端对所述二进制文件中的数据进行调用。通过本申请的上述技术方案，能够实现深度学习模型多平台部署，支持其他深度学习处理器，提高数据调用的效率。高数据调用的效率。高数据调用的效率。

【技术实现步骤摘要】
一种数据调用方法、装置、设备及介质


[0001]本专利技术涉及人工智能领域，特别涉及一种数据调用方法、装置、设备及介质。

技术介绍

[0002]随着人工智能(AI，Artificial Intelligence)逐渐发展和普及，使用深度学习网络完成各种任务的需求越来越多，如何在实际生产环境中快速、稳定运行训练好的模型成为人工智能应用落地的关键点之一，AI部署的目标是使得训练好的深度学习网络模型在特定硬件平台上顺利运行，并保证模型的高精度、低延迟和稳定性，基于AI部署需求，各大硬件厂商针对自家硬件平台推出了对应的部署工具，比如英特尔的OpenVINO、英伟达的TensorRT等，以便于深度学习模型在英特尔CPU(Central Processing Unit，中央处理器)平台和英伟达GPU(Graphics Processing Unit，图形处理器)平台开展推理任务。TensorRT是现有的一种用于在英伟达图形处理单元上部署深度学习应用程序的框架。TensorRT根据模型网络的定义以及用户设置的优化选项执行优化并构建推理引擎(Inference本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据调用方法，其特征在于，包括：对预先获取的模型进行抽象转换，以得到计算图，然后对所述计算图进行图像分割优化，以得到各计算子图；对所述计算子图进行向量化处理，以得到张量表示，确定出张量表示的类型，并根据所述张量表示的类型确定出相应的目标代码；利用所述目标代码对所述张量表示进行处理，以得到底层代码，并将所述底层代码发送至与所述计算子图的类型相对应的编译器，以得到二进制文件，以便服务端对所述二进制文件中的数据进行调用。2.根据权利要求1所述的数据调用方法，其特征在于，所述对预先获取的模型进行抽象转换，以得到计算图，包括：利用Python脚本实现的预设前端解释器对预先获取的模型进行抽象转换，以得到计算图；其中，所述计算图中包括算子和数据流信息；将所述计算图以TorchScript格式保存至本地。3.根据权利要求1所述的数据调用方法，其特征在于，所述对所述计算图进行图像分割优化，以得到各计算子图，包括：对所述计算图进行常量折叠操作和算子融合操作，以得到操作后的图像；对所述操作后的图形进行分割，以得到各计算子图。4.根据权利要求1所述的数据调用方法，其特征在于，所述对所述计算子图进行向量化处理，以得到张量表示，包括：利用开源框架TVM中的AutoTVM对所述计算子图进行循环分块操作和向量化处理，以得到张量表示。5.根据权利要求1至4任一项所述的数据调用方法，其特征在于，所述确定出张量表示的类型，并根据所述张量表示的类型确定出相应的目标代码，包括：确定出张量表示的类型；根据所述张量表示的类型从预设的代码模块库中筛选出与所述张量表示的类型相对应的目标代码。6.根据权利要求5所述的数据调用方法，其特征在于，所述利用所述目标代码对...

【专利技术属性】
技术研发人员：王慕雪，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：