基于虚拟机的张量数据计算推理方法、装置及存储介质制造方法及图纸

本发明专利技术涉及深度学习技术领域，公开了一种基于虚拟机的张量数据计算推理方法、装置及存储介质，所述方法包括：获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；根据所述目标设备可执行文件和模型类型对目标张量数据进行推理；通过上述方式，基于前端接入层进行格式统一，然后基于中间转换层和中间层优化策略进行数据优化，再基于终端执行层构建的目标设备可执行文件和模型类型进行计算推理，从而能够适应各种框架和平台的计算推理，且简化开发者进行模型推理的开发工作量。工作量。工作量。

【技术实现步骤摘要】
基于虚拟机的张量数据计算推理方法、装置及存储介质


[0001]本专利技术涉及深度学习
，尤其涉及基于虚拟机的张量数据计算推理方法、装置及存储介质。

技术介绍

[0002]随着人工智能的不断发展，使得深度学习技术在各行各样受到了广泛应用，而深度学习的应用就离不开推理框架，例如，TensorFlow、PyTorch以及TNN等框架，但是不同的推理框架的功能不同，例如，TensorFlow和PyTorch是平台级框架，可用于训练和推理，而TNN框架只能用于推理，无论是哪种功能的框架，在其背后均适配了一些相关加速设备，例如，NVIDIA GPU、Apple M1以及ARM等，而不同推理框架的适配和优化程度又不尽相同，且不同种类的框架又因为训练平台不一样，需要适配多种模型文件，以及模型文件包括多种数据类型、操作流以及数据流，最终造成深度学习推理的碎片化，而这种碎片化，使得开发者在进行模型推理时增加了额外的开发工作，而且还需要开发者了解各种框架和平台之间的转换方式，加速设备的优化方式，造成开发工作量较为繁琐。
[0003]上述内容仅用于辅助理本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于虚拟机的张量数据计算推理方法，其特征在于，所述基于虚拟机的张量数据计算推理方法包括以下步骤：获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元；根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码；根据所述目标自解码和加速设备操作信息构建目标设备可执行文件；根据所述目标设备可执行文件和模型类型对目标张量数据进行推理。2.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述获取指定输入模型文件，根据所述指定输入模型文件得到目标统一格式中间表示元，包括：获取指定输入模型文件，根据所述指定输入模型文件得到对应的数值权重、张量结构以及计算图；分别获取所述数值权重、所述张量结构以及所述计算图的数据格式；在满足所述数值权重、所述张量结构以及所述计算图之间任意两者之间的所述数据格式不一致的条件时，通过前端输入层将所述数值权重、张量结构以及计算图转换成目标统一格式中间表示元。3.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标统一格式中间表示元和中间层优化策略生成目标自解码，包括：获取中间转换层的层数，根据所述中间转换层的层数和中间层次优化策略得到设置在各层的数据优化策略；根据所述各层的数据优化策略分别对所述目标统一格式中间表示元进行优化，得到张量计算模型文件；根据所述张量计算模型文件生成目标自解码。4.如权利要求3所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述张量计算模型文件生成目标自解码，包括：根据所述张量计算模型文件得到对应的文件类型和张量计算模型数据；根据所述文件类型在编码策略集合中选取目标编码策略；通过所述目标编码策略对所述张量计算模型数据进行编码，得到目标自解码。5.如权利要求1所述的基于虚拟机的张量数据计算推理方法，其特征在于，所述根据所述目标自解码和加速设备操作信息构建目标设备可执行文件，包括：获取若干数量的处理器信息和加速设备信息；根据所述处理器信息和所述加速设备信息得到若干数量计算数据库；通过所述若干数量计算数据库和预设数据库根据所述目标自解码逐层生成目标运行设备编码；根据所述目标运行设备编码和所述加...

【专利技术属性】
技术研发人员：姜汉，王臣汉，潘相瑜，吕天蕾，王岩鑫，
申请(专利权)人：贝式计算天津信息技术有限公司，
类型：发明
国别省市：