模型运行方法、计算机设备及存储介质技术

本发明专利技术实施例提供一种模型运行方法、计算机设备及存储介质，属于人工智能领域。该方法包括：在获取到模型运行指令的情况下，获取神经网络模型的模型文件的文件描述信息；根据模型结构位置，从模型文件中获取模型结构子文件，并按照模型结构子文件中的模型结构，依次运行神经网络模型中的各算子；在依次运行神经网络模型中的各算子的过程中，从模型结构子文件中获取当前运行算子的权重描述信息；根据模型权重位置和权重描述信息，从模型文件中的模型权重子文件内读取当前运行算子的权重，基于读取到的权重运行当前运行算子。该方法降低了运行神经网络模型所需的内存，提高了神经网络模型的运行普适性。模型的运行普适性。模型的运行普适性。

【技术实现步骤摘要】
模型运行方法、计算机设备及存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种模型运行方法、计算机设备及存储介质。

技术介绍

[0002]随着人工智能技术的快速发展，人工智能技术被广泛应用于不同的行业和领域，给人们的生活带来了极大的便利性，而神经网络模型是人工智能领域中极其重要部分。目前，神经网络模型的存储方式主要包括两种，一种是将神经网络模型的模型结构和模型权重作为两个单独的文件进行存储，另一种是将神经网络模型的模型结构和模型权重合并到一个文件进行存储，但在运行神经网络模型时，均需要将模型权重全部读取到内存进行解析与运行，而神经网络模型的权重通常较大，对计算机设备的内存要求较高，使得内存小的计算机设备无法运行神经网络模型。

技术实现思路

[0003]本专利技术实施例提供了一种模型运行方法、计算机设备及存储介质，旨在降低运行神经网络模型所需的内存，以提高神经网络模型的运行普适性。
[0004]第一方面，本专利技术实施例提供一种模型运行方法，包括：在获取到模型运行指令的情况下，获取神经网络模型的模型文件的文件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型运行方法，其特征在于，包括：在获取到模型运行指令的情况下，获取神经网络模型的模型文件的文件描述信息，所述文件描述信息包括模型结构位置和模型权重位置；根据所述模型结构位置，从所述模型文件中获取模型结构子文件，并按照所述模型结构子文件中的模型结构，依次运行所述神经网络模型中的各算子；在依次运行所述神经网络模型中的各算子的过程中，从所述模型结构子文件中获取当前运行算子的权重描述信息；根据所述模型权重位置和权重描述信息，从所述模型文件中的模型权重子文件内读取当前运行算子的权重，基于读取到的权重运行所述当前运行算子。2.根据权利要求1所述的模型运行方法，其特征在于，所述权重描述信息包括算子权重位置和权重比特数，所述算子权重位置描述所述当前运行算子的权重在所述模型权重子文件中的位置，所述权重比特数描述所述当前运行算子的权重的大小，所述根据所述模型权重位置和权重描述信息，从所述模型文件中的模型权重子文件内读取当前运行算子的权重，基于读取到的权重运行所述当前运行算子，包括：根据所述模型权重位置和所述算子权重位置，从所述模型权重子文件内读取所述当前运行算子的权重块；基于读取到的所述权重块运行所述当前运行算子，直至读取到的各所述权重块的比特数之和等于所述权重比特数。3.根据权利要求2所述的模型运行方法，其特征在于，所述根据所述模型权重位置和所述算子权重位置，从所述模型权重子文件内读取所述当前运行算子的权重块之前，还包括：确定所述权重比特数是否大于或等于预设权重比特数；在所述权重比特数大于或等于预设权重比特数的情况下，根据所述模型权重位置和所述算子权重位置，从所述模型权重子文件内读取所述当前运行算子的权重块。4.根据权利要求3所述的模型运行方法，其特征在于，所述确定所述权重比特数是否大于或等于预设权重比特数之后，还包括：在所述权重比特数小于预设权重比特数的情况下，根据所述模型权重位置和所述权重位置，从所述模型权重子文件内读取所述当前运行算子的权重；在读取到的所述当前运行算子的权重的比特数达到所述权重比特数的情况下，基于读取到的全部权重运行所述当前运行算子。5.根据权利要求1所述的模型运行方法，其特征在于，所述权重描述信息包括算子权重位置和权重比特数，所述根据所述模型权重位置和权重描述信息，从所述模型文件中的模型权重子文件内读取当前运行算子的权重，基于读取到的权重运行所述当前运行算子，包括：根据所述模型权重位置和所述算子权重位置，从所述模型权重子文件内读取所述当前运行算子的权重；在读取到的所述当前运行算...

【专利技术属性】
技术研发人员：胡鹏超，
申请(专利权)人：北京算能科技有限公司，
类型：发明
国别省市：