一种神经网络模型执行方法、装置、系统、电子设备制造方法及图纸

本发明专利技术实施例提供一种神经网络模型执行方法、装置、系统、电子设备及存储介质，所述方法包括：将待执行的神经网络模型加载到模型数据库中并进行解析，得到模型解析结果，所述模型解析结果包括所述待执行的神经网络模型的至少一个块结构信息；基于所述待执行的神经网络模型的块结构信息为每个块结构分配独立的块结构存储空间，并将每个块结构存储到对应的块结构存储空间；根据所述待执行的神经网络模型的待执行任务，从所述块结构存储空间调用对应的块结构进行执行，直到所有所述待执行任务执行完毕；从所述模型数据库中卸载执行完毕的神经网络模型。能够提高神经网络模型执行时存储资源的利用率。储资源的利用率。储资源的利用率。

【技术实现步骤摘要】
一种神经网络模型执行方法、装置、系统、电子设备


[0001]本专利技术涉及人工智能领域，尤其涉及一种神经网络模型执行方法、装置、系统、电子设备及存储介质。

技术介绍

[0002]随着人工智能的发展，使得深度学习中神经网络模型得到广泛关注和使用，例如计算机视觉、语音识别、文本识别等领域，其中所使用的神经网络模型的层数往往可以达到几十层甚至上百层，可以按照功能对这些层进行组织和划分，例如划分为实现卷积功能的卷积块、实现池化操作的池化结构等块结构。而且，神经网络模型大多都是计算密集型，神经网络模型的执行需要使用多种计算资源并行计算，如CPU、DSP、NPU等不同类型执行单元并行执行的异构计算方式，而异构计算之间的存储管理设计会影响到模型执行的存储需求和效率，即在不同的计算资源和存储资源之间如何高效配合进行计算，所以异构计算需要解决存储资源复用的问题。
[0003]针对上述存储资源复用问题，现有技术是针对神经网络模型的每个待执行任务动态分配相应的存储资源，每个任务做完后都要释放对应的存储资源，以便其他任务再进行动态分配使用。这种存储管理方式缺点本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络模型执行方法，其特征在于，包括以下步骤：将待执行的神经网络模型加载到模型数据库中并进行解析，得到模型解析结果，所述模型解析结果包括所述待执行的神经网络模型的至少一个块结构信息；基于所述待执行的神经网络模型的块结构信息为每个块结构分配独立的块结构存储空间，并将每个块结构存储到对应的块结构存储空间；根据所述待执行的神经网络模型的待执行任务，从所述块结构存储空间调用对应的块结构进行执行，直到所有所述待执行任务执行完毕；从所述模型数据库中卸载执行完毕的神经网络模型。2.如权利要求1所述的方法，其特征在于，所述将待执行的神经网络模型加载到模型数据库中并进行解析，得到模型解析结果，包括：读取所述待执行的神经网络模型到所述模型数据库中并分配一个模型标识符；基于所述模型标识符遍历所述待执行的神经网络模型，得到待执行的神经网络模型的多个块结构，并为每个块结构分配块索引；获取每个块结构的信息作为所述模型解析结果。3.如权利要求2所述的方法，其特征在于，所述块结构信息包括块结构所属模型、块索引、块计算类型，所述基于所述待执行的神经网络模型的块结构信息为每个块结构分配块结构存储空间，包括：基于每个块结构的块计算类型，对应绑定至少一个计算单元；根据每个块结构绑定的计算单元分配对应的内存地址和内存大小。4.如权利要求3所述的方法，其特征在于，所述根据所述待执行的神经网络模型的待执行任务，从所述块结构存储空间调用对应的块结构进行执行，包括：从预设的任务列表中获取所述待执行的神经网络模型的一个待执行任务；基于所述待执行任务获取对应待执行任务所需的块结构信息；根据所述待执行任务所需的块结构信息从所述块结构存储空间调用对应的块结构进行执行。5.如权利要求4所述的方法，其特征在于，所述根据所述待执行任务所需的块结构信息从所述块结构存储空间调用对应...

【专利技术属性】
技术研发人员：顾鹏，王成波，刘海军，
申请(专利权)人：深圳云天励飞技术股份有限公司，
类型：发明
国别省市：