神经网络模型资源处理方法技术

本申请提供一种神经网络模型资源处理方法

【技术实现步骤摘要】
神经网络模型资源处理方法、装置和设备


[0001]本申请涉及页神经网络模型
，具体而言，涉及一种经网络模型资源处理方法
、
装置和设备
。

技术介绍

[0002]神经网络处理器可以对神经网络中的算子进行加速，主要用于边缘端神经网络应用软件，但由于神经网络处理器的算力有限，因此需要合理设计网络模型以保证在规划时间内跑完所有的神经网络模型
。
[0003]实际的神经网络应用软件开发中，一个功能模块往往由多个神经网络模型组成，不同的神经网络具有不同的功能，每个模型的运行时间也不尽相同，不同模型以及软件程序代码之间也有一定的依赖关系，因此一个良好的模型调度顺序以及模型结构对于提高软件整体的性能有较大帮助
。
为了获得良好的模型调度顺序和模型结构，需要提供一种资源处理工具，用以获取软件运行过程中各个神经网络模型中每个算子的运行起止时间以及神经网络处理器运行的起止时间，通过合理优化模型调度顺序和模型结构以降低模型运行时间，提高神经网络处理器的利用率
。
[0004]目前神经网络模型的资源处理工具主要针对单个模型，不同线程或进程中运行的模型之间没有数据交互，每个模型的运行时间数据会分别被保存到不同文件中，不能同时将不同进程或线程中所有神经网络模型的运行时间数据整合保存到一份文件中
。

技术实现思路

[0005]有鉴于此，本公开实施例提供一种预神经网络模型资源处理
、
装置和设备，至少部分解决现有技术中存在的问题，可以将不同线程或进程中运行的模型进行数据交互，优化神经网络模型的结构和调度顺序，并提高神经网络处理器的利用率
。
[0006]在一方面，本实施例中提供的神经网络模型资源处理方法，包括：建立资源处理服务器端，所述资源处理服务器端用于与各客户端进行通信；
[0007]在每个神经网络模型所在线程建立线程客户端，并向每个所述神经网络模型发送神经网络模型信息交互指令；
[0008]建立处理器客户端，并向所述神经网络模型发送处理器信息交互指令；
[0009]向所述资源处理服务器端发送信息处理指令，处理所述资源处理服务器端接收到的信息
。
[0010]具体的，所述资源处理服务器用于与各客户端进行通信包括：
[0011]持续获取所述线程客户端和所述处理器客户端发送的数据
。
[0012]具体的，神经网络模型信息交互指令包括：
[0013]获取每个神经网络模型的算子运行信息；
[0014]在每个所述神经网络模型的每个算子运行结束后，将所述每个算子的运行信息发送给所述资源处理服务器端
。
[0015]具体的，每个算子的运行信息至少包括：
[0016]所述每个算子的运行起止时间，所述每个算子所在线程的线程
ID、
所述每个算子所在进程的进程
ID。
[0017]具体的，处理器信息交互指令包括：
[0018]在所述处理器运行结束后，获取所述处理器的运行起止时间，并将所述处理器的运行起止时间发送给所述资源处理服务器端
。
[0019]具体的，信息处理指令包括：
[0020]将所述每个算子的运行起止时间汇总到一份文件中，并基于所述线程
ID
和所述进程
ID
进行区分；
[0021]将所处理器的运行起止时间汇另总到一份文件中
。
[0022]具体的，向所述资源处理服务器端发送信息处理指令之后，还包括：
[0023]基于所述资源处理服务器端对接收到的信息的处理结果，对所述神经网络模型的结构和模型调度顺序进行优化
。
[0024]另一方面，本公开实施例提供了一种神经网络模型资源处理装置该装置可以实现上述神经网络模型资源处理方法，该装置包括：资源处理服务器端建立模块，用于建立资源处理服务器端，所述资源处理服务器端用于与各客户端进行通信；
[0025]神经网络模型信息交互模块，用于在每个神经网络模型所在线程建立线程客户端，并向每个所述神经网络模型发送神经网络模型信息交互指令；
[0026]处理器信息交互模块，用于建立处理器客户端，并向所述神经网络模型发送处理器信息交互指令；
[0027]信息处理模块，用于向所述资源处理服务器端发送信息处理指令，处理所述资源处理服务器端接收到的信息
。
[0028]本申请实施例的另一方面，提供一种计算机设备，包括：存储器
、
处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时，实现神经网络模型资源处理方法的步骤
。
[0029]本申请实施例的另一方面，提供一种计算机可读存储介质，存储介质上存储有计算机程序，该计算机程序被处理器执行时，实现神经网络模型资源处理方法的步骤
。
附图说明
[0030]为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图
。
[0031]图1为本申请实施例中神经网络模型资源处理方法的流程示意图；
[0032]图2为本申请实施例中神经网络模型资源处理方法的具体实施例示意图；
[0033]图3本申请实施例提供的神经网络模型资源处理装置的结构示意图；
[0034]图4为本申请实施例提供的计算机设备的结构示意图
。
具体实施方式
[0035]下面结合附图对本公开实施例进行详细描述
。
[0036]以下通过特定的具体实例说明本公开的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本公开的其他优点与功效
。
显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例
。
本公开还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本公开的精神下进行各种修饰或改变
。
需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合
。
基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围
。
[0037]需要说明的是，下文描述在所附权利要求书的范围内的实施例的各种方面
。
应显而易见，本文中所描述的方面可体现于广泛多种形式中，且本文中所描述的任何特定结构及
/
或功能仅为说明性的
。
基于本公开，所属领域的技术人员应了解，本文中所描述的一个方面可与任何其它方面独立地实施，且可以各种方式组合这些方面中的两者或两者以上
。
举例来说，可本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种神经网络模型资源处理方法，其特征在于，包括：建立资源处理服务器端，所述资源处理服务器端用于与各客户端进行通信；在每个神经网络模型所在线程建立线程客户端，并向每个所述神经网络模型发送神经网络模型信息交互指令；建立处理器客户端，并向所述神经网络模型发送处理器信息交互指令；向所述资源处理服务器端发送信息处理指令，处理所述资源处理服务器端接收到的信息
。2.
如权利要求1所述的神经网络模型资源处理方法，所述资源处理服务器用于与各客户端进行通信包括：持续获取所述线程客户端和所述处理器客户端发送的数据
。3.
如权利要求1所述的神经网络模型资源处理方法，所述神经网络模型信息交互指令包括：获取每个神经网络模型的算子运行信息；在每个所述神经网络模型的每个算子运行结束后，将所述每个算子的运行信息发送给所述资源处理服务器端
。4.
如权利要求3所述的神经网络模型资源处理方法，所述每个算子的运行信息至少包括：所述每个算子的运行起止时间，所述每个算子所在线程的线程
ID、
所述每个算子所在进程的进程
ID。5.
如权利要求1所述的神经网络模型资源处理方法，所述处理器信息交互指令包括：在所述处理器运行结束后，获取所述处理器的运行起止时间，并将所述处理器的运行起止时间发送给所述资源处理服务器端
。6.
如权利要求4所述的神经网络模型资源处理方法，所述信息处理指令包括：将所述每个算子的运行起止时间汇总到一份文件中，并基于...

【专利技术属性】
技术研发人员：郑成林，王雨顺，梁爽，
申请(专利权)人：北京超星未来科技有限公司，
类型：发明
国别省市：