算子的卸载及注册方法、装置、存储介质及电子装置制造方法及图纸

本发明专利技术实施例提供了一种算子的卸载及注册方法、装置、存储介质及电子装置，其中，该方法包括：确定待卸载的解决方案所调用的目标算子的使用状态，其中，目标算子存储在算子装饰器中，算子装饰器用于存储相同类型的算子，算子装饰器是预先注册在目标算子池中的；在使用状态指示目标算子正在被其他解决方案调用的情况下，确定其他解决方案中包括的网络模型的算子的运行状态；在运行状态指示网络模型的算子运行结束的情况下，卸载目标算子。通过本发明专利技术，解决了相关技术中存在的存在无法仅卸载一个解决方案对应的算子的问题，达到单独卸载多个解决方案中的一个解决方案对应的算子效果。个解决方案中的一个解决方案对应的算子效果。个解决方案中的一个解决方案对应的算子效果。

【技术实现步骤摘要】
算子的卸载及注册方法、装置、存储介质及电子装置


[0001]本专利技术实施例涉及深度学习领域，具体而言，涉及一种算子的卸载及注册方法、装置、存储介质及电子装置。

技术介绍

[0002]深度学习技术的飞速发展更是加快了人工智能的覆盖率。尽管深度学习需要大量的计算资源和内存资源，但随着计算机的发展，将多个深度学习解决方案放在同一台计算机中已成为可能，如何来协调多解决方案中的深度学习算子也成为一个亟需解决的问题。
[0003]在相关技术中，当同一计算机中包括多个解决方案时，在多个解决方案均停止运行时，同时卸载解决方案对应的算子。
[0004]由此可知，在相关技术中存在无法仅卸载一个解决方案对应的算子的问题。
[0005]针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。

技术实现思路

[0006]本专利技术实施例提供了一种算子的卸载及注册方法、装置、存储介质及电子装置，以至少解决相关技术中存在的无法仅卸载一个解决方案对应的算子的问题。
[0007]根据本专利技术的一个实施例，提供了一种算子的卸载方法，包括：确定待卸载的解决方案所调用的目标算子的使用状态，其中，所述目标算子存储在算子装饰器中，每个所述算子装饰器用于存储相同类型的算子，所述算子装饰器是预先注册在目标算子池中的；在所述使用状态指示所述目标算子正在被其他解决方案调用的情况下，确定所述其他解决方案中包括的网络模型的算子运行状态；在所述运行状态指示所述网络模型的算子运行结束的情况下，卸载所述目标算子。
[0008]根据本专利技术的一个实施例，提供了一种算子的注册方法，包括：确定接收到的目标算子的第一类型；确定目标算子池中已注册的算子装饰器支持存储的算子的第二类型，其中，每个已注册所述算子装饰器用于存储相同类型的算子；在基于所述第二类型确定所述算子装饰器中包括有支持存储所述第一类型的算子的目标算子装饰器的情况下，将所述目标算子存储在所述目标算子装饰器中；在基于所述第二类型确定所述算子装饰器中不包括支持存储所述第一类型的算子的目标算子装饰器的情况下，创建所述目标算子装饰器，以在所述目标算子装饰器的算子指针队列中存储所述目标算子。
[0009]根据本专利技术的另一个实施例，提供了一种算子的卸载装置，包括：第一确定模块，用于确定待卸载的解决方案所调用的目标算子的使用状态；第二确定模块，用于在所述使用状态指示所述目标算子正在被其他解决方案调用的情况下，确定所述其他解决方案中包括的网络模型的算子的运行状态；卸载模块，用于在所述运行状态指示所述网络模型的算子运行结束的情况下，卸载所述目标算子。
[0010]根据本专利技术的另一个实施例，提供了一种算子的注册装置，包括：第三确定模块，用于确定接收到的目标算子的第一类型；第四确定模块，用于确定目标算子池中已注册的
算子装饰器支持存储的算子的第二类型，其中，每个已注册所述算子装饰器用于存储相同类型的算子；第一注册模块，用于在基于所述第二类型确定所述算子装饰器中包括有支持存储所述第一类型的算子的目标算子装饰器的情况下，将所述目标算子存储在所述目标算子装饰器中；第二注册模块，用于在基于所述第二类型确定所述算子装饰器中不包括支持存储所述第一类型的算子的目标算子装饰器的情况下，创建所述目标算子装饰器，以在所述目标算子装饰器的算子指针队列中存储所述目标算子。
[0011]根据本专利技术的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现上述任一项中所述的方法的步骤。
[0012]根据本专利技术的又一个实施例，还提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
[0013]通过本专利技术，确定待卸载的解决方案所调用的目标算子的使用状态，在使用状态指示目标算子正在被其他解决方案调用的情况下，确定其他解决方案中包括的网络模型的算子的运行状态，在运行状态指示网络模型的算子运行结束的情况下，卸载目标算子。由于在目标算子不正在被调用的情况下，卸载目标算子，从而实现卸载目标算子对应的解决方案，实现了单独卸载多个解决方案中的一个解决方案。因此，可以解决相关技术中存在的存在无法仅卸载一个解决方案对应的算子的问题，达到单独卸载多个解决方案中的一个解决方案对应的算子效果。
附图说明
[0014]图1是本专利技术实施例的一种算子的卸载方法的移动终端的硬件结构框图；
[0015]图2是根据本专利技术实施例的算子的卸载方法的流程图；
[0016]图3是相关技术中解决方案的运行流程图；
[0017]图4是根据本专利技术示例性实施例的解决方案的运行流程图；
[0018]图5是根据本专利技术示例性实施例的算子调用流程图；
[0019]图6是根据本专利技术实施例的算子的注册方法的流程图
[0020]图7是根据本专利技术具体实施例的算子的卸载方法流程图；
[0021]图8是根据本专利技术实施例的算子的卸载装置的结构框图；
[0022]图9是根据本专利技术实施例的算子的注册装置的结构框图。
具体实施方式
[0023]下文中将参考附图并结合实施例来详细说明本专利技术的实施例。
[0024]需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
[0025]本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本专利技术实施例的一种算子的卸载方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)
和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
[0026]存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本专利技术实施例中的算子的卸载方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0027]传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算子的卸载方法，其特征在于，包括：确定待卸载的解决方案所调用的目标算子的使用状态，其中，所述目标算子存储在算子装饰器中，所述算子装饰器用于存储相同类型的算子，所述算子装饰器是预先注册在目标算子池中的；在所述使用状态指示所述目标算子正在被其他解决方案调用的情况下，确定所述其他解决方案中包括的网络模型的算子的运行状态；在所述运行状态指示所述网络模型的算子运行结束的情况下，卸载所述目标算子。2.根据权利要求1所述的方法，其特征在于，在所述使用状态指示所述目标算子正在被其他解决方案调用的情况下，所述方法还包括：确定所述目标算子所在的目标算子装饰器；从所述目标算子装饰器中确定出所述目标算子的替换算子；在所述目标算子被卸载的情况下，对所述替换算子进行配置，以允许所述其他解决方案运行时调用所述替换算子。3.根据权利要求2所述的方法，其特征在于，对所述替换算子进行配置包括：将所述替换算子的指针变量由用于指示允许在默认状态下调用的默认变量调整为用于指示允许在预设状态下调用的预设变量；将所述目标算子装饰器的调用状态由所述默认状态更新为所述预设状态；在所述目标算子装饰器的调用状态为所述预设状态，所述替换算子的指针变量为所述预设变量的情况下，允许所述其他解决方案运行时调用所述替换算子。4.根据权利要求3所述的方法，其特征在于，在对所述替换算子进行配置之后，且在确定所述其他解决方案已调用过所述替换算子的情况下，所述方法还包括：将所述替换算子的指针变量更新为所述默认变量；将所述目标算子装饰器的调用状态设置为所述默认状态。5.根据权利要求1所述的方法，其特征在于，卸载所述目标算子包括：确定所述目标算子所在的目标算子装饰器的算子指针队列中包括的算子的数量；在所述数量为1的情况下，卸载所述目标算子装饰器，以卸载所述目标算子；在所述数量大于1的情况下，卸载所述目标算子。6.一种算子的注册方法，其特征在于，包括：确定接收到的目标算子的第一类型；确定目标算子池中已注册的算子装饰器支持存储的算子的第二类型，其中，每个已注册所述算子装饰器用于存储相同类型的算子；在基于所述第二类型确定所述算子装饰器中包括有支持存储所述第一类型的算子的目标算子装饰器的情况下，将所述目标算子存储在所述目标算子装饰器中；在基于所述第二类型确定所述算子装饰器中不包...

【专利技术属性】
技术研发人员：张海玉，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：