一种基于遗传算法对量化后神经网络优化方法及装置制造方法及图纸

本发明专利技术公开了一种基于遗传算法对量化后神经网络优化方法及装置。其中，方法包括：对量化后的神经网络中的所有算子进行0、1建模，确定多种建模方案对应的多种染色体，其中多种染色体组成一个种群；分别获取多种染色体中每种染色体的适应值；根据每种染色体的适应值初始化种群，并利用遗传算法对种群进行迭代计算，确定最优种群；根据最优种群确定神经网络的最优算子分组方案。优算子分组方案。优算子分组方案。

【技术实现步骤摘要】
一种基于遗传算法对量化后神经网络优化方法及装置


[0001]本专利技术涉及神经网络
，并且更具体地，涉及一种基于遗传算法对量化后神经网络优化方法及装置。

技术介绍

[0002]神经网络在量化后需要部署在芯片上。由于芯片上存储的限制一些稍大的网络不能一次性的在芯片上执行完全部算子。这就需要对网络中的算子进行分组，分组之后逐组在芯片上进行计算。分组还会产生数据在芯片和DDR之间进行导入导出，本组算子数据在芯片上执行前将上组的数据导入，执行完后将本组计算结果数据进行导出。
[0003]普通的分组方案对算子进行顺位分组，这样分组的方式逻辑比较简单，开发比较容易，但是不能找出最小的导入导出数据进行分组，所以分组后的网络在芯片上的执行结果也不是最优的。
[0004]对于网络分组方案，如果通过穷尽所有分组方案虽然可以找出最优的分组方案显然存在非常耗时的技术问题。

技术实现思路

[0005]针对现有技术的不足，本专利技术提供一种基于遗传算法对量化后神经网络优化方法及装置。
[0006]根据本专利技术的一个方面，提供本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于遗传算法对量化后神经网络优化方法，其特征在于，包括：对量化后的神经网络中的所有算子进行0、1建模，确定多种建模方案对应的多种染色体，其中所述多种染色体组成一个种群；分别获取所述多种染色体中每种染色体的适应值；根据每种染色体的所述适应值初始化所述种群，并利用遗传算法对所述种群进行迭代计算，确定最优种群；根据所述最优种群确定所述神经网络的最优算子分组方案。2.根据权利要求1所述的方法，其特征在于，对量化后的神经网络中的所有算子进行0、1建模，确定多种建模方案对应的多种染色体的操作，包括：对量化后的所述神经网络中的所有算子进行0、1建模，确定建模后的0、1算子；将建模后的所述0、1算子按照执行顺序进行排列，按照每组最后一个算子的标志为1，其他算子标志为0的分配方案，确定所述多种染色体。3.根据权利要求1所述的方法，其特征在于，分别获取所述多种染色体中每种染色体的适应值的操作，包括：将每种所述染色体的分组结果传输至编译器；所述编译器按照分组结果中的分组进行编译，编译后转换成芯片指令集；利用性能模拟工具对所述芯片指令集进行性能测试，确定执行结果；根据所述执行结果，确定遗传算法中每种染色体的所述适应值。4.根据权利要求1所述的方法，其特征在于，根据每种染色体的所述适应值初始化所述种群，并利用遗传算法对所述种群进行迭代计算，确定最优种群的操作，包括：计算所述多种染色体的概率并累加，确定每种染色体的概率值范围；根据所述每种染色体的概率值范围，利用轮盘赌选择法确定第一优化种群；利用单点交叉算法对所述第一优化种群进行优化，确定第二优化种群；利用小概率变异法对所述第二优化种群进行优化，确定所述所述最优种群。5.一种基于遗传算法对量化后神经网络优化装置，其特征在于，包括：第一确定模块，用于对量化后的神经网络中的所有算子进行0、1建模，确定多种建模方案对应的多种染色体，其中所述多种染色体组成一个种群；获取模块，用于分别获取所述多种染色体中每种...

【专利技术属性】
技术研发人员：郭晓刚，张亮，韩振华，李艳鹏，欧阳鹏，
申请(专利权)人：北京清微智能科技有限公司，
类型：发明
国别省市：