【技术实现步骤摘要】
本专利技术属于神经网络加速器的优化技术，涉及一种面向动态模式编程的神经网络加速器内存优化方法、装置。
技术介绍
1、深度学习框架在编程范式上分为静态模式和动态模式。静态模式(如tensorflow)强调在编译时确定所有计算路径，利于性能优化，但灵活性不足；动态模式(如pytorch)允许在运行时动态调整计算图，灵活性高但性能优化难度大。
2、动态编程模式下的深度学习框架存在图捕获不全面等问题。现有方案采用部分图捕获机制，虽能提高计算性能，但捕获的计算图往往是特化后的计算图，只能获取原计算图的一部分，这导致系统无法进行全局视角的优化，无法进行深度协同优化，缺乏全局视角的优化限制了神经网络加速器内存优化和资源分配等跨层次优化的潜在性能提升。此外，频繁的计算图重新编译增加了神经网络加速器的内存开销，还需要额外的内存资源来管理和维护多个版本的计算图，限制了性能提升。
技术实现思路
1、针对现有技术的不足，本专利技术提出一种面向动态模式编程的神经网络加速器内存优化方法、装置，该方法确保捕...
【技术保护点】
1.一种面向动态模式编程的神经网络加速器内存优化方法，其特征在于，包含：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，还包含：对所述源代码程序中不能被整图捕获的程序片段，采用执行动态模式编程语言解释器作为容错方案。
4.根据权利要求1所述的方法，其特征在于，利用该神经网络标准表示，对该原计算图通过逆拓扑序遍历生成反向计算图之前，预先对该原计算图进行标准化处理，将复杂的神经网络运算拆解成基本的原子操作，形成一致的神经网络标准表示。
5.根据权利要求1所述的方法，其特征在于，
...【技术特征摘要】
1.一种面向动态模式编程的神经网络加速器内存优化方法，其特征在于，包含：
2.根据权利要求1所述的方法，其特征在于，
3.根据权利要求1所述的方法，其特征在于，还包含：对所述源代码程序中不能被整图捕获的程序片段，采用执行动态模式编程语言解释器作为容错方案。
4.根据权利要求1所述的方法，其特征在于，利用该神经网络标准表示，对该原计算图通过逆拓扑序遍历生成反向计算图之前，预先对该原计算图进行标准化处理，将复杂的神经网络运算拆解成基本的...
【专利技术属性】
技术研发人员：李广力，余秋初，徐睿远，郝朝阳，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。