一种二值化神经网络优化方法、系统、介质及设备技术方案

本申请提供一种二值化神经网络优化方法、系统、介质及设备，其中，方法，包括：对预设的二值化神经网络进行全二值化处理，确定端到端二值化链路；对采用端到端二值化链路的二值化神经网络，构建双通路特征复用结构；对采用端到端二值化链路和双通路特征复用结构的二值化神经网络进行奇异值分解初始化，确定经过初始化的二值化神经网络；对经过初始化的二值化神经网络进行对齐蒸馏训练，确定训练完成的二值化神经网络模型。通过本申请，解决二值化特征表达受限问题，提高激活值信息利用率，进而提高二值化神经网络模型的精度，还实现二值化层间特征的高效传递和跨层级融合，提高二值化神经网络模型的训练速度和稳定性。

【技术实现步骤摘要】

本申请涉及二值化神经网络优化，具体地，涉及一种二值化神经网络优化方法、系统、介质及设备。

技术介绍

1、传统的神经网络二值化方法中，因激活值信息利用率不足导致的精度损失问题。并且，当前的二值化神经网络虽然能够通过权重和激活值的1-bit量化降低计算资源消耗，但其技术发展仍存在显著瓶颈：

2、1.信息瓶颈：传统的神经网络二值化方法二值潜空间与连续输入的适配性不足，特征表达严重受限；

3、2.训练效果较差：全精度(activation 32-bit+weight 32-bit，a32w32)模型和纯二值化(activation 1-bit+weight 1-bit，a1w1)模型结构方面差异较大，对齐操作实现难度较大，且效果较差；

4、3.结构创新局限：现有方案多聚焦权重量化优化，缺乏针对激活特征细粒度建模的专用结构设计。

5、在专利“cn114067285b；一种基于二值化卷积神经网络车辆分类方法”中，其构建卷积神经网络，并在卷积神经网络中将特征图利用分块偏移的符号函数二值化，将权重利用符号函数二值化，二值化的本文档来自技高网...

【技术保护点】

1.一种二值化神经网络优化方法，其特征在于，包括：

2.根据权利要求1所述的二值化神经网络优化方法，其特征在于，所述对预设的二值化神经网络进行全二值化处理，确定端到端二值化链路，包括：

3.根据权利要求1所述的二值化神经网络优化方法，其特征在于，所述双通路特征复用结构包括第一激活传递结构和第二激活传递结构，所述第一激活传递结构用于逐层和间隔预设层数跨层传递输出量，所述第二激活传递结构用于对称跨层传递输出量。

4.根据权利要求3所述的二值化神经网络优化方法，其特征在于，所述对采用所述端到端二值化链路的二值化神经网络，构建双通路特征复用结构，包括：

...

【技术特征摘要】

1.一种二值化神经网络优化方法，其特征在于，包括：

2.根据权利要求1所述的二值化神经网络优化方法，其特征在于，所述对预设的二值化神经网络进行全二值化处理，确定端到端二值化链路，包括：

3.根据权利要求1所述的二值化神经网络优化方法，其特征在于，所述双通路特征复用结构包括第一激活传递结构和第二激活传递结构，所述第一激活传递结构用于逐层和间隔预设层数跨层传递输出量，所述第二激活传递结构用于对称跨层传递输出量。

4.根据权利要求3所述的二值化神经网络优化方法，其特征在于，所述对采用所述端到端二值化链路的二值化神经网络，构建双通路特征复用结构，包括：

5.根据权利要求1所述的二值化神经网络优...

【专利技术属性】
技术研发人员：杨凯程，张宇伦，张逊，杨小康，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：