一种二值化神经网络的构建方法、存储介质及终端设备技术

本发明专利技术公开了一种二值化神经网络的构建方法、存储介质及终端设备，所述方法包括：获取训练样本集；根据所述训练样本集对二值化神经网络模型进行训练，以得到训练后的二值化神经网络，其中，所述二值化神经网络模型的损失函数为角度归一化指数损失函数。本发明专利技术通过采用角度归一化指数损失函数监督，训练二值化神经网络学习如何将原始数据映射到低维流形上，这样在角度归一化指数损失监督训练下，使得二值化神经网络的分辨能力得到提升。

A binary neural network construction method, storage medium and terminal equipment

【技术实现步骤摘要】
一种二值化神经网络的构建方法、存储介质及终端设备
本专利技术涉及计算机
，特别涉及一种二值化神经网络的构建方法、存储介质及终端设备。
技术介绍
在计算机视觉领域中，卷积神经网络取得了巨大的成功，甚至在多个特定数据集上的表现已经超越了人类。但卷积神经网络对计算资源消耗，严重限制其在移动端等计算资源有限设备上的应用。为了解决上述问题，量化、剪裁等方法被提出，其中，量化方法在计算和存储资源优先的设别上更加适用。而在各量化方法中，二值化卷积神经网络用比特位运算替代浮点运算，显著降低网络的计算复杂度、功耗，使其能够独立于中央处理器、图形处理器，直接运行在现场可编程门阵列芯片或专用集成电路芯片上，从而降低其使用成本，使卷积神经网络走出机房进入千家万户成为可能。然而，二值化神经网络计算代价的降低是以牺性其性能为代价的,这很大程度上限制了二值化神经网络的使用范围。
技术实现思路
鉴于现有技术的不足，本专利技术旨在提供一种二值化神经网络的构建方法、存储介质及终端设备。为了解决上述技术问题，本专利技术所采用的技术方案如下：本文档来自技高网...

【技术保护点】
1.一种二值化神经网络的构建方法，其特征在于，所述方法包括：/n获取训练样本集；/n根据所述训练样本集对二值化神经网络模型进行训练，以得到训练后的二值化神经网络，其中，所述二值化神经网络模型的损失函数为角度归一化指数损失函数。/n

【技术特征摘要】
1.一种二值化神经网络的构建方法，其特征在于，所述方法包括：
获取训练样本集；
根据所述训练样本集对二值化神经网络模型进行训练，以得到训练后的二值化神经网络，其中，所述二值化神经网络模型的损失函数为角度归一化指数损失函数。


2.根据权利要求1所述二值化神经网络的构建方法，其特征在于，所述二值化神经网络模型的特征表示分布呈角度分布。


3.根据权利要求1所述二值化神经网络的构建方法，其特征在于，所述根据所述训练样本集对二值化神经网络模型进行训练包括向前传播过程、向后传播过程以及权值更新过程。


4.根据权利要求3所述二值化神经网络的构建方法，其特征在于，所述前传播过程具体包括：
对所述二值化神经网络的目标网络层的初始权值进行二值化，以得到目标权值；
计算所述目标网络层的网络激活，并对所述网络激活进行批标准化，以得到批标准化后的网络激活；
当所述目标网络层的层数小于层数阈值时，对所述批标准化后的网络激活进行二值化，以得到目标网络激活；
将所述目标网络层的下一层作为目标网络层，并继续执行对所述二值化神经网络的目标网络层的权值进行二值化的步骤，直至目标网络层的层数等于层数阈值。


5.根据权利要求4所述二值化神经网络的构建方法，其特征在于，所述二值化的表达式为：



其中，x为输入和网络中的权值。


6.根据权利要求4所述二值化神经网络的构建方法，其特征在于，所述向后传...

【专利技术属性】
技术研发人员：李洋，李坚，文红光，卢念华，陈文军，赵胤，汪旭军，
申请(专利权)人：深圳华侨城文化旅游科技集团有限公司，
类型：发明
国别省市：广东;44