【技术实现步骤摘要】
神经网络的训练及人脸检测方法、装置、设备和存储介质
本专利技术实施例涉及深度学习的技术，尤其涉及一种神经网络的训练及人脸检测方法、装置、设备和存储介质。
技术介绍
目前基于神经网络的深度学习方法在计算机视觉、自然语言处理、文本理解等众多领域都具有广泛的应用，而这些领域基本涵盖了目前互联网应用所需要的图像视频处理、语音处理、文本处理等众多技术。深度学习使用神经网络作为数据的特征提取工具，通过大量样本来训练神经网络中的参数，拟合样本的标注，如类型，从而具备在类似于样本分布场景下的预测能力。一般情况下，用户设定学习目标，如用于分类的标签、用做目标物体检测的标注框位置和大小等，在训练过程中，通过定义一个目标函数来计算当前神经网络的预测值与标注的实际值之间的误差，该误差又称损失值，然后利用优化方式来更新神经网络的参数。优化方式的目标是更新神经网络的参数，以减少损失值，即尽可能地最小化目标函数的损失值。因此，对神经网络的训练是朝着其梯度减小的方向，根据特定的学习率(也称为步长)更新参数。现有的神经...
【技术保护点】
1.一种神经网络的训练方法，其特征在于，包括：/n确定神经网络；/n根据第一优化方式、以第一学习率训练所述神经网络，所述第一学习率在每次训练所述神经网络时更新；/n在同一向量空间中，将所述第一优化方式的第一学习率映射为第二优化方式的第二学习率；/n确定所述第二学习率满足预设的更新条件；/n根据第二优化方式、以所述第二学习率继续训练所述神经网络。/n
【技术特征摘要】
1.一种神经网络的训练方法，其特征在于，包括：
确定神经网络；
根据第一优化方式、以第一学习率训练所述神经网络，所述第一学习率在每次训练所述神经网络时更新；
在同一向量空间中，将所述第一优化方式的第一学习率映射为第二优化方式的第二学习率；
确定所述第二学习率满足预设的更新条件；
根据第二优化方式、以所述第二学习率继续训练所述神经网络。
2.根据权利要求1所述的方法，其特征在于，所述在同一向量空间中，将所述第一优化方式的第一学习率映射为第二优化方式的第二学习率，包括：
确定更新幅度，所述更新幅度表示根据所述第一优化方式、以所述第一学习率训练所述神经网络时、更新第一网络参数的幅度，所述第一网络参数表示根据所述第一优化方式、以所述第一学习率训练所述神经网络时、所述神经网络的参数；
确定第二网络参数的参数梯度，所述第二网络参数表示根据第二优化方式、以第二学习率训练所述神经网络时、所述神经网络的参数；
在同一向量空间中，确定所述更新幅度在所述参数梯度上的投影，作为所述第二优化方式的第二学习率。
3.根据权利要求2所述的方法，其特征在于，所述基于所述第一优化方式的第一学习率确定更新幅度，包括：
确定一阶动量、二阶动量；
确定第一目标值与第二目标值之间的比值，作为第三目标值，所述第一目标值为所述第一优化方式的第一学习率与所述一阶动量之间的乘积，所述第二目标值为所述第二动量与预设的第一数值之和的根；
确定所述第三目标值的相反数，作为更新幅度。
4.根据权利要求2所述的方法，其特征在于，所述在同一向量空间中，确定所述更新幅度在所述参数梯度上的投影，作为所述第二优化方式的第二学习率，包括：
对所述更新幅度进行转置，获得目标向量；
确定第四目标值、第五目标值，所述第四目标值为所述目标向量与所述更新幅度之间的乘积，所述第五目标值为所述目标向量与所述参数梯度之间的乘积；
计算所述第四目标值与所述第五目标值之间的比值，作为所述第二优化方式的第二学习率。
5.根据权利要求2所述的方法，其特征在于，所述基于所述第一优化方式的第一学习率确定更新幅度，还包括：
对所述第二学习率进行平滑处理。
6.根据权利要求5所述的方法，其特征在于，所述对所述第二学习率进行平滑处理，包括：
确定第一权重；
确定第二权重；
确定上一次训练所述神经网络时、平滑处理之后的第二学习率；
确定本次训练所述神经网络时、平滑处理之后的第二学习率为第六目标值与第七目标值之和，所述第六目标值为所述第一权重与上一次训练所述神经网络时、平滑处理之后的第二学习率之间的乘积，所述第七目标值为所述第二权重与所述第二学习率之间的乘积。
7.根据权利要求6所述的方法，其特征在于，所述确定第一权重，包括：
确定一阶动量、二阶动量；
确定第八目标值与第九目标值，所述第八目标值为预设的第二数值与所述一阶动量的超参数之间的差值，所述第九目标值为预设的第三数值与所述二阶动量的超参数之间的差值；
确定所述第八...
【专利技术属性】
技术研发人员：项伟，裴超，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。