一种训练神经网络的方法及系统技术方案

本说明书实施例公开了一种训练神经网络的方法及系统。所述方法包括：将训练数据输入N层神经网络，第K层神经网络输出第一概率分布，第N层神经网络输出第二概率分布；其中，N大于K，N和K为大于0的整数；根据所述第一概率分布与所述第二概率分布，确定第一反馈信号；根据所述第一反馈信号调节1～K层神经网络的参数，使得所述1～K层神经网络学习所述第N层神经网络输出的第二概率分布，得到训练好的K层神经网络。

A method and system of training neural network

【技术实现步骤摘要】
一种训练神经网络的方法及系统
本说明书实施例涉及数据处理领域，特别涉及一种训练神经网络的方法及系统。
技术介绍
随着人工智能领域的快速发展，神经网络得到了广泛的应用。例如，通过神经网络对数据进行实时预测。当数据的预测精度要求特别高时，通常采用深层神经网络进行处理，然而，由于深层神经网络的层数多，参数量多，其预测速度较慢。因此，如何同时保证神经网络预测效果和预测速度成为目前亟需解决的技术问题。
技术实现思路
本说明书实施例的一个方面提供一种训练神经网络的方法，所述方法包括：将训练数据输入N层神经网络，第K层神经网络输出第一概率分布，第N层神经网络输出第二概率分布；其中，N大于K，N和K为大于0的整数；根据所述第一概率分布与所述第二概率分布，确定第一反馈信号；根据所述第一反馈信号调节1～K层神经网络的参数，使得所述1～K层神经网络学习所述第N层神经网络输出的第二概率分布，得到训练好的K层神经网络。本说明书实施例的一个方面提供一种基于神经网络进行预测的方法，所述方法包括：采用如上所述的训练好的K层神经网络对目标数据本文档来自技高网...

【技术保护点】
1.一种训练神经网络的方法，包括：/n将训练数据输入N层神经网络，第K层神经网络输出第一概率分布，第N层神经网络输出第二概率分布；其中，N大于K，N和K为大于0的整数；/n根据所述第一概率分布与所述第二概率分布，确定第一反馈信号；/n根据所述第一反馈信号调节1～K层神经网络的参数，使得所述1～K层神经网络学习所述第N层神经网络输出的第二概率分布，得到训练好的K层神经网络。/n

【技术特征摘要】
1.一种训练神经网络的方法，包括：
将训练数据输入N层神经网络，第K层神经网络输出第一概率分布，第N层神经网络输出第二概率分布；其中，N大于K，N和K为大于0的整数；
根据所述第一概率分布与所述第二概率分布，确定第一反馈信号；
根据所述第一反馈信号调节1～K层神经网络的参数，使得所述1～K层神经网络学习所述第N层神经网络输出的第二概率分布，得到训练好的K层神经网络。


2.如权利要求1所述的方法，所述根据所述第一概率分布与所述第二概率分布，确定第一反馈信号包括：
基于所述第一概率分布和所述第二概率分布确定差异函数；所述差异函数用于衡量两个概率分布的差异情况；
基于所述差异函数计算差异幅度，将所述差异幅度确定为所述第一反馈信号；其中，所述差异幅度用于表示差异函数的差异程度。


3.如权利要求2所述的方法，所述差异幅度为所述差异函数关于所述K层神经网络的所述参数的梯度。


4.如权利要求2所述的方法，所述差异函数为KL距离函数或JS距离函数。


5.如权利要求1所述的方法，所述N为大于10的整数，所述K为大于等于2、小于等于5的整数。


6.如权利要求1所述的方法，还包括：
基于所述第一概率分布与所述训练数据的标签确定第二反馈信号，并根据所述第二反馈信号调节所述1～K层神经网络的参数；或/和
基于所述第二概率分布与所述训练数据的标签确定第三反馈信号，并根据所述第三反馈信号调节1～N层神经网络的参数。


7.如权利要求6所述的方法，所述基于所述第一概率分布与所述训练数据的标签确定第二反馈信号包括：
基于所述第一概率分布和所述标签确定第一损失函数；
将所述第一损失函数关于所述K层神经网络的所述参数的梯度确定为所述第二反馈信号。


8.如权利要求6所述的方法，所述基于所述第二概率分布与所述训练数据的标签确定第三反馈信号包括：
基于所述第二概率分布和所述标签确定第二损失函数；
将所述第二损失函数关于所述N层神经网络的所述参数的梯度确定为所述第三反馈信号。


9.如权利要求1所述的方法，所述训练好的K层神经网络用于预警数据的预测。


10.一种基于神经网络进行预测的方法，包括：
采用如权利要求1所述的训练好的K层神经网络对目标数据进行预测，得到目标数据的目标预测结果。


11.一种训练神经网络的系统，包括：
概率分布确定模块，用于将训练数据输入N层神...

【专利技术属性】
技术研发人员：蒋亮，温祖杰，梁忠平，张家兴，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：浙江;33