基于改进在线深度学习的用户需求预测方法技术

本发明专利技术涉及一种基于改进在线深度学习的用户需求预测方法，其特征在于，包括以下步骤：1)对神经元输入数据进行正负判断，2)若数据为正值，则原样输出；若数据为负值，则通过sigmoid函数计算得到其激活概率，3)通过数据特性驱动的激活函数DReLu对数据激活输出，4)通过HBP在线深度学习模型实现对用户需求的精确动态预测，该基于改进在线深度学习的用户需求预测方法，采用在线深度学习模型能够更好的处理流式数据，同时，从数据流中更能捕捉用户的实时需求；其次，利用改进的DReLu激活函数能够提高数据的利用率，缓解深度学习中神经元“死亡”现象，从而能够弥补在线深度学习算法对用户需求预测能力的不足。

User demand forecasting method based on improved online deep learning

【技术实现步骤摘要】
基于改进在线深度学习的用户需求预测方法
本专利技术特别涉及一种基于改进在线深度学习的用户需求预测方法。
技术介绍
用户服务需求预测对于准确地感知用户的服务需求，提高主动服务推荐的准确性具有重要意义。近年来，在线深度学习方法逐渐成为一种主要的在线预测方法，在多个领域取得了成功的应用。在线深度学习中，激活函数是提高深度学习预测性能的关键，传统ReLu激活函数对输入为负的数据梯度为零，造成神经元节点“死亡”，严重影响了模型预测的准确率。
技术实现思路
本专利技术要解决的技术问题是：为了克服现有技术的不足，提供一种基于改进在线深度学习的用户需求预测方法。1、本专利技术解决其技术问题所采用的技术方案是：该方法包括以下步骤：1)对神经元输入数据进行正负判断；2)若数据为正值，则原样输出；若数据为负值，则通过sigmoid函数计算得到其激活概率；3)通过数据特性驱动的激活函数DReLu对数据激活输出；4)通过HBP在线深度学习模型实现对用户需求的精确动态预测；其中，激活函数DReLu的表达公式为：该激活函数的计算过程可以描述为：对于数据流实例特征xt，经过具有n个神经元节点的神经网络隐含层的线性运算，得到一个n维的向量当该向量的第i个节点的取值为正的时候，采取ReLu函数的激活方式，当该向量的第i个节点的取值为负数的时候，首先利用sigmoid函数计算该值的激活概率并且是由该数据本身特性决定的激活可能性。作为优选，HBP在线深度学习模型表达公式：其中，f(l)＝softmax(h(l)θ(l)),h(l)＝σ(W(l)h(l-1)),h(0)＝x，在上述公式中，θ(l)和α是新引入的两组参数，θ(l)表示每个隐含层与对应分类器的权重，每个分类器f由其进行参数化，而α表示模型输出中每个分类器所占的比重。L+1个分类器的加权组合构成模型总的输出，所以模型总的损失函数表示如以下公式所示：在在线学习的过程中，我们需要不断学习参数α(l),θ(l),W(l)，在模型的第一次反向更新参数时，预设所有权重α是均匀分布的，即作为优选，权重α的更新方式如以下公式所示：其中β∈(0,1)，是权重更新的折扣率参数，为了保证所有α之和为1，所以在每个数据流实例训练结束时对α进行标准化处理。为了解决浅层HBP模型初始性能较差问题，设置平滑参数s∈(0,1)，用于为每个分类器设置最小权重,在每次迭代中对分类器进行权重更新之后，权重设置为：保持了每个深度的分类器的最小权重。作为优选，所有分类器的参数θ(l)更新和传统DNN输出层权重更新类似，表达公式如下：作为优选，对于参数W(l),由于误差是从模型的输出层反向传播的，其更新表达公式如下：其中是通过来自误差导数f(j)来计算的。本专利技术的有益效果是，该基于改进在线深度学习的用户需求预测方法，采用在线深度学习模型能够更好的处理流式数据，通过接收顺序到达的数据流能够不断反馈和提高模型学习能力；同时，从数据流中更能捕捉用户的实时需求；其次，利用改进的DReLu激活函数(即：由数据自身特征驱动的激活函数)能够提高数据的利用率，通过挖掘数据自身的特性，缓解深度学习中神经元“死亡”现象，从而能够弥补在线深度学习算法对用户需求预测能力的不足。附图说明下面结合附图和实施例对本专利技术进一步说明。图1是本专利技术的累积误差表。图2是本专利技术的用户需求预测累积误差对比图。具体实施方式现在结合附图对本专利技术作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本专利技术的基本结构，因此其仅显示与本专利技术有关的构成。实施例1该方法包括以下步骤：1)对神经元输入数据进行正负判断；2)若数据为正值，则原样输出；若数据为负值，则通过sigmoid函数计算得到其激活概率；3)通过数据特性驱动的激活函数DReLu对数据激活输出；4)通过HBP在线深度学习模型实现对用户需求的精确动态预测；其中，激活函数DReLu的表达公式为：该激活函数的计算过程可以描述为：对于数据流实例特征xt，经过具有n个神经元节点的神经网络隐含层的线性运算，得到一个n维的向量当该向量的第i个节点的取值为正的时候，采取ReLu函数的激活方式，当该向量的第i个节点的取值为负数的时候，首先利用sigmoid函数计算该值的激活概率并且是由该数据本身特性决定的激活可能性。作为优选，HBP(即：对冲反向传播算法)在线深度学习模型表达公式：其中，f(l)＝softmax(h(l)θ(l)),h(l)＝σ(W(l)h(l-1)),h(0)＝x，在上述公式中，θ(l)和α是新引入的两组参数，θ(l)表示每个隐含层与对应分类器的权重，每个分类器f由其进行参数化，而α表示模型输出中每个分类器所占的比重。L+1个分类器的加权组合构成模型总的输出，所以模型总的损失函数表示如以下公式所示：在在线学习的过程中，我们需要不断学习参数α(l),θ(l),W(l)，在模型的第一次反向更新参数时，预设所有权重α是均匀分布的，即作为优选，权重α的更新方式如以下公式所示：其中β∈(0,1)，是权重更新的折扣率参数，为了保证所有α之和为1，所以在每个数据流实例训练结束时对α进行标准化处理。为了解决浅层HBP模型初始性能较差问题，设置平滑参数s∈(0,1)，用于为每个分类器设置最小权重,在每次迭代中对分类器进行权重更新之后，权重设置为：保持了每个深度的分类器的最小权重。作为优选，所有分类器的参数θ(l)更新和传统DNN(即：深度神经网络算法)输出层权重更新类似，表达公式如下：作为优选，对于参数W(l),由于误差是从模型的输出层反向传播的，其更新表达公式如下：其中是通过来自误差导数f(j)来计算的。本申请中，(1)基于数据自身决定的激活函数建立了模型输入与输出之间的非线性关系映射，有助于充分利用和挖掘数据中的有效消息，缓解了ReLu激活函数神经元“死亡”现象，提高了模型的预测性能，从侧面初步体现了模型的“智能”。(2)提出了一种基于改进的在线深度学习算法的用户需求预测方法，为主动精确地感知用户需求提供了有效的途径。HBP在线深度学习模型的在线学习目标是基于一系列顺序到达的数据流D＝{(x1,y1)，...，(xT,yT)}学习函数F:Rd→RC，其中xt∈Rd是一个d维的实例表示特征，而yt∈{0,1}C是实例xt对应的类别标签，其中C是类别的数量。在用户需求预测问题中，x表示用户使用服务时所处的情景信息，即表明用户是在该情境下提出了服务需求y，y表示用户所提出的服务需求的类型。在在线学习中，用户需求的预测值通常用表示，学习函数的性能评估指标通常采用累积误差来评价，累计误差为其中J为指示函数，当条件为真时，表示用户需求的预测值与实际值不符，J的取值为1；否则为J的取值为0。为了最小化数据流序列上的分类误差，通常选择损失函数用于最小化，如交叉熵、均方误差等。当模型观察到一个数据流实例本文档来自技高网...

【技术保护点】
1.一种基于改进在线深度学习的用户需求预测方法，其特征在于，包括以下步骤：/n1)对神经元输入数据进行正负判断；/n2)若数据为正值，则原样输出；若数据为负值，则通过sigmoid函数计算得到其激活概率；/n3)通过数据特性驱动的激活函数DReLu对数据激活输出；/n4)通过HBP在线深度学习模型实现对用户需求的精确动态预测；/n其中，激活函数DReLu的表达公式为：

【技术特征摘要】
1.一种基于改进在线深度学习的用户需求预测方法，其特征在于，包括以下步骤：
1)对神经元输入数据进行正负判断；
2)若数据为正值，则原样输出；若数据为负值，则通过sigmoid函数计算得到其激活概率；
3)通过数据特性驱动的激活函数DReLu对数据激活输出；
4)通过HBP在线深度学习模型实现对用户需求的精确动态预测；
其中，激活函数DReLu的表达公式为：该激活函数的计算过程可以描述为：对于数据流实例特征xt，经过具有n个神经元节点的神经网络隐含层的线性运算，得到一个n维的向量当该向量的第i个节点的取值为正的时候，采取ReLu函数的激活方式，当该向量的第i个节点的取值为负数的时候，首先利用sigmoid函数计算该值的激活概率并且是由该数据本身特性决定的激活可能性。


2.如权利要求1所述的基于改进在线深度学习的用户需求预测方法，其特征在于，HBP在线深度学习模型表达公式：其中，h(0)＝x，在上述公式中，θ(l)和α是新引入的两组参数，θ(l)表示每个隐含层与对应分类器的权重，每个分类器f由其进行参数化，而α表示模型输出中每个分类器所占的比重。L+1个...

【专利技术属性】
技术研发人员：曾峰，刘志中，张振兴，
申请(专利权)人：深圳市物语智联科技有限公司，
类型：发明
国别省市：广东;44