神经网络模型之在线增量更新方法、装置、系统及存储介质制造方法及图纸

技术编号:28941266 阅读:20 留言:0更新日期:2021-06-18 21:45
本发明专利技术涉及神经网络模型之在线增量更新方法、装置、系统及存储介质,其针对每一个增量数据,通过对原始训练数据集进行采样,合并构建为一个样本均衡的批次,对神经网络模型进行训练和更新。本发明专利技术既能对增量数据进行学习,又实现了类似记忆库回放的功能,从过往训练数据中随机采样数据参与更新过程中的训练,就能够保留住神经网络模型原本的功能,并对神经网络模型存在的缺陷进行自我更新和完善。

【技术实现步骤摘要】
神经网络模型之在线增量更新方法、装置、系统及存储介质
本专利技术涉及深度学习
,具体涉及神经网络模型之在线增量更新方法、装置、系统及存储介质。
技术介绍
常规的神经网络,在线运行的过程中,必将产生一些由于模型训练的缺陷导致判断错误的数据,称之为增量数据。如图1所示,针对在神经网络运行期间产生的增量数据,当前只能通过定期重启整套模型的训练,并把这部分数据与原有训练集进行合并,才能更新整个网络,极度耗费时间和资源。目前的神经网络并不支持在线增量更新(在不中断当前模型判断任务的前提下)。如果只让神经网络在线更新并训练增量数据,由于增量数据的样本不均衡(只有模型缺陷的部分),必将导致模型对增量数据过拟合,从而令模型失去其原有功能,变成一个指哪打哪的机器而非人工智能,永远有训练不尽的增量数据。过拟合over-fitting:机器学习模型的训练误差远小于其在测试数据集上的误差,即泛化能力差。鉴于此,本专利技术人针对上述存在的问题进行深入构思,遂产生本案。
技术实现思路
本专利技术的目的在于提供一种神经网络模型之在线增量更新方法、装置、系统及存储介质,以实现神经网络模型在保留其原有功能的前提下,不用重启全套训练,就能完成对增量数据的训练和更新。为实现上述目的,本专利技术采用的技术方案为:神经网络模型之在线增量更新方法,其包括以下步骤:步骤1、神经网络模型产生误判数据,形成增量数据;步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样,将得到的训练数据与增量数据构建为一个样本均衡的批次,将其作为神经网络模型的更新训练数据集;步骤3、采用更新训练数据集对神经网络模型进行在线训练,训练结束后,若神经网络模型对增量数据未能掌握,无法做出正确的判断,重复步骤2,直至神经网络模型能够对增量数据做出正确的判断。所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN},所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN},其中,N≥2;样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同,且一一对应;当所述增量数据类型与样本训练数据集Ai的类型相同时,该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi,即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据;其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据,其中,i和j为1-N中的一个值,且i≠j。神经网络模型之在线增量更新装置,其包括更新训练数据集构建模块,用于在形成增量数据时,从神经网络模型的原始训练数据集中进行有放回的随机采样,并将采样得到的训练数据与增量数据结合形成更新训练数据集;在线增量更新模块,连接更新训练数据集构建模块,用于获取更新训练数据集并采用该更新训练数据集对神经网络模型进行在线训练。所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN},所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN},其中,N≥2;样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同,且一一对应;当所述增量数据类型与样本训练数据集Ai的类型相同时,该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi,即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据;其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据,其中,i和j为1-N中的一个值,且i≠j。神经网络模型之在线增量更新系统,所述系统包括处理器和存储器;所述存储器用于存储一个或多个软件程序,所述一个或多个程序包括指令,所述指令当被所述处理器执行时使所述处理器执行如上所述的方法。一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在终端设备上运行时,使得所述终端设备执行如上所述的方法。一种计算机软件程序产品,所述计算机软件程序产品在终端设备上运行时,使得所述终端设备执行如上所述的方法。一种违规言论判断模型的在线增量更新方法,其包括以下步骤:步骤1、违规言论判断模型产生误判数据,形成增量数据;所述误判是指正常言论判断为违规言论、或者违规言论判断为正常言论;步骤2、从违规言论判断模型的原始训练数据集中进行有放回的随机采样,将得到的训练数据与增量数据构建为一个样本均衡的批次,将其作为违规言论判断模型的更新训练数据集;所述原始训练数据集和更新训练数据集均包括正常言论数据集和违规言论数据集;当增量数据为正常言论时,从原始训练数据集的正常言论数据集中随机采样M-1个正常言论,与增量数据共同构成更新训练数据集的正常言论数据集;从原始训练数据集的违规言论数据集中速记采样M个违规言论作为更新训练数据集的违规言论数据集;当增量数据为违规言论时,从原始训练数据集的违规言论数据集中随机采样M-1个违规言论,与增量数据共同构成更新训练数据集的正常言论数据集;从原始训练数据集的正常言论数据集中速记采样M个正常言论作为更新训练数据集的正常言论数据集;步骤3、采用更新训练数据集对违规言论判断模型进行在线训练,训练结束后,若违规言论判断模型对增量数据未能掌握,无法做出正确的判断,重复步骤2,直至违规言论判断模型能够对增量数据做出正确的判断。采用上述方案后,本专利技术实现了神经网络模型的在线增量更新,无需对神经网络模型重启训练,在保留其在线判断功能的前提下完成了对增量数据的训练和更新。同时,由于构建增量训练数据的采样方式独特性,在每个训练批次都重新构建了放回式随机采样(并非一次性采样),从而令各个类别的样本在每个批次都是均衡的,进而令全训练流程的样本都处于均衡状态。既能从过往记忆中进行数据回放,保障模型的现有功能;同时,又能在避免过拟合的前提下,对增量数据进行训练。附图说明图1为现有神经网络模型的判断示意图;图2为本专利技术的神经网络模型的判断示意图;图3为本专利技术一实施例判断示意图。具体实施方式如图2所示,本专利技术揭示了一种神经网络模型之在线增量更新方法,其包括以下步骤:步骤1、神经网络模型产生误判数据,形成一个增量数据;步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样,将得到的训练数据与增量数据构建为一个样本均衡的批次,将其作为神经网络模型的更新训练数据集;步骤3、采用更新训练数据集对神经网络模型进行在线训练,训练结束后,若神经网络模型对增量数据未能掌握,无法做出正确的判断,重复步骤2,直至神经网络模型能够对增量数据做出正确的判断。所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN},所述更新训练数据集包括N个类型的样本文档来自技高网...

【技术保护点】
1.神经网络模型之在线增量更新方法,其特征在于:包括以下步骤:/n步骤1、神经网络模型产生误判数据,形成增量数据;/n步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样,将得到的训练数据与增量数据构建为一个样本均衡的批次,将其作为神经网络模型的更新训练数据集;/n步骤3、采用更新训练数据集对神经网络模型进行在线训练,训练结束后,若神经网络模型对增量数据未能掌握,无法做出正确的判断,重复步骤2,直至神经网络模型能够对增量数据做出正确的判断。/n

【技术特征摘要】
1.神经网络模型之在线增量更新方法,其特征在于:包括以下步骤:
步骤1、神经网络模型产生误判数据,形成增量数据;
步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样,将得到的训练数据与增量数据构建为一个样本均衡的批次,将其作为神经网络模型的更新训练数据集;
步骤3、采用更新训练数据集对神经网络模型进行在线训练,训练结束后,若神经网络模型对增量数据未能掌握,无法做出正确的判断,重复步骤2,直至神经网络模型能够对增量数据做出正确的判断。


2.根据权利要求1所述的神经网络模型之在线增量更新方法,其特征在于:所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN},所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN},其中,N≥2;样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同,且一一对应;
当所述增量数据类型与样本训练数据集Ai的类型相同时,该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi,即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据;其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据,其中,i和j为1-N中的一个值,且i≠j。


3.神经网络模型之在线增量更新装置,其特征在于:包括
更新训练数据集构建模块,用于在形成增量数据时,从神经网络模型的原始训练数据集中进行有放回的随机采样,并将采样得到的训练数据与增量数据结合形成更新训练数据集;
在线增量更新模块,连接更新训练数据集构建模块,用于获取更新训练数据集并采用该更新训练数据集对神经网络模型进行在线训练。


4.根据权利要求3所述的神经网络模型之在线增量更新装置,其特征在于:所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN},所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN},其中,N≥2;样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同,且一一对应;
当所述增量数据类型与样本训练数据集Ai的类型相同时,该增...

【专利技术属性】
技术研发人员:陈晨蔡海飘江伟唐镇川
申请(专利权)人:厦门吉比特网络技术股份有限公司
类型:发明
国别省市:福建;35

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1