【技术实现步骤摘要】
神经网络模型之在线增量更新方法、装置、系统及存储介质
本专利技术涉及深度学习
,具体涉及神经网络模型之在线增量更新方法、装置、系统及存储介质。
技术介绍
常规的神经网络,在线运行的过程中,必将产生一些由于模型训练的缺陷导致判断错误的数据,称之为增量数据。如图1所示,针对在神经网络运行期间产生的增量数据,当前只能通过定期重启整套模型的训练,并把这部分数据与原有训练集进行合并,才能更新整个网络,极度耗费时间和资源。目前的神经网络并不支持在线增量更新(在不中断当前模型判断任务的前提下)。如果只让神经网络在线更新并训练增量数据,由于增量数据的样本不均衡(只有模型缺陷的部分),必将导致模型对增量数据过拟合,从而令模型失去其原有功能,变成一个指哪打哪的机器而非人工智能,永远有训练不尽的增量数据。过拟合over-fitting:机器学习模型的训练误差远小于其在测试数据集上的误差,即泛化能力差。鉴于此,本专利技术人针对上述存在的问题进行深入构思,遂产生本案。
技术实现思路
本专利技术的目的在于提供一种神经网络模型之在线增量更新方法、装置、系统及存储介质,以实现神经网络模型在保留其原有功能的前提下,不用重启全套训练,就能完成对增量数据的训练和更新。为实现上述目的,本专利技术采用的技术方案为:神经网络模型之在线增量更新方法,其包括以下步骤:步骤1、神经网络模型产生误判数据,形成增量数据;步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样,将得到的训练数据 ...
【技术保护点】
1.神经网络模型之在线增量更新方法,其特征在于:包括以下步骤:/n步骤1、神经网络模型产生误判数据,形成增量数据;/n步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样,将得到的训练数据与增量数据构建为一个样本均衡的批次,将其作为神经网络模型的更新训练数据集;/n步骤3、采用更新训练数据集对神经网络模型进行在线训练,训练结束后,若神经网络模型对增量数据未能掌握,无法做出正确的判断,重复步骤2,直至神经网络模型能够对增量数据做出正确的判断。/n
【技术特征摘要】
1.神经网络模型之在线增量更新方法,其特征在于:包括以下步骤:
步骤1、神经网络模型产生误判数据,形成增量数据;
步骤2、从神经网络模型的原始训练数据集中进行有放回的随机采样,将得到的训练数据与增量数据构建为一个样本均衡的批次,将其作为神经网络模型的更新训练数据集;
步骤3、采用更新训练数据集对神经网络模型进行在线训练,训练结束后,若神经网络模型对增量数据未能掌握,无法做出正确的判断,重复步骤2,直至神经网络模型能够对增量数据做出正确的判断。
2.根据权利要求1所述的神经网络模型之在线增量更新方法,其特征在于:所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN},所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN},其中,N≥2;样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同,且一一对应;
当所述增量数据类型与样本训练数据集Ai的类型相同时,该增量数据与M-1个从样本训练数据集Ai中随机采样得到的样本数据共同形成样本数据集Bi,即样本数据集Bi包括1个增量数据和M-1个从样本训练数据集Ai中随机采样得到的样本数据;其他样本训练数据集Bj则包括M个从样本训练集Aj中随机采样得到的样本数据,其中,i和j为1-N中的一个值,且i≠j。
3.神经网络模型之在线增量更新装置,其特征在于:包括
更新训练数据集构建模块,用于在形成增量数据时,从神经网络模型的原始训练数据集中进行有放回的随机采样,并将采样得到的训练数据与增量数据结合形成更新训练数据集;
在线增量更新模块,连接更新训练数据集构建模块,用于获取更新训练数据集并采用该更新训练数据集对神经网络模型进行在线训练。
4.根据权利要求3所述的神经网络模型之在线增量更新装置,其特征在于:所述神经网络模型的原始训练数据集包括N个类型的样本训练数据集{A1,A2,…,AN},所述更新训练数据集包括N个类型的样本训练数据集{B1,B2,…,BN},其中,N≥2;样本训练数据集{B1,B2,…,BN}与样本训练数据集{A1,A2,…,AN}的类型相同,且一一对应;
当所述增量数据类型与样本训练数据集Ai的类型相同时,该增...
【专利技术属性】
技术研发人员:陈晨,蔡海飘,江伟,唐镇川,
申请(专利权)人:厦门吉比特网络技术股份有限公司,
类型:发明
国别省市:福建;35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。