缓解神经网络对未知类样本产生错误分类的方法及装置制造方法及图纸

本发明专利技术公开了一种缓解神经网络对未知类样本产生错误分类的方法及装置，所述方法在训练神经网络的时候，将原始训练集和未知类样本训练集输入到神经网络中进行训练，对于原始训练集通过第一损失函数进行训练，对于未知类样本训练集通过第二损失函数进行训练，当神经网络的总损失函数达到最小值时，神经网络训练完成，由于只有当神经网络对原始训练集中的训练样本的类别做出最高置信度的正确预测时，第一损失函数的损失值最小，而当神经网络对未知类样本的训练样本的类别做出最低置信度的错误预测时，第二损失函数的损失值最小，因此通过实施本发明专利技术实施例能缓解现有神经网络对于未知类样本产生高置信度错误分类的问题。

【技术实现步骤摘要】
缓解神经网络对未知类样本产生错误分类的方法及装置
本专利技术涉及人工智能领域，尤其涉及一种缓解神经网络对未知类样本产生错误分类的方法及装置。
技术介绍
随着人工智能的快速发展，利用深度学习的独特优势，神经网络近年来在机器人视觉目标识别、图像分类等应用领域取得了很好的效果。它们已经成为许多学习任务的标准，尽管这是一个巨大的成功案例，而且有很好的预测性能，但神经网络的工作也有一些方面是不可取的。任何分类器，特别是用于安全关键系统的分类器，不仅应该具有良好的泛化特性，而且还应该在遇到远离训练数据的未知类样本时做出低可信度的预测。这在安全关键领域特别重要,比如自动驾驶机器人、医疗型智能机器人。因此，它是分类器的一个极其重要的特性，但它并没有受到如此多的关注。而现有的产生分段仿射分类函数的神经网络，或多或少都不可避免的产生对远离训练数据集的未知类样本产生高置信度(一般置信度高于50％称为高置信度)的错误分类结果，将未知类样本的类型识别为原始训练集中的类别。
技术实现思路
本专利技术实施例提供一种缓解神经网络对未知类样本产生错误分类的方法及装置能缓解现有神经网络技术对远离训练数据集的未知类样本产生高置信度错误分类的情况。本专利技术实施例提供了一种缓解神经网络对未知类样本产生错误分类的方法，包括：获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；所述第一损失函数为：所述第二损失函数为：所述K为所述原始训练集中训练样本所属的类别、xi为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、fyi(xi)为神经网络将原始训练集中训练样本xi预测为第yi类的置信度、fk(xi)为神经网络将原始训练集中训练样本xi预测为第k类的置信度、fl(z)为神经网络将未知类样本训练集中训练样本Z预测为第l类的置信度；在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。进一步的，所述总损失函数为：其中，λ为预设权重，E为数学期望的字母表示。进一步的，所述原始训练集和所述未知类样本训练集中的训练样本均为图像。进一步的，所述未知类样本训练集的生成方式包括：将所述原始训练集中的各训练样本图像的像素点进行随机排列，获得若干第一未知训练样本；获取除第一未知训练样本之外的若干与所述原始训练集中训练样本类别不同的图像，得到若干第二未知训练样本；将所述若干第一未知训练样本和所述若干第二未知训练样本，作为所述未知类样本训练集中的训练样本，生成所述未知类样本训练集。进一步的，在将所述若干第一未知训练样本和所述若干第二未知训练样本，作为所述未知类样本训练集中的训练样本之前，还包括：通过高斯滤波器对所述若干第一未知训练样本和所述若干第二未知训练样本进行图像处理。在上述方法项实施例的基础上，本专利技术对应提供了装置项实施例；本专利技术一实施例提供了一种缓解神经网络对未知类样本产生错误分类的装置，包括训练集获取模块和神经网络训练模块以及已训练神经网络生成模块；所述训练集获取模块，用于获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；所述神经网络训练模块，用于将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；所述第一损失函数为：所述第二损失函数为：所述K为所述原始训练集中训练样本所属的类别、xi为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、fyi(xi)为神经网络将原始训练集中训练样本xi预测为第yi类的置信度、fk(xi)为神经网络将原始训练集中训练样本xi预测为第k类的置信度、fl(z)为神经网络将未知类样本训练集中训练样本Z预测为第l类的置信度；所述已训练神经网络生成模块，用于在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。通过实施本专利技术实施例具有如下有益效果：本专利技术实施例提供了一种缓解神经网络对未知类样本产生错误分类的方法及装置，所述方法在训练神经网络的时候，同时将原始训练集和未知类样本训练集输入到神经网络中进行训练，对于原始训练集通过第一损失函数进行训练，对于未知类样本训练集通过第二损失函数进行训练，当神经网络的总损失函数达到最小值时，神经网络训练完成，由于只有当神经网络在对原始训练集中的各训练样本进行类别识别的时候，对各训练样本预测为原始训练集中的类别的这种情况做出高置信度的预测结果时，第一损失函数的损失值最小，而当神经网络对未知类样本进行类别识别时，对未知类样本预测为原始训练集中的类别的这一情况做出最低置信度的预测时，第二损失函数的损失值最小，因此通过上述方法训练完成的神经网络，能够在样本识别时，针对原始训练集中的各样本，对各训练样本预测为原始训练集中的类别的这种情况做出高置信度的预测结果，而在针对未知类样本时，对未知类样本预测为原始训练集中的类别的这种情况做出低置信度的预测，缓解现有神经网络对于未知类样本产生高置信度错误分类，将未知类样本识别为原始训练集的类别的问题。附图说明图1是本专利技术一实施例提供的一种缓解神经网络对未知类样本产生错误分类的方法的流程示意图。图2是本专利技术一实施例提供的一种缓解神经网络对未知类样本产生错误分类的装置的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术一实施例提供了一种缓解神经网络对未知类样本产生错误分类的方法，包括：步骤S101、获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同。步骤S102、将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；所述第一损失函数为：所述第二损失函数为：所述K为所述原始训练集中训练样本所属的类别本文档来自技高网...

【技术保护点】
1.一种缓解神经网络对未知类样本产生错误分类的方法，其特征在于，包括：/n获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；/n将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；/n所述第一损失函数为：/n

【技术特征摘要】
1.一种缓解神经网络对未知类样本产生错误分类的方法，其特征在于，包括：
获取原始训练集以及未知类样本训练集；其中，所述未知类样本训练集中的训练样本均与所述原始训练集中的训练样本类别不同；
将所述原始训练集以及所述未知类样本训练集输入到神经网络进行训练；其中，所述原始训练集在所述神经网络中根据第一损失函数进行训练，所述未知类样本训练集在所述神经网络中根据第二损失函数进行训练；
所述第一损失函数为：



所述第二损失函数为：



所述K为所述原始训练集中训练样本所属的类别、xi为所述原始训练集中一训练样本、Z为所述未知类样本训练集中一训练样本、fyi(xi)为神经网络将原始训练集中训练样本xi预测为第yi类的置信度、fk(xi)为神经网络将原始训练集中训练样本xi预测为第k类的置信度、fl(Z)为神经网络将未知类样本训练集中训练样本Z预测为第l类的置信度；
在所述神经网络的总损失函数达到最小值时，停止训练，获得已训练神经网络；其中，所述总损失函数根据所述第一损失函数和第二损失函数生成。


2.如权利要求1所述的缓解神经网络对未知类样本产生错误分类的方法，其特征在于，所述总损失函数为：



其中，λ为预设权重，E为数学期望的字母表示。


3.如权利要求1所述的缓解神经网络对未知类样本产生错误分类的方法，其特征在于，所述原始训练集和所述未知类样本训练集中的训练样本均为图像。


4.如权利要求3所述的缓解神经网络对未知类样本产生错误分类的方法，其特征在于，所述未知类样本训练集的生成方式包括：
将所述原始训练集中的各训练样本图像的像素点进行随机排列，获得若干第一未知训练样本；
获取除第一未知训练样本之外的若干与所述原始训练...

【专利技术属性】
技术研发人员：苗丁锐博，唐可可，顾钊铨，李默涵，李树栋，王乐，仇晶，韩伟红，田志宏，殷丽华，
申请(专利权)人：广州大学，
类型：发明
国别省市：广东;44