当前位置: 首页 > 专利查询>上海大学专利>正文

提高回归网络鲁棒性的正则化方法、系统、计算机系统及可读存储介质技术方案

技术编号:42577374 阅读:25 留言:0更新日期:2024-08-29 00:41
本发明专利技术涉及一种提高回归网络鲁棒性的正则化方法、系统、计算机系统及可读存储介质。正则化方法包括:确定数据集中距离目标点位最近的点位;计算目标点位的利普希茨常数;计算目标点位的扰动半径;惩罚网络响应随输入扰动而产生输出变化幅度超过利普希茨常数的情况,确定正则化项;执行回归网络的优化。正则化系统包括点位确定模块、利普希茨常数计算模块、扰动半径计算模块、正则化项确定模块及回归网络优化模块。本发明专利技术提出的正则化方法,通过在损失函数中加入正则化项来惩罚输入扰动引起神经网络输出变化幅度超过利普希茨常数的情况,保证训练得到的神经网络回归器在受到对抗攻击时其响应被限制在合理范围内,可以通用且有效地提高回归网络的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及深度学习,特别涉及一种提高回归网络鲁棒性的正则化方法、系统、计算机系统及可读存储介质


技术介绍

1、近年来,深度神经网络作为人工智能的一个重要分支,在图像识别、语音识别、智能驾驶、医疗健康等领域都取得了惊人的成果。神经网络可以将原始数据转化为一种规律性模式,通过模拟大脑神经元进行建立连接、信息传递等过程。深度神经网络在如今大数据驱动的创新中,起到关键的推动作用。

2、研究发现,深度神经网络很容易受到微小输入扰动的干扰,这些干扰人类无法察觉,却会引起机器的错误,这个引起错误的数据叫做对抗样本。对抗样本即在数据中加入细微扰动,会导致模型以较高的置信度给出错误的输出,这也是机器学习算法研究的一个盲点。对抗攻击现象的存在严重制约了神经网络的应用范围,在安全性要求高的场景中必须确保网络具有足够的鲁棒性。

3、现有关于提高神经网络对抗鲁棒性的研究很多,但是大部分对抗神经网络的研究针对的都是分类问题,少数针对对抗回归问题的研究都存在一个共性问题,即只关注特殊情况的回归比如线性模型集合的特殊情况下的攻击。现有的回归网络鲁棒性方法对所本文档来自技高网...

【技术保护点】

1.一种提高回归网络鲁棒性的正则化方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的提高回归网络鲁棒性的正则化方法,其特征在于,所述确定数据集中距离目标点位最近的点位包括:

3.根据权利要求1所述的提高回归网络鲁棒性的正则化方法,其特征在于,所述计算目标点位的利普希茨常数包括:

4.根据权利要求1所述的提高回归网络鲁棒性的正则化方法,其特征在于,所述计算目标点位的扰动半径包括:

5.根据权利要求1所述的提高回归网络鲁棒性的正则化方法,其特征在于,所述惩罚网络响应随输入扰动而产生输出变化幅度超过利普希茨常数的情况,确定正则化项包括:<...

【技术特征摘要】

1.一种提高回归网络鲁棒性的正则化方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的提高回归网络鲁棒性的正则化方法,其特征在于,所述确定数据集中距离目标点位最近的点位包括:

3.根据权利要求1所述的提高回归网络鲁棒性的正则化方法,其特征在于,所述计算目标点位的利普希茨常数包括:

4.根据权利要求1所述的提高回归网络鲁棒性的正则化方法,其特征在于,所述计算目标点位的扰动半径包括:

5.根据权利要求1所述的提高回归网络鲁棒性的正则化方法,...

【专利技术属性】
技术研发人员:徐梁宋娇娇杨洋任肖强刘晗笑赵国翔汪小帆彭艳
申请(专利权)人:上海大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1