一种基于有界正交约束的可解释神经网络优化方法与系统技术方案

本发明专利技术公开了一种基于有界正交约束的可解释神经网络优化方法与系统，该方法包括：获取训练数据集；利用训练数据集训练神经网络模型参数；其中，神经网络模型参数包括，基于有界性约束的神经网络模型权重参数和基于正交性约束的同层神经网络权重参数；基于有界性约束和正交性约束构建优化目标的损失函数，并对神经网络模型参数进行优化，直到损失函数收敛以更新神经网络模型参数得到训练好的神经网络模型。本发明专利技术能够获得具备较强可解释性的神经网络模型，该模型能够实现高精度回溯重建及显著性图生成，同时提升模型的分类性能，以提高自动驾驶等高可靠行业中应用黑盒模型的信任度。度。度。

【技术实现步骤摘要】
一种基于有界正交约束的可解释神经网络优化方法与系统


[0001]本专利技术涉神经网络优化
，特别是涉及一种基于有界正交约束的可解释神经网络优化方法与系统。

技术介绍

[0002]深度神经网络(DNN)的专利技术促进了几乎所有人工智能应用。然而，DNN的黑箱特性阻碍了人们理解网络的内部工作原理。诸如自动驾驶、量化金融等需要高可靠度的行业亟需可解释的模型。DNN通常作为一种万能映射函数，用以连接输入数据空间和隐变量空间。因此，通常从两个映射方向上考虑可解释性：(1)前传方向(可理解性)：指的是模型产生每个模块如何将输入变换为隐变量的直观理解的能力；(2)反传方向(透明性)：指的是将隐变量逆向变换到原始空间的能力。只有同时拥有可理解性和透明性才能让模型具有可解释性。
[0003]神经网络的性质与其对应的优化问题高度相关。基本的随机梯度下降(SGD)优化器一般沿着随机梯度的方向更新参数。之后的优化器(例如RMSProp和Adam)通过利用二阶矩估计和滑动平均来计算自适应的梯度。其他的研究则关注利用平坦的优化目标面来提升泛化性能。除此之外外本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于有界正交约束的可解释神经网络优化方法，其特征在于，包括以下步骤：获取训练数据集；利用所述训练数据集训练神经网络模型参数；其中，所述神经网络模型参数包括，基于有界性约束的神经网络模型权重参数和基于正交性约束的同层神经网络权重参数；基于所述有界性约束和正交性约束构建优化目标的损失函数，并对所述神经网络模型参数进行优化，直到所述损失函数收敛以更新神经网络模型参数得到训练好的神经网络模型。2.根据权利要求1所述的方法，其特征在于，在得到所述训练好的神经网络模型之后，所述方法，还包括：将图像数据输入所述训练好的神经网络模型，根据图像数据每个通道最大激活值得到顶层特征的最显著的多个通道；对每个通道执行重建任务分别得到多个重建结果，利用预设的阈值对所有的重建结果进行二值化得到遮罩集合；根据激活值对所述遮罩集合中所有的遮罩进行加权求和得到最终的显著性图。3.根据权利要求1所述的方法，其特征在于，所述方法，还包括对待训练的神经网络模型参数进行初始化，并对所述训练数据集进行预处理。4.根据权利要求3所述的方法，其特征在于，基于所述有界正交约束的约束条件得到有约束优化问题：约束优化问题：利用拉格朗日乘子法将有约束优化问题转换为无约束问题：其中，及分别是权重和偏置参数，为权重的行向量，X为训练数据集。5.根据权利要求4所述的方法，其特征在于，所述更新神经网络模型参数的更新策略为：其中，α表示学习率，λ表示约束系数。6.一种基于有界正交约束的可解释神经网络优化系统，其特...

【专利技术属性】
技术研发人员：周杰，鲁继文，张博睿，郑文钊，
申请(专利权)人：清华大学，
类型：发明
国别省市：