一种模型参数调整方法、装置、电子设备和存储介质制造方法及图纸

本申请公开了一种模型参数调整方法、装置、电子设备和存储介质，涉及人工智能技术领域。具体实现方案为：获取使用当前样本数据对深度神经网络模型进行训练时，所述深度神经网络模型中包含的设定网络层的各输入特征参数；对各所述输入特征参数进行排序，根据排序结果选取数值最小的至少一个输入特征参数；将选取的各输入特征参数的数值调小。本申请实施例中，由于选出的取值较小的特征参数对模型最终输出结果影响不大，但可能会被对抗攻击者利用，因此将选出的部分输入特征参数的数值调到更小，使得即使被对抗攻击者利用，也不会严重影响模型的精度，进而保证了模型的鲁棒性。

【技术实现步骤摘要】
一种模型参数调整方法、装置、电子设备和存储介质
本申请实施例涉及计算机技术，尤其涉及人工智能
，特别涉及一种模型参数调整方法、装置、电子设备及存储介质。
技术介绍
模型鲁棒性是评价一个深度神经网络模型的重要指标。鉴于训练数据的非完备性和均匀分布的不可证明性，加之深度神经网络所固有的对抗样本等的存在，目前，没有方法可以保证深度神经网络模型输出结果的完全正确。该领域的主要工作是如何在较小的代价(比如有限的训练数据集，有限的计算资源和可接受的训练时间)下，尽可能保证输出的深度神经网络模型在测试集和验证集具备较高的准确性，并且在实际环境中具有较高的鲁棒性，可以适应各类环境变化或者人为因素导致的扰动和偏差，保证模型的可信。
技术实现思路
本申请实施例提供了一种模型参数调整方法、装置、电子设备及存储介质，以提升深度神经网络模型的鲁棒性。根据第一方面，提供了一种模型参数调整方法，包括：获取使用当前样本数据对深度神经网络模型进行训练时，所述深度神经网络模型中包含的设定网络层的各输入特征参数；对各所述输入特征参数进行排序，根据排序结果选取数值最小的至少一个输入特征参数；将选取的各输入特征参数的数值调小。根据第二方面，提供了一种模型参数调整装置，包括：特征参数获取模块，用于获取使用当前样本数据对深度神经网络模型进行训练时，所述深度神经网络模型中包含的设定网络层的各输入特征参数；排序筛选模块，用于对各所述输入特征参数进行排序，根据排序结果选取数值最小的至少一个输入特征参数；调整模块，用于将选取的各输入特征参数的数值调小。根据第三方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本申请任意实施例所述的模型参数调整方法。根据第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本申请任意实施例所述的模型参数调整方法。根据本申请的技术，在保证模型精度的同时，提高了深度神经网络模型的鲁棒性。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1a是根据本申请第一实施例的模型参数调整方法的流程示意图；图1b是根据本申请第一实施例的设定层为全连接层时的各个输入特征参数的示意图；图2是根据本申请第二实施例的模型参数调整方法的流程示意图；图3是根据本申请第三实施例的模型参数调整装置的结构示意图；图4是用来实现本申请实施例的模型参数调整方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1a是根据本申请第一实施例的模型参数调整的方法的流程示意图，本实施例可适用于提升深度神经网络模型鲁棒性的情况。该方法可由一种模型参数调整装置来执行，该装置采用软件和/或硬件的方式实现，优选是配置于电子设备中，例如服务器、计算机设备等。参见图1a，模型参数调整的方法具体如下：S101、获取使用当前样本数据对深度神经网络模型进行训练时，所述深度神经网络模型中包含的设定网络层的各输入特征参数。其中，深度神经网络模型是一种运算模型，有大量的节点(或称神经元)之间相互连接构成。每个节点可以代表一种特定的输出函数，称为激励函数。每两个节点间的连接都代表一个对于通过该连接信号的加权值，也即是输入特征参数。而要训练深度神经网络模型，需要预先准备训练样本集，所述训练样本集中包括多个训练样本。本申请实施例中，所述当前样本数据可选的为训练样本集中的一个训练样本。本申请实施例中，深度神经网络模型可选的为卷积神经网络模型，相应的，所述设定网络层包括卷积层和/或全连接层。需要说明的是，设定网络层可以为全部的卷积层和/或全部的全连接层，也可以为部分卷积层和/或部分全连接层。而之所以将设定网络层选为卷积层和/或全连接层，是因为卷积层和/或全连接层的输入特征参数对模型鲁棒性有重大影响，因此获取卷积层和/或全连接层的输入特征参数后，通过后续的参数调整，可以提升深度神经网络模型的鲁棒性。示例性的，参见图1b，其示出了设定层为全连接层时的各个输入特征参数，例如，节点x1与节点y1、y2、y3之间的输入特征参数分别为w11、w21、w31；节点x2与节点y1、y2、y3之间的输入特征参数分别为w12、w22、w32；节点x3与节点y1、y2、y3之间的输入特征参数分别为w13、w23、w33。S102、对各所述输入特征参数进行排序，根据排序结果选取数值最小的至少一个输入特征参数。本申请实施例中，由于取值较小的特征参数对模型最终输出结果影响不大，但可能会被对抗攻击者利用，也即训练好的深度神经网络模型存在鲁棒性差的问题。因此，为了提升深度神经网络模型的鲁棒性，需要在模型训练时，将输入特征参数取值较小的选出来，例如通过对各输入特征参数进行排序，根据排序结果选取数值最小的至少一个输入特征参数。在一种可选的实施方式中，根据排序结果选取数值最小的至少一个输入特征参数，包括：根据排序结果选取数值最小的N个输入特征参数，其中N等于输入特征参数的总个数乘以预设比例值后获得的整数值，由此可以快速、准确的选出需要调整的N个输入特征参数。示例性的，输入特征参数的总个数为1000，预设比例为10％，在将输入特征参数的取值按照由小到大的顺序排序后，只需选取前100个即可。需要说明的是，如果存在输入特征参数取值为负数的情况，为了提升选取输入特征参数的准确性，可根据各输入特征参数取值的绝对值进行排序，进而根据排序结果选取数值最小的N个输入特征参数。S103、将选取的各输入特征参数的数值调小。为了提升深度神经网络模型的鲁棒性，可将选取的输入特征参数的数值调到更小，使其对模型的影响可以忽略不计，进而使得选出的输入特征参数即便被对抗攻击者利用，也不会严重影响模型的精度，由此保证了模型的鲁棒性。在一种可选的实施方式中，为了保证模型的鲁棒性，可直接将选取的各输入特征参数的数值调整为0，使得选出的各输入特征参数无法被对抗攻击者利用。而且将选取的各输入特征参数的数值调整为0，实现了对选出的各输入特征参数的裁剪，进而达到了压缩深度神经网络模型的目的。进一步的，在将选取的各输入特征参数的数值调小之后，所述方法还包括S1031-S1033：S本文档来自技高网...

【技术保护点】
1.一种模型参数调整方法，包括：/n获取使用当前样本数据对深度神经网络模型进行训练时，所述深度神经网络模型中包含的设定网络层的各输入特征参数；/n对各所述输入特征参数进行排序，根据排序结果选取数值最小的至少一个输入特征参数；/n将选取的各输入特征参数的数值调小。/n

【技术特征摘要】
1.一种模型参数调整方法，包括：
获取使用当前样本数据对深度神经网络模型进行训练时，所述深度神经网络模型中包含的设定网络层的各输入特征参数；
对各所述输入特征参数进行排序，根据排序结果选取数值最小的至少一个输入特征参数；
将选取的各输入特征参数的数值调小。


2.根据权利要求1所述的方法，其中，将选取的各输入特征参数的数值调小，包括：
将选取的各输入特征参数的数值调整为0。


3.根据权利要求1所述的方法，其中，根据排序结果选取数值最小的至少一个输入特征参数，包括：
根据排序结果选取数值最小的N个输入特征参数，其中N等于输入特征参数的总个数乘以预设比例值后获得的整数值。


4.根据权利要求1所述的方法，其中，在将选取的各输入特征参数的数值调小之后，所述方法还包括：
判断是否已完成设定次数的迭代训练或者所述深度神经网络模型的准确度是否不低于预设值；
若是，则确定对所述深度神经网络模型的训练结束；若否，则将另一样本数据作为当前样本数据后，返回执行获取使用当前样本数据对深度神经网络模型进行训练时，所述深度神经网络模型中包含的设定网络层的各输入特征参数的操作。


5.根据权利要求1所述的方法，其中，所述深度神经网络模型为卷积神经网络模型，所述设定网络层包括卷积层和/或全连接层。


6.根据权利要求1-5中任一项所述的方法，其中，在对所述深度神经网络模型的训练结束后，所述方法还包括：
获取验证样本集；
基于所述验证样本集和训练结束后获得的所述深度神经网络模型，生成第一对抗样本集；基于所述验证样本集和已有深度神经网络模型，生成第二对抗样本集；所述已有深度神经网络模型是采用已有训练方式训练获得的深度神经网络模型，所述已有训练方式是指在训练过程中未调整网络层的输入特征参数的训练方式；
根据第一对抗样本集确定所述已有深度神经网络模型的第一准确度，根据第二对抗样本集确定训练结束后获得的所述深度神经网络模型的第二准确度，将第一准确度和第二准确度进行输出，以根据输出内容确定模型训练效果。


7.根据权利要求6所述的方法，其中，根据第一对抗样本集确定所述已有深度神经网络模型的第一准确度，根据第二对抗样本集确定训练结束后获得的所述深度神经网络模型的第二准确度，包括：
将第一对抗样本集中的各第一对抗样本分别输入所述已有深度神经网络模型，获得所述已有深度神经网络模型针对各第一对抗样本分别输出的预测结果；通过将各预测结果与各第一对抗样本对应的标签信息进行比对，确定所述已有深度神经网络模型的预测准确率，将该预测准确率作为第一准确度；
将第二对抗样本集中的各第二对抗样本分别输入训练结束后获得的所述深度神经网络模型，获得训练结束后获得的所述深度神经网络模型针对各第二对抗样本分别输出的预测结果，通过将各预测结果与各第二对抗样本对应的标签信息进行比对，确定训练结束后获得的所述深度神经网络模型的预测准确率，将该预测准确率作为第二准确度。


8.一种模型参数调整装置，包括：
特征参数获取模块，用于获取使用当前样本数据对深度神经网络模型进行训练时，所述深度神经网络模型中包含的设定网络层的各输入特征参数；
排序筛选模块，用于对各所述输入特征参数进行排序，根据排序结果选取数值最小的至少一个...

【专利技术属性】
技术研发人员：吴月升，刘焱，王洋，郝新，熊俊峰，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11