模型网络参数处理方法、设备及可读存储介质技术

本申请公开了一种模型网络参数处理方法、设备及可读存储介质，所述模型网络参数处理方法包括：获取训练数据和预训练模型，并将所述训练数据输入所述预训练模型，以基于预设极化损失总函数，对所述预训练模型的模型网络参数进行极化更新，获得极化模型网络参数，对所述极化模型网络参数进行哈希编码，获得所述极化模型网络参数对应的目标压缩参数。本申请解决了模型网络参数处理精度低的技术问题。

【技术实现步骤摘要】
模型网络参数处理方法、设备及可读存储介质
本申请涉及金融科技(Fintech)的人工智能领域，尤其涉及一种模型网络参数处理方法、设备及可读存储介质。
技术介绍
随着金融科技，尤其是互联网科技金融的不断发展，越来越多的技术(如分布式、区块链Blockchain、人工智能等)应用在金融领域，但金融业也对技术提出了更高的要求，如对金融业对应待办事项的分发也有更高的要求。随着计算机软件和人工智能的不断发展，神经网络的应用领域也越来越广泛，而神经网络的模型网络参数为浮点数，进而在对模型网络参数进行存储所需的存储空间往往极大，存储之前需要对神经网络进行压缩，目前，通常通过直接训练二值神经网络，将神经网络的模型网络参数转换为二值的模型网络参数，也即，将模型网络参数转换为数值0和数值1，进而实现了对模型网络参数的压缩，然而在直接训练二值神经网络时，容易发生梯度消失，例如，当神经网络中某一神经元对应的模型参数已经训练好且为0时，则该神经元的输出将为0，进而该神经元所连接的下一神经元的输入将为0，进而该下一神经元的参数对应的梯度将为0，也即，发生了梯度消失，进而无法对该下一神经元对应的参数进行精确的更新，进而导致训练获得的二值神经网络的模型网络参数的精度较低，进而导致模型网络参数压缩的精度较低。
技术实现思路
本申请的主要目的在于提供一种模型网络参数处理方法、设备及可读存储介质，旨在解决现有技术中模型网络参数压缩精度低的技术问题。为实现上述目的，本申请提供一种模型网络参数处理方法，所述模型网络参数处理方法应用于模型网络参数处理设备，所述模型网络参数处理方法包括：获取训练数据和预训练模型，并将所述训练数据输入所述预训练模型，以基于预设极化损失总函数，对所述预训练模型的模型网络参数进行极化更新，获得极化模型网络参数；对所述极化模型网络参数进行哈希编码，获得所述极化模型网络参数对应的目标压缩参数。可选地，所述训练数据至少包括一个训练样本，所述预设极化损失总函数包括原任务损失函数和极化损失函数，所述将所述训练数据输入所述预训练模型，以基于预设极化损失总函数，对所述预训练模型的模型网络参数进行极化更新，获得极化模型网络参数的步骤包括：获取所述预训练模型的当前模型网络参数，并基于所述极化损失函数和所述当前模型网络参数，计算参数极化损失；基于所述预训练模型，确定所述训练样本对应的模型输出值；基于所述模型输出值和所述原任务损失函数，计算任务模型损失；基于所述参数极化损失和所述任务模型损失，对所述当前模型网络参数进行极化更新，获得所述极化模型网络参数。可选地，所述基于所述参数极化损失和所述任务模型损失，对所述当前模型网络参数进行极化更新，获得所述极化模型网络参数的步骤包括：基于所述参数极化损失和所述任务模型损失，计算模型总损失；判断所述模型总损失是否收敛，若所述模型总损失收敛，则判定所述预训练模型满足所述预设训练结束条件，并将所述当前模型网络参数作为所述极化模型网络参数；若所述模型总损失未收敛，则判定所述预训练模型未满足所述预设训练结束条件，并对所述当前模型网络参数进行极化更新，获得极化更新参数；基于所述极化更新参数，重新计算所述模型总损失，直至所述模型总损失收敛，获得极化模型网络参数。可选地，所述对所述当前模型网络参数进行极化更新，获得极化更新参数的步骤包括：基于所述任务模型损失，对所述当前模型网络参数进行更新，获得初始模型网络参数；将所述初始模型网络参数裁剪至预设模型参数取值范围，获得裁剪模型网络参数；基于所述参数极化损失，对所述裁剪模型网络参数进行极化，获得所述极化更新参数。可选地，所述极化更新参数包括极化参数和非极化参数，所述基于所述参数极化损失，对所述裁剪模型网络参数进行极化，获得所述极化更新参数的步骤包括：基于预设参数取值范围，对所述裁剪模型网络参数进行划分，获得待极化参数和所述非极化参数；基于所述参数极化损失，对所述待极化参数进行极化，获得所述极化参数。可选地，所述目标压缩参数包括二值哈希编码值，所述对所述极化模型网络参数进行哈希编码，获得所述极化模型网络参数对应的目标压缩参数的步骤包括：获取所述极化模型网络参数中各第一目标比特位对应的极化标识；基于各所述极化标识和各所述第一目标比特位在所述极化模型网络参数中的排列位置，对所述极化模型网络参数进行二值哈希编码，获得所述二值哈希编码值。可选地，所述目标压缩参数包括三值哈希编码值，所述对所述极化模型网络参数进行哈希编码，获得所述极化模型网络参数对应的目标压缩参数的步骤包括：获取所述极化模型网络参数中各第二目标比特位上的比特位数值；基于预设参数取值范围和各所述比特位数值，对所述极化模型网络参数进行三值哈希编码，获得所述三值哈希编码值。可选地，所述预设参数取值范围包括参数上阀值和参数下阀值，所述三值哈希编码值包括第一编码值、第二编码值和第三编码值，所述基于预设参数取值范围和各所述比特位数值，对所述极化模型网络参数进行三值哈希编码，获得所述三值哈希编码值的步骤包括：将不大于所述参数下阀值的各所述比特位数值作为所述第一类型比特位数值，并生成各所述第一类型比特位数值对应的所述第一编码值；将大于所述参数下阀值且小于所述参数上阀值的各所述比特位数值作为所述第二类型比特位数值，并生成各所述第二类型比特位数值对应的所述第二编码值；将不小于所述参数上阀值的各所述比特位数值作为所述第三类型比特位数值，并生成各所述第三类型比特位数值对应的所述第三编码值；基于各所述第二目标比特位在所述极化模型网络参数中的排列位置、各所述第一编码值、各所述第二编码值和各所述第三编码值，生成所述三值哈希编码值。可选地，所述预训练模型至少包括一神经网络层，所述神经网络层至少包括一模型参数值，所述预设极化损失总函数包括极化损失函数，在所述将所述训练数据输入所述预训练模型，以基于预设极化损失总函数，对所述预训练模型的模型网络参数进行极化更新，获得极化模型网络参数的步骤之前，所述模型网络参数处理方法还包括：获取各所述神经网络层分别对应的各模型参数值，并计算各所述神经网络层分别对应的各模型参数值的平均值和标准差，获得各所述神经网络层对应的参数标准差和对应的参数平均值；基于各所述参数标准差和各所述参数平均值，构建各所述神经网络层对应的极化损失函数。可选地，所述基于各所述参数标准差和各所述参数平均值，构建各所述神经网络层对应的极化损失函数的步骤包括：基于各所述参数平均值，对各所述模型参数值进行标签赋予，获得各所述模型参数值对应的参数标签；基于各所述参数标签和各所述参数标准差，构建各所述神经网络层对应的极化损失函数。可选地，所述神经网络层至少包括一神经网络通道，所述神经网络通道至少包括一所述模型参数值，在所本文档来自技高网...

【技术保护点】
1.一种模型网络参数处理方法，其特征在于，所述模型网络参数处理方法包括：/n获取训练数据和预训练模型，并将所述训练数据输入所述预训练模型，以基于预设极化损失总函数，对所述预训练模型的模型网络参数进行极化更新，获得极化模型网络参数；/n对所述极化模型网络参数进行哈希编码，获得所述极化模型网络参数对应的目标压缩参数。/n

【技术特征摘要】
1.一种模型网络参数处理方法，其特征在于，所述模型网络参数处理方法包括：
获取训练数据和预训练模型，并将所述训练数据输入所述预训练模型，以基于预设极化损失总函数，对所述预训练模型的模型网络参数进行极化更新，获得极化模型网络参数；
对所述极化模型网络参数进行哈希编码，获得所述极化模型网络参数对应的目标压缩参数。


2.如权利要求1所述模型网络参数处理方法，其特征在于，所述训练数据至少包括一个训练样本，所述预设极化损失总函数包括原任务损失函数和极化损失函数，
所述将所述训练数据输入所述预训练模型，以基于预设极化损失总函数，对所述预训练模型的模型网络参数进行极化更新，获得极化模型网络参数的步骤包括：
获取所述预训练模型的当前模型网络参数，并基于所述极化损失函数和所述当前模型网络参数，计算参数极化损失；
基于所述预训练模型，确定所述训练样本对应的模型输出值；
基于所述模型输出值和所述原任务损失函数，计算任务模型损失；
基于所述参数极化损失和所述任务模型损失，对所述当前模型网络参数进行极化更新，获得所述极化模型网络参数。


3.如权利要求2所述模型网络参数处理方法，其特征在于，所述基于所述参数极化损失和所述任务模型损失，对所述当前模型网络参数进行极化更新，获得所述极化模型网络参数的步骤包括：
基于所述参数极化损失和所述任务模型损失，计算模型总损失；
判断所述模型总损失是否收敛，若所述模型总损失收敛，则将所述当前模型网络参数作为所述极化模型网络参数；
若所述模型总损失未收敛，则对所述当前模型网络参数进行极化更新，获得极化更新参数；
基于所述极化更新参数，重新计算所述模型总损失，直至所述模型总损失收敛，获得极化模型网络参数。


4.如权利要求3所述模型网络参数处理方法，其特征在于，所述对所述当前模型网络参数进行极化更新，获得极化更新参数的步骤包括：
基于所述任务模型损失，对所述当前模型网络参数进行更新，获得初始模型网络参数；
将所述初始模型网络参数裁剪至预设模型参数取值范围，获得裁剪模型网络参数；
基于所述参数极化损失，对所述裁剪模型网络参数进行极化，获得所述极化更新参数。


5.如权利要求4所述模型网络参数处理方法，其特征在于，所述极化更新参数包括极化参数和非极化参数，
所述基于所述参数极化损失，对所述裁剪模型网络参数进行极化，获得所述极化更新参数的步骤包括：
基于预设参数取值范围，对所述裁剪模型网络参数进行划分，获得待极化参数和所述非极化参数；
基于所述参数极化损失，对所述待极化参数进行极化，获得所述极化参数。


6.如权利要求1所述模型网络参数处理方法，其特征在于，所述目标压缩参数包括二值哈希编码值，
所述对所述极化模型网络参数进行哈希编码，获得所述极化模型网络参数对应的目标压缩参数的步骤包括：
获取所述极化模型网络参数中各第一目标比特位对应的极化标识；
基于各所述极化标识和各所述第一目标比特位在所述极化模型网络参数中的排列位置，对所述极化模型网络参数进行二值哈希编码，获得所述二值哈希编码值。


7.如权利要求1所述模型网络参数处理方法，其特征在于，所述目标压缩参数包括三值哈希编码值，
所述对所述极化模型网络参数进行哈希编码，获得所述极化模型网络参数对应的目标压缩参数的步骤包括：
获取所述极化模型网络参数中各第二目标比特位上的比特位数值；...

【专利技术属性】
技术研发人员：吴锦和，范力欣，鞠策，张天豫，
申请(专利权)人：深圳前海微众银行股份有限公司，
类型：发明
国别省市：广东;44