核函数近似模型的训练方法、装置、电子模型及存储介质制造方法及图纸

本申请实施例涉及机器学习技术领域，并提供了一种核函数近似模型的训练方法、装置、电子模型及存储介质，该方法包括：构建核函数近似模型，核函数近似模型包括多个深度神经网络以及分别对应的特征值，各深度神经网络与对应的特征值分别表征目标核函数的一个特征；多个深度神经网络的初始参数及对应的特征值各不相同，且各深度神经网络包含约束层；根据目标核函数和训练数据集，分别确定各深度神经网络的损失函数；基于训练数据集，根据损失函数的计算结果更新各深度神经网络的参数和对应的特征值，得到目标核函数近似模型。本申请极大程度上加速了人工智能中核方法相关算法的速度，实现了更高效、可靠的核近似方法，可以作为多种任务的特征提取器。多种任务的特征提取器。多种任务的特征提取器。

【技术实现步骤摘要】
核函数近似模型的训练方法、装置、电子模型及存储介质


[0001]本申请涉及机器学习
，具体涉及一种核函数近似模型的训练方法、装置、电子模型及存储介质。

技术介绍

[0002]核方法(kernel method)是机器学习(ML)中最重要和最基本的工具。
[0003]当前关于近似核函数已经累积了一定的研究成果，主要分为两个方面，一种是采用非神经投影函数逼近核，如随机傅立叶特征(RFF)方法、Nystr\
″
{o}m方法；另一方面，是通过深度神经网络解构核，如SpIN方法。
[0004]但是现有的方法存在着很多弊端，如RFF方法可以处理平移不变核，但处理不了其他类型的核；Nystr\
″
{o}m方法涉及的特征分解具有三阶于样本大小的复杂性，并且学习到的核化特征函数会导致样本外扩展(out
‑
of
‑
sample generalization)代价高昂；SpIN方法采用掩码梯度方法来打破特征函数之间的对称性，由此产生的算法需要明确地估计和保存雅可比矩阵，并进本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种核函数近似模型的训练方法，其特征在于，包括：构建核函数近似模型，所述核函数近似模型包括多个深度神经网络以及分别对应的特征值，各深度神经网络与对应的特征值分别表征所述目标核函数的一个特征；所述多个深度神经网络的初始参数及对应的特征值各不相同，且各所述深度神经网络包含约束层，以使所述核函数近似模型满足近似目标核函数的约束条件；根据所述目标核函数和训练数据集，分别确定各所述深度神经网络的损失函数；基于所述训练数据集，确定所述各深度神经网络的损失函数的结果，并根据得到的结果更新所述各深度神经网络的参数和对应的特征值，得到目标核函数近似模型。2.根据权利要求1所述的方法，其特征在于，各所述深度神经网络的约束层设置在各所述深度神经网络的最后一层，作为各深度神经网络的输出层；在各所述深度神经网络的约束层中设置有约束因子，用于对各所述深度神经网络的输出进行约束，其中，所述约束因子是根据采样规模和所述约束层的前一层的输出确定的。3.根据权利要求1所述的方法，其特征在于，所述根据所述目标核函数和训练数据集，分别确定所述各深度神经网络的损失函数，包括：根据所述目标函数和训练数据集，确定目标核函数的评估矩阵；将所述评估矩阵代入各所述深度神经网络的损失函数表达式，以确定各所述深度神经网络的损失函数，其中，各深度神经网络的损失函数表达式是在不同约束条件下，根据目标核函数的广义瑞利商与各所述深度神经网络的惩罚系数的差确定的。4.根据权利要求1所述的方法，其特征在于，所述基于所述训练数据集，确定所述各深度神经网络的损失函数的结果，并根据得到的结果更新所述各深度神经网络的参数和对应的特征值，包括：从所述训练数据集中随机选取目标训练数据；将所述目标训练数据输入所述核函数近似模型中，使各所述深度神经网络向前传播，以确定各所述深度神经网络的广义瑞利商；根据确定的各所述深度神经网络的广义瑞利商，更新各所述深度神经网络对应的特征值；根据所述目标训练数据，求解各所述深度神经网络的损失函数的导数值；根据所述导数值对各所述深度神经网络的模型参数进行更新。5.根据权利要求1所述的方法，其特征在于，所述目标核函数为MLP
‑
GP核函...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京瑞莱智慧科技有限公司，
类型：发明
国别省市：