基于多元神经平均的域泛化学习方法、装置、设备及介质制造方法及图纸

本申请涉及域泛化学习领域，提供一种基于多元神经平均的域泛化学习方法、装置、设备及介质，包括：训练阶段，通过对神经网络进行横向采样和径向采样，并基于精简Jensen

【技术实现步骤摘要】
基于多元神经平均的域泛化学习方法、装置、设备及介质


[0001]本申请实施例涉及域泛化学习领域，具体而言，涉及一种基于多元神经平均的域泛化学习方法、装置、设备及介质。

技术介绍

[0002]域泛化学习的目的在于通过调整对源域数据的学习策略提升智能体在目标域上的泛化能力，由于域泛化学习任务假设目标域数据与源域数据类似而非同分布，使得其在医疗、智能驾驶、多模态学习等数据受限的机器学习应用场景下得到广泛应用。
[0003]然而，当前的域泛化学习普遍假设训练阶段可到达的有效假设空间中存在一个在源域和目标域上同时具有良好泛化能力的智能体，而忽视了当前以深度学习为代表的机器学习方法在源域上的记忆效应和过拟合趋势，导致现有的域泛化方法存在模型错误设置风险。此外，现有技术中消除源域间分布差异或风险差异的方法无法适应单源域泛化的现实需求。

技术实现思路

[0004]本申请实施例在于提供一种基于多元神经平均的域泛化学习方法、装置、设备及介质，旨在解决现有技术中存在的模型错误设置的风险以及无法兼容多源域与单源域情境的问题。
[0005]本申请实施例第一方面提供一种基于多元神经平均的域泛化学习方法，包括：
[0006]通过对神经网络进行横向采样和径向采样，并基于精简Jensen
‑
Shannon散度损失函数和集成智能体多元化度量，对目标域泛化风险上界迭代进行估计和优化，得到优化后的目标域泛化风险上界；
[0007]通过关闭所述横向采样和所述径向采样，基于所述优化后的目标域泛化风险上界，得到全局优化集成智能体，向所述全局优化集成智能体输入目标域的目标域样本，得到最终预测值。
[0008]可选地，通过对神经网络进行横向采样和径向采样，并基于精简Jensen
‑
Shannon散度损失函数和集成智能体多元化度量，对目标域泛化风险上界迭代进行估计和优化，得到优化后的目标域泛化风险上界，包括：
[0009]将源域中的源域样本输入所述神经网络；
[0010]对所述神经网络进行所述横向采样得到集成智能体，对所述神经网络进行所述径向采样得到集成神经平均；
[0011]将所述集成智能体和所述集成神经平均输入所述精简Jensen
‑
Shannon散度损失函数和所述集成智能体多元化度量，得到估计的目标域泛化风险上界；
[0012]对所述估计的目标域泛化风险上界进行优化，得到所述优化后的目标域泛化风险上界。
[0013]可选地，对所述神经网络进行所述横向采样得到集成智能体，具体为：
[0014]利用dropout变分族对所述神经网络的参数进行横向采样，将所述dropout变分关闭，得到关于所述dropout变分族的集成，作为所述集成智能体。
[0015]可选地，对所述神经网络进行所述径向采样得到集成神经平均，具体为：
[0016]在所述神经网络优化轨迹上进行径向采样，采用滑动平均，得到神经平均集成。
[0017]可选地，所述精简Jensen
‑
Shannon散度损失函数，用于优化源域的经验风险，定义为：
[0018][0019]其中，(x,y)为样本实例，h为深度神经网络诱导的假设空间H上的一个智能体，A为所述样本实例(x,y)取样分布的支撑集，h
*
为智能体输出向量中指示真实类别维度的向量成分，h
*
∈(0,1)，1
{
·
}
为示性函数。
[0020]可选地，所述集成智能体多元化度量，用于显示鼓励所述横向采样的多元化，定义为：
[0021][0022]其中，ρ为一个深度神经网络诱导的假设空间H上的一个集成智能体，P为一个任意测度，E
P
为所述测度P的期望，Var(
·
)为取方差，l
PJS
为所述精简Jensen
‑
Shannon散度损失函数。
[0023]可选地，所述目标域泛化风险上界，定义为：
[0024][0025]其中，h为深度神经网络诱导的假设空间H上的一个智能体，P为所述源域，Q为所述目标域，为所述智能体ρ关于所述精简Jensen
‑
Shannon散度损失函数l
PJS
在所述目标域Q上的泛化风险，为智能体h关于精简Jensen
‑
Shannon散度损失函数l
PJS
在数据域P上的泛化风险，D
JS
(P||Q)为所述源域P与所述目标域Q间的Jensen
‑
Shannon散度。
[0026]本申请实施例第二方面提供一种基于多元神经平均的域泛化学习装置，包括：
[0027]训练模块，用于通过对神经网络进行横向采样和径向采样，并基于精简Jensen
‑
Shannon散度损失函数和集成智能体多元化度量，对目标域泛化风险上界迭代进行估计和优化，得到优化后的目标域泛化风险上界。
[0028]测试模块，用于通过关闭所述横向采样和所述径向采样，基于所述优化后的目标域泛化风险上界，得到全局优化集成智能体，向所述全局优化集成智能体输入目标域的目标域样本，得到最终预测值。
[0029]其中，训练模块还包括：
[0030]输入子模块，用于将源域中的源域样本输入所述神经网络。
[0031]采样子模块，用于对所述神经网络进行所述横向采样得到集成智能体，对所述神经网络进行所述径向采样得到集成神经平均。
[0032]估计子模块，用于将所述集成智能体和所述集成神经平均输入所述精简Jensen
‑
Shannon散度损失函数和所述集成智能体多元化度量，得到估计的目标域泛化风险上界。
[0033]优化子模块，用于对所述估计的目标域泛化风险上界进行优化，得到所述优化后的目标域泛化风险上界。
[0034]测试模块还包括：
[0035]生成子模块，用于通过关闭所述横向采样和所述径向采样，基于所述优化后的目标域泛化风险上界，生成全局优化集成智能体。
[0036]测试子模块，用于向所述全局优化集成智能体输入目标域的目标域样本，得到最终预测值。
[0037]本申请实施例第三方面提供一种电子设备，包括存储器、处理器及存储在存储器上的计算机程序，所述处理器执行所述计算机程序以实现基于多元神经平均的域泛化学习方法中的步骤。
[0038]本申请实施例第四方面提供一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机程序/指令被处理器执行时实现基于多元神经平均的域泛化学习方法中的步骤。
[0039]有益效果：
[0040]本申请提供一种基于多元神经平均的域泛化学习方法、装置、设备及介质，通过提出一种具有理论保证的适应单源域数据的基于多元神经平均的域泛化学习方法，通过快速集成智能体的方式实现在不增添学习参数的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多元神经平均的域泛化学习方法，其特征在于，包括：通过对神经网络进行横向采样和径向采样，并基于精简Jensen
‑
Shannon散度损失函数和集成智能体多元化度量，对目标域泛化风险上界迭代进行估计和优化，得到优化后的目标域泛化风险上界；基于所述优化后的目标域泛化风险上界，得到全局优化集成智能体，向所述全局优化集成智能体输入目标域的目标域样本，得到最终预测值。2.根据权利要求1中所述的基于多元神经平均的域泛化学习方法，其特征在于，通过对神经网络进行横向采样和径向采样，并基于精简Jensen
‑
Shannon散度损失函数和集成智能体多元化度量，对目标域泛化风险上界迭代进行估计和优化，得到优化后的目标域泛化风险上界，包括：将源域中的源域样本输入所述神经网络；对所述神经网络进行所述横向采样得到集成智能体，对所述神经网络进行所述径向采样得到集成神经平均；将所述集成智能体和所述集成神经平均输入所述精简Jensen
‑
Shannon散度损失函数和所述集成智能体多元化度量，得到估计的目标域泛化风险上界；对所述估计的目标域泛化风险上界进行优化，得到所述优化后的目标域泛化风险上界。3.根据权利要求2中所述的基于多元神经平均的域泛化学习方法，其特征在于，对所述神经网络进行所述横向采样得到集成智能体，具体为：利用dropout变分族对所述神经网络的参数进行横向采样，将所述dropout变分关闭，得到关于所述dropout变分族的集成，作为所述集成智能体。4.根据权利要求2中所述的基于多元神经平均的域泛化学习方法，其特征在于，对所述神经网络进行所述径向采样得到集成神经平均，具体为：在所述神经网络优化轨迹上进行径向采样，采用滑动平均，得到神经平均集成。5.根据权利要求2中所述的基于多元神经平均的域泛化学习方法，其特征在于，所述精简Jensen
‑
Shannon散度损失函数，用于优化源域的经验风险，定义为：其中，(x,y)为样本实例，h为深度神经网络诱导的假设空间H上的一个智能体，A为所述样本实例(x,y)取样分布的支撑集，h
*
为智能体输出向量中指示真实类别维度的向量成分，h
*
∈(0,1)，1
{
·
...

【专利技术属性】
技术研发人员：朱文武，王鑫，初旭，
申请(专利权)人：清华大学，
类型：发明
国别省市：