【技术实现步骤摘要】
一种深度神经网络的贝叶斯结构学习方法及装置
本专利技术涉及数据处理
，尤其涉及一种深度神经网络的贝叶斯结构学习方法及装置。
技术介绍
贝叶斯深度学习旨在为灵活而有效的深度神经网络提供准确可靠的不确定性评估。传统上，贝叶斯网络在网络权重上引入不确定性，这往往可以防止模型容易过拟合的问题，也为模型带来了使用高效的预测不确定性。然而，在网络权重上引入不确定性存在问题。首先，人为设定的权重的先验分布往往不可靠，容易导致过剪枝等问题，使得模型拟合能力大大受限；其次，在权重上引入灵活的变分分布容易带来推理的困难，这是因为变分分布中复杂的依赖关系。最近，基于粒子的变分推理技术也被使用来优化贝叶斯网络，但是它们也存在粒子塌陷和退化等问题。因此，现在的贝叶斯网络在实际应用中无法提供准确可靠的预测性能。
技术实现思路
由于现有方法存在上述问题，本专利技术实施例提供一种深度神经网络的贝叶斯结构学习方法及装置。第一方面，本专利技术实施例提供了一种深度神经网络的贝叶斯结构学习方法，包括：构建深度神经网...
【技术保护点】
1.一种深度神经网络的贝叶斯结构学习方法，其特征在于，包括：/n构建深度神经网络，所述深度神经网络包括至少一个具有相同内部结构的学习单元，所述学习单元包括预设层数的隐层，且每两个隐层间包括复数种计算单元，定义网络结构为各计算单元的相对权重，并采用参数化的变分分布来建模所述网络结构；/n从预设的训练集中随机提取训练子集，并采用重参数化过程采样所述学习单元的网络结构；/n根据所述采样的网络结构，计算所述深度神经网络的证据下界ELBO；/n若所述证据下界的变化超过预设的损失阈值，则根据预设的优化方法优化所述网络结构和网络权重，并再次从所述训练集中随机提取训练子集以继续对所述学习单...
【技术特征摘要】
1.一种深度神经网络的贝叶斯结构学习方法，其特征在于，包括：
构建深度神经网络，所述深度神经网络包括至少一个具有相同内部结构的学习单元，所述学习单元包括预设层数的隐层，且每两个隐层间包括复数种计算单元，定义网络结构为各计算单元的相对权重，并采用参数化的变分分布来建模所述网络结构；
从预设的训练集中随机提取训练子集，并采用重参数化过程采样所述学习单元的网络结构；
根据所述采样的网络结构，计算所述深度神经网络的证据下界ELBO；
若所述证据下界的变化超过预设的损失阈值，则根据预设的优化方法优化所述网络结构和网络权重，并再次从所述训练集中随机提取训练子集以继续对所述学习单元的网络结构进行训练；
若所述证据下界的变化未超过预设的损失阈值，则判定训练结束。
2.根据权利要求1所述的深度神经网络的贝叶斯结构学习方法，其特征在于，所述采用重参数化过程采样所述学习单元的网络结构；具体包括：
根据预设的适应性系数，采用重参数化过程采样所述学习单元的网络结构。
3.根据权利要求2所述的深度神经网络的贝叶斯结构学习方法，其特征在于，所述根据所述采样的网络结构，得到所述深度神经网络的证据下界；具体包括：
根据所述采样的网络结构，计算所述训练子集中经过标注的各样本对应的输出结果，并计算所述深度神经网络的误差，以及所述网络变分分布与预设的先验分布中的对数密度差值；
将所述深度神经网络的误差和所述对数密度差值进行加权求和，以得到所述深度神经网络的证据下界。
4.根据权利要求3所述的深度神经网络的贝叶斯结构学习方法，其特征在于，所述构建深度神经网络，所述深度神经网络包括至少一个具有相同内部结构的学习单元；具体包括：
构建深度神经网络，所述深度神经网络包括至少一个具有相同内部结构的学习单元，在预先确定的学习单元间插入预设的下采样层和/或上采样层；其中，所述下采样层包括：批正则化层、线性整流层、卷积层和...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。