贝叶斯深度学习内存优化方法技术

本发明专利技术涉及内存优化方法，尤其是一种基于分解与存储策略的贝叶斯深度学习内存优化方法。将特征矩阵β的维度由M×N变为αM×N，0＜α≤1，此时的特征矩阵β被分成β

Bayesian deep learning memory optimization method

【技术实现步骤摘要】
贝叶斯深度学习内存优化方法
本专利技术涉及内存优化方法，尤其是一种基于分解与存储策略的贝叶斯深度学习内存优化方法。
技术介绍
贝叶斯方法与深度学习的结合，被称为贝叶斯深度学习或贝叶斯深度神经网络。其中，深度神经网络旨在构建不同类型的学习模型，而贝叶斯推断旨在关注训练的方法。贝叶斯深度神经网络并不是一种新型的网络架构，而是提供一种新的神经网络训练算法。它既具有神经网络强大的拟合能力，也具有贝叶斯方法强大的不确定信息表征能力，同时也拥有完善的数学理论支持、良好的抗过拟合能力。深度学习与贝叶斯深度学习使用相同的网络结构，但参数表现形式不同，如图1(a)和图1(b)所示。深度学习的网络参数是固定的数值，而贝叶斯深度学习的网络参数是固定参数的概率分布，通常选用高斯分布。在贝叶斯深度学习推理过程中，需要对贝叶斯神经网络的权重进行采样，得到一组参数，然后采用与非贝叶斯神经网络相同的推理算法。如图2所示，基于分解与存储策略的贝叶斯深度学习推理过程中，每一次推理过程均包含“预处理”，“采样”与“前馈传播”三个阶段。对于某一层神经网络，假定其输入神经元数量本文档来自技高网...

【技术保护点】
1.一种贝叶斯深度学习内存优化方法，其特征在于：包括以下步骤：/n将特征矩阵β的维度由M×N变为αM×N，0＜α≤1，此时的特征矩阵β被分成

【技术特征摘要】
1.一种贝叶斯深度学习内存优化方法，其特征在于：包括以下步骤：
将特征矩阵β的维度由M×N变为αM×N，0＜α≤1，此时的特征矩阵β被分成并满足以下关系式：



针对采样出的T个不确定性矩阵Hi(i＝1,2,3,…T)，每一个不确定性矩阵Hi被分为部分，包括
将上述每一部分不确定性矩阵分别与对应的β，通过下述公式做内积，

【专利技术属性】
技术研发人员：贾小涛，杨建磊，马宝健，赵巍胜，
申请(专利权)人：北京航空航天大学青岛研究院，
类型：发明
国别省市：山东;37