一种用于非负L1范数约束优化的贝叶斯方法技术

本发明专利技术提供了一种用于非负L1范数约束优化的贝叶斯方法，该方法包括：步骤一、基于贝叶斯理论，将初始化的狄利克雷先验分布以及混合指数幂分布似然函数联合构建后验分布，并确定所述后验分布的采样点数；步骤二、根据所述采样点数，对后验分布进行采样，获取采样样本；步骤三、根据所述采样样本，计算采样样本的矩，通过采样样本的矩估计近似狄利克雷后验分布的矩；步骤四、根据所述狄利克雷后验分布的矩，计算近似狄利克雷后验分布峰值点，即为最优模型参数。本发明专利技术改善带有非负L1范数约束的优化问题，在具有非负L1范数约束场景下可以有效提高模型优化性能。

A Bayesian method for nonnegative L1 norm constrained optimization

The present invention provides a Bayesian method for non negative L1 norm constrained optimization, which includes step 1. Based on Bayesian theory, the initialized de Lickley prior distribution and mixed exponential power distribution likelihood function are combined to construct a posteriori distribution, and the number of sampling points of the posterior distribution is determined; step two, according to the method, Sampling points, sampling the posterior distribution and obtaining sample samples; step three, calculate the moments of sample samples according to the sample samples, approximate the moments of the Dirichlet posterior distribution through the moment of sample samples; step four, calculate the approximate Dirichlet posterior score according to the moments of the reik posterior distribution of the described Dirichlet. The peak point of cloth is the optimal model parameter. The invention improves the optimization problem with non negative L1 norm constraints, and can effectively improve the performance of the model under the condition of non negative L1 norm constraints.

【技术实现步骤摘要】
一种用于非负L1范数约束优化的贝叶斯方法
本专利技术涉及非负L1范数约束优化
，尤其涉及一种用于非负L1范数约束优化的贝叶斯方法，着重描述了一种基于贝叶斯框架的非负L1范数约束优化方法，从而达到在具有非负L1范数约束场景下提高模型优化性能的目的。
技术介绍
在统计学和机器学习中，优化方法，包括牛顿法、序列二次规划(SQP-SequenceQuadraticProgramming)法、梯度下降(GD-GradientDescent)法、内点(IP-Interior-Point)法等方法，广泛应用于多种实际应用场景并且获得了很好的优化效果。通常情况下，一般的优化问题引入平方残差和(RSS-ResidualSumofSquares)误差，即L2范数的平方作为目标函数，已经被证实可以应用低计算复杂度算法解决。而在实际应用过程中，优化问题可以使用模型残差的任意Lp范数(‖·‖p,p>0，p为有理数)或者多个Lp范数混合的形式作为目标函数。在此基础上，引入约束条件有助于实现数值计算的稳定性并且可以有效提高优化性能。稀疏性约束是一种用于调节目标函数只依赖于一小部分模型参数的常见约束。L0和L1范数约束是最受欢迎的稀疏性约束。L0范数，即‖·‖0，可以被定义为参数向量的非零元素数量，执行最精确的稀疏约束，但是难以在实践中加以实施。L1范数，即‖·‖1，可以被定义为参数向量所有元素绝对值之和的形式，稀疏性约束较强，而且易于应用。因此，为了提高参数向量的稀疏性，实际中通常使用L1范数约束。L1范数正则化作为约束条件，已被应用于稀疏表示、非线性规划、非线性时间序列预测等领域。除以上方法之外，贝叶斯框架(BayesianFramework)下的解决方案也可以应用于优化问题。多个Lp范数混合形式的目标函数可以通过概率解释为混合指数幂(MoEP-MoxtureofExponentialPower)分布形式的似然函数，约束条件可以被解释为模型参数的先验分布。通过贝叶斯理论(BayesTheorem)将似然函数和先验分布的结合，寻找有约束的优化问题的最优解等价于计算后验分布的峰值点，即最大后验概率(MAP-MaximumaPosteriori)估计。例如，对于L1范数约束，先验分布可以被假设为拉普拉斯分布(LaplaceDistribution)，寻找似然函数和拉普拉斯先验的联合后验分布的峰值点可以通过数值近似来解决稀疏优化问题。在解决实际问题中，存在另一种类型带有非负约束的正则化约束项，即约束项只包含非负元素。非负约束在解决实际物理场景中的一般非负线性或非线性规划问题(如流体力学)和实际工程应用(如图像和视频处理、网络文档分析、生物信息学数据处理)上具有重要的作用。在这种情况下，由于拉普拉斯先验假设具有负数部分，该先验假设形式不能很好地描述此类约束。因此，为了精确地描述约束项的分布特征，狄利克雷分布(DirichletDistribution)可以被引入到方法中，用于描述模型参数的分布。虽然模型残差的似然函数和模型参数的狄利克雷先验的联合后验分布形式不是我们需要的狄利克雷分布形式，但是可以近似假设后验分布为狄利克雷分布形式。因此，对于带有非负L1范数约束的优化问题的最优解可以通过寻找近似狄利克雷后验分布的峰值点来解决。由于寻找近似狄利克雷后验分布的参数不存在易处理的解析解形式，所以可通过采样方法近似分析后验分布的统计特性(包括矩)，来估计后验分布的参数。
技术实现思路
为了解决如何改善带有非负L1范数约束优化的技术问题，本专利技术提供了一种用于非负L1范数约束优化的贝叶斯方法，通过本专利技术提供的方法，在具有非负L1范数约束场景下可以有效地提高模型优化性能。为达到上述目的，本专利技术提供了一种用于非负L1范数约束优化的贝叶斯方法，该方法包括：步骤一、基于贝叶斯理论，将初始化的狄利克雷先验分布以及混合指数幂分布似然函数联合构建后验分布，确定所述后验分布的采样点数；步骤二、根据所述采样点数，对后验分布进行采样，获取采样样本；步骤三、根据所述采样样本，计算采样样本的矩，通过所述采样样本的矩估计近似狄利克雷后验分布的矩；步骤四、根据所述近似狄利克雷后验分布的矩，计算近似狄利克雷后验分布的峰值点，所述峰值点为最优模型参数。进一步地，步骤一中，初始化的狄利克雷先验分布的步骤具体包括：将狄利克雷先验分布的参数α＝[α1,α2,…,αK]T通过下式进行初始化：α＝0.1×[1,1,…,1]T，其中，K是模型参数的维度；同时，设定采样点数L，一般地，选取L≥1000。进一步地，所述步骤二具体包括：根据所述采样点数，使用包括但不限于拒绝采样、重要性采样或吉布斯采样方法中的一种或多种采样方法对后验分布进行采样，获取L个采样样本；后验分布表示为：p(ω|y,α)∝Likelihood(y|x,ω,η)·Dir(ω|α)，其中，ω＝[ω1,…,ωK]T是模型参数；x＝[x1,…,xN]和y＝[y1,…,yN]分别是模型的输入和目标输出；xn和yn,n＝1,…,N均是列向量，满足：yn＝f(xn；ω)+en，其中，f(·；ω)是系统函数；en是模型误差。yn服从混合指数幂分布，则似然函数Likelihood(y|x,ω,η)可以定义为混合指数幂分布的形式，表示为：其中，表示混合指数幂分布的第i个混合成分，i＝1,…,I；pi表示幂次；每个混合成分是位置参数为μi，尺度参数为ηi的指数幂分布。若pi＝1，则等价于拉普拉斯分布；若pi＝2，则等价于高斯分布。而狄利克雷先验分布Dir(ω|α)被定义为：其中，K≥2；B(α)是作为归一化约束的多元贝塔函数；对于后验分布采样可以转化为对似然函数和狄利克雷先验的乘积Likelihood(y|x,ω,η)·Dir(ω|α)的采样，得到L个采样样本{ω(1),ω(2),…,ω(L)}。进一步地，所述步骤三具体包括：根据所述采样样本，计算采样样本的矩，将所述采样样本的矩近似匹配真实后验分布的矩，将狄利克雷后验分布近似匹配真实后验分布；从而根据采样样本的矩计算近似狄利克雷后验分布的矩。进一步地，根据所述采样样本，计算采样样本的矩包括：根据采样样本计算采样样本的一阶矩和中心化二阶矩可通过下式计算：其中，Es[ωi]和Vars[ωi]分别是采样样本第i维的一阶矩和中心化二阶矩；是第l个采样样本第i维的数值；L是采样点数。进一步地，根据采样样本的矩计算近似狄利克雷后验分布的矩包括：根据采样样本的矩计算所述近似狄利克雷后验分布的一阶矩和中心化二阶矩；根据采样样本的一阶矩和中心化二阶矩计算近似狄利克雷后验分布每一维的一阶矩和中心化二阶矩，可通过下式计算：E[ωi]＝Es[ωi]，Var[ωi]＝Vars[ωi]，其中，E[ωi]和Var[ωi]分别是近似狄利克雷后验分布第i维的一阶矩和中心化二阶矩；Es[ωi]和Vars[ωi]分别是采样样本第i维的一阶矩和中心化二阶矩。进一步地，所述步骤四具体包括：对近似狄利克雷后验分布的分布参数α求解；由狄利克雷分布的性质可知，近似狄利克雷后验分布每一个维度的矩与该分布的参数α的关系满足：其中，对于K个未知数αi,i＝1,2,…,K，有2×K个方程，可求得αi。同时，由狄利克雷分布的性本文档来自技高网...

【技术保护点】
一种用于非负L1范数约束优化的贝叶斯方法，其特征在于，该方法包括：步骤一、基于贝叶斯理论，将初始化的狄利克雷先验分布以及混合指数幂分布似然函数联合构建后验分布，确定所述后验分布的采样点数；步骤二、根据所述采样点数，对后验分布进行采样，获取采样样本；步骤三、根据所述采样样本，计算采样样本的矩，通过所述采样样本的矩估计近似狄利克雷后验分布的矩；步骤四、根据所述近似狄利克雷后验分布的矩，计算近似狄利克雷后验分布的峰值点，所述峰值点为最优模型参数。

【技术特征摘要】
1.一种用于非负L1范数约束优化的贝叶斯方法，其特征在于，该方法包括：步骤一、基于贝叶斯理论，将初始化的狄利克雷先验分布以及混合指数幂分布似然函数联合构建后验分布，确定所述后验分布的采样点数；步骤二、根据所述采样点数，对后验分布进行采样，获取采样样本；步骤三、根据所述采样样本，计算采样样本的矩，通过所述采样样本的矩估计近似狄利克雷后验分布的矩；步骤四、根据所述近似狄利克雷后验分布的矩，计算近似狄利克雷后验分布的峰值点，所述峰值点为最优模型参数。2.如权利要求1所述的方法，其特征在于，步骤一中，初始化的狄利克雷先验分布的步骤具体包括：将狄利克雷先验分布的参数α＝[α1,α2,…,αK]T通过下式进行初始化：α＝0.1×[1,1,…,1]T，其中，K是模型参数的维度；同时，设定采样点数L，一般地，L≥1000。3.如权利要求1或2所述的方法，其特征在于，所述步骤二具体包括：根据所述采样点数L，使用包括但不限于拒绝采样、重要性采样或吉布斯采样方法中的一种或多种采样方法对后验分布进行采样，获取L个采样样本。后验分布表示为：p(ω|y,α)∝Likelihood(y|x,ω,η)·Dir(ω|α)，其中，ω＝[ω1,…,ωK]T是模型参数；x＝[x1,…,xN]和y＝[y1,…,yN]分别是模型的输入和目标输出；xn和yn,n＝1,…,N均是列向量，满足：yn＝f(xn；ω)+en，其中，f(·；ω)是系统函数；en是模型误差；yn服从混合指数幂分布，则似然函数Likelihood(y|x,ω,η)可以定义为混合指数幂分布的形式，表示为：其中，EPpi(·|μi,ηi)表示混合指数幂分布的第i个混合成分，i＝1,…,I；pi表示幂次；每个混合成分是位置参数为μi，尺度参数为ηi的指数幂分布。若pi＝1，则EPpi(·|μi,ηi)等价于拉普拉斯分布；若pi＝2，则等价于高斯分布。而狄利克雷先验分布Dir(ω|α)被定义为：其中，K≥2；B(α)是作为归一化约束的多元贝塔函数；对于后验分布采样可以转化为对似然函数和狄利克雷先验的乘积Likelihood(y|x,ω,η)·Dir(ω|α)的采样，得到L个采样样本{ω(1),ω(2),…,ω(L)}。4.如权利要求1-3之一所述的方法，其特征在于，所述步骤三具体包括：根据所述采样样本，计算采样样本的矩，将所述采样样本的矩近似匹配...

【专利技术属性】
技术研发人员：马占宇，谢吉洋，司中威，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：北京,11