基于变分贝叶斯高斯-泊松混合回归模型的计数型质量变量预测方法技术

本发明专利技术公开一种基于变分贝叶斯高斯

【技术实现步骤摘要】
基于变分贝叶斯高斯
‑
泊松混合回归模型的计数型质量变量预测方法


[0001]本专利技术属于工业过程预测及控制领域，具体涉及一种基于变分贝叶斯高斯
‑
泊松混合回归模型的计数型质量变量预测方法。

技术介绍

[0002]在工业生产过程中，所产生的测量数据涵盖“人”、“机”、“料”、“法”、“环”的各个方面，如生产过程各工序原材料的质量信息、过程工艺参数信息、设备运行状态信息、操作和检验人员的经验及其工作状态等，其中存在着一些很重要的计数数据，计数数据是指像0,1,2,
…
这样的非负整数，比如一定时间内设备发生故障的次数、产品中的缺陷数量，以及其他以非负整数形式表现的质量变量。对于像产品缺陷数量这种关键质量指标，可以借助软测量技术实现其在线的实时预测，从而减少检测环节的时间，提高生产效率，并且这类质量指标的实时预测可以帮助生产管理者实时监测产品质量，更快地对不良生产线做出反应。
[0003]常规软测量建模方法主要有基于多元统计分析、基于统计学习、基于深度学习以及基于概率估计的方法。基于多元统计分析的软测量建模方法如普通最小二乘、偏最小二乘、多元线性回归等，均是基于变量服从高斯分布的假设，无法为计数数据提供非负、离散的支持。像SVR、ANN等基于统计学习、深度学习的软测量建模方法则对数据的解释性欠缺，且同样无法满足计数数据非负、离散的限制。而基于概率估计的软测量建模方法如高斯过程回归、高斯混合回归，常是基于高斯分布或高斯混合分布，这些分布也不适合拟合非负离散的计数数据。因此，有必要借助计数数据模型对工业生产过程中的计数类型数据进行回归预测。泊松回归作为典型的离散回归方法，被广泛用于计数数据建模的基础研究中，其他常用的计数数据建模方法如负二项回归、泊松混合回归等均是建立在泊松回归的基础上。
[0004]在工业生产过程中，除了数据具有计数特点外，另一个重要特点就是由于机器会在多个工况之间切换，自变量和因变量的数值及其映射关系都会发生变化，因此数据具有多模态性，在总体上不再服从单一的高斯分布假设。而有限混合模型FMM可以有针对性地解决实际工业过程中多模态的问题，这是因为FMM使用多个概率密度函数的加权和作为随机变量的整体概率密度，相比单一的概率密度，可以学习拟合多模态下具有多个峰值和谷值的实际情况。理论上，具有无限组分的混合模型可以逼近任意未知的随机分布。但目前在工业生产过程中采用的有限混合模型FMM无法为计数型质量变量提供非负离散的概率估计。

技术实现思路

[0005]针对计数型质量变量非负离散、工业过程多模态的问题，本专利技术提出了一种基于变分贝叶斯高斯
‑
泊松混合回归模型的计数型质量变量预测方法。
[0006]本专利技术的具体技术方案如下：
[0007]一种基于变分贝叶斯高斯
‑
泊松混合回归模型的计数型质量变量预测方法，包括以下步骤：
[0008](1)收集计数型质量变量及相关过程变量的数据样本，作为模型的训练集；对数据进行缺失值、异常值和标准化的预处理，得到处理好的训练集；
[0009](2)利用变分推断方法，在处理好的训练集上离线训练变分贝叶斯高斯
‑
泊松混合回归模型；所述变分贝叶斯高斯
‑
泊松混合回归模型的表达式为：
[0010][0011][0012][0013]其中，为所有样本的过程变量、质量变量和隐变量集合，z
ik
为z
i
的第k维的取值；β
k
为第k个泊松回归组分的回归系数；表示高斯分布的密度函数；μ
k
、Λ
k
分别为第k个高斯分布组分的均值向量和精度矩阵；π
k
是混合模型的混合系数；
[0014]β
k
、μ
k
、Λ
k
、π
k
服从以下先验：
[0015]①
β
k
均服从高斯分布，即其中，β0、Σ0为β
k
所服从高斯分布的均值向量和协方差矩阵，这里所有组分下的β
k
先验均相同；
[0016]②
μ
k
及Λ
k
均服从Gaussian
‑
Wishart分布，即
[0017]其中，m0和γ0分别是μ
k
分布的均值向量和尺度参数，表示Wishart分布的概率密度函数，为该分布的尺度矩阵，v0＞d
‑
1为分布的自由度数；
[0018]③
π
k
联合服从狄利克雷分布，即其中，a0为狄利克雷分布的参数，a0＞0以保证分布能够归一化，
[0019](3)采集待测样本，经过与步骤(1)中相同的缺失值、异常值和标准化的预处理后，得到处理好的待测样本x
q
，然后使用步骤(2)训练好的变分贝叶斯高斯
‑
泊松混合回归模型进行在线预测。
[0020]进一步地，步骤(2)中，在处理好的训练集上离线训练变分贝叶斯高斯
‑
泊松混合回归模型的具体步骤为：
[0021](2.1)使用贝叶斯定理，得到模型中隐变量和参数变量β
k
、μ
k
、Λ
k
、π
k
的变分后验分布：
[0022]①
[0023]②
[0024]③
[0025]④
[0026]其中，ξ
ik
、τ
k
、Σ
k
、m
k
、γ
k
、W
k
、v
k
以及a
k
为这些变分后验分布的分布参数，其中，i＝1,2,
…
,N，k＝1,2,
…
,K；
[0027](2.2)设置模型参数的先验分布的超参数a0、m0、γ0、W0、v0、β0、Σ0，混合组分个数K，以及迭代收敛阈值δ、最大迭代次数M、当前迭代次数t＝0；
[0028](2.3)随机初始化：首先使用多项式分布生成<z
i
>(i＝1,2,
…
,N)的初始值，其中<z
i
>为z
i
的期望；所述多项式分布的参数为K维的向量，且向量的值为1/K；然后随机初始化其他期望，包括：<β
k
>、<(x
i
‑
μ
k
)
T
Λ
k
(x
i
‑
μ
k
)>、<ln|Λ
k
|>、&a本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于变分贝叶斯高斯
‑
泊松混合回归模型的计数型质量变量预测方法，其特征在于，包括以下步骤：(1)收集计数型质量变量及相关过程变量的数据样本，作为模型的训练集；对数据进行缺失值、异常值和标准化的预处理，得到处理好的训练集；(2)利用变分推断方法，在处理好的训练集上离线训练变分贝叶斯高斯
‑
泊松混合回归模型；所述变分贝叶斯高斯
‑
泊松混合回归模型的表达式为：泊松混合回归模型的表达式为：泊松混合回归模型的表达式为：其中，为所有样本的过程变量、质量变量和隐变量集合，z
ik
为z
i
的第k维的取值；β
k
为第k个泊松回归组分的回归系数；为第k个泊松回归组分的回归系数；表示高斯分布的密度函数；μ
k
、Λ
k
分别为第k个高斯分布组分的均值向量和精度矩阵；π
k
是混合模型的混合系数；β
k
、μ
k
、Λ
k
、π
k
服从以下先验：
①
β
k
均服从高斯分布，即其中，β0、Σ0为β
k
所服从高斯分布的均值向量和协方差矩阵，这里所有组分下的β
k
先验均相同；
②
μ
k
及Λ
k
均服从Gaussian
‑
Wishart分布，即其中，m0和γ0分别是μ
k
分布的均值向量和尺度参数，表示Wishart分布的概率密度函数，为该分布的尺度矩阵，v0＞d
‑
1为分布的自由度数；
③
π
k
联合服从狄利克雷分布，即其中，a0为狄利克雷分布的参数，a0＞0以保证分布能够归一化，(3)采集待测样本，经过与步骤(1)中相同的缺失值、异常值和标准化的预处理后，得到处理好的待测样本x
q
，然后使用步骤(2)训练好的变分贝叶斯高斯
‑
泊松混合回归模型进行在线预测。2.根据权利要求1所述的基于变分贝叶斯高斯
‑
泊松混合回归模型的计数型质量变量预测方法，其特征在于，步骤(2)中，在处理好的训练集上离线训练变分贝叶斯高斯
‑
泊松混合回归模型的具体步骤为：(2.1)使用贝叶斯定理，得到模型中隐变量和参数变量β
k
、μ
k
、Λ
k
、π
k
的变分后验分布：
①②③④
其中，ξ
ik
、τ
k
、Σ
k
、m
k
、γ
k
、W
k
、v
k
以及a
k
为这些变分后验分布的分布参数，其中，i＝1,2,
…
,N，k＝1,2,
…
,K；(2.2)设置模型参数的先验分布的超参数a0、m0、γ0、W0、v0、β0、Σ0，混合组分个数K，以及迭代收敛阈值δ、最大迭代次数M、当前迭代次数t＝0；(2.3)随机初始化：首先使用多项式分布生成<z
i
>(i＝1,2,
…
,N)的初始值，其中<z
i
>为z
i
的期望；所述多项式分布的参...

【专利技术属性】
技术研发人员：张新民，李乐清，钱金传，宋执环，王文海，
申请(专利权)人：浙江大学，
类型：发明
国别省市：