一种基于双树复小波分段直接标准化的模型传递方法技术

本发明专利技术公开了一种基于双树复小波分段直接标准化的模型传递方法，本发明专利技术首先采用双树复小波对光谱进行多尺度分解并重构，然后应用分段直接标准化对重构每一层光谱进行校正，接着建立基于偏最小二乘法和留一法交叉验证的预测模型，最后通过计算出的权重将所有的预测模型融合并进行评价。本发明专利技术采用的双树复小波与直接标准化相结合的方法，由于双树复小波具有的平移不变性和多尺度特性，克服了现有模型传递方法的不足，在校正x轴和y轴方向上的漂移的能力都十分出色，同时具有精细，精确、高效的优点，能广泛应用于近红外和拉曼光谱等领域。

【技术实现步骤摘要】

本专利技术涉及一种模型传递方法，具体涉及一种基于双树复小波分段直接标准化的模型传递方法。
技术介绍
模型传递也称仪器标准化，是指经过数学处理后，使一台仪器上的模型能够用于另一台仪器，从而减少重新建模所带来的巨大工作量，实现样品和数据资源的共享。目前应用最为普遍和最为成功的方法是多变量校正算法，而其中又以分段直接标准化(PDS)算法以及在其基础上的改进算法效果较好。对于光谱来说，两台仪器光谱之间的差异可以归纳为两个方面，一是x轴方向上的差异，即波形的移位；另一方面是y轴方向上的差异，即波形的变形。光谱本身是多尺度的，其包含的信息也是多尺度的。不同光谱仪的光谱之间的差异，可能只存在于一部分频率域上，其他部分的信息则是相同的。分段直接标准化算法是在对整个光谱层面上进行校正，没有在频率域对光谱进行划分，这样的模型传递很笼统，不够精细。而在分段直接标准化算法基础上的小波多尺度分段直接标准化算法，其多尺度校正的特点克服了分段直接标准化方法的笼统、不够精细的缺点，但小波具有的平移可变性的缺点造成这种方法在校正两台仪器光谱x轴方向上的漂移的能力很差。
技术实现思路
为解决上述问题，本专利技术提供了一种基于双树复小波分段直接标准化的模型传递方法，创新性的结合了双树复小波变换和分段直接标准化，精细，精确、高效。为实现上述目的，本专利技术采取的技术方案为：一种基于双树复小波分段直接标准化的模型传递方法，包括如下步骤：S1、选择并设定两台光谱仪器分别作为主、从仪器，分别采集样品的主、从机仪器光谱；S2、采用Kennard-Stone算法对步骤S1采集的光谱进行优选，剔除掉样品光谱中异常样品光谱，然后选择并设定训练集和测试集；S3、针对步骤S1采集的光谱特性，设定最佳分解层数，并按照最佳分解层数对步骤S1采集的光谱进行双树复小波变换，得到各层分解系数；S4、对步骤S3所得的各层分解系数分别进行重构，得到各层重构的光谱；S5、对步骤S4所得的各层重构的光谱，使用直接标准化(PDS)算法对从机光谱进行校正，然后使用训练集的主机光谱与步骤S1采集光谱的化学真值浓度，建立基于偏最小二乘法和留一法交叉验证的预测模型，然后将校正后的测试集从机光谱输入该模型得到预测结果，并得到每个预测模型的交叉验证均方根误差RMSECV；S6、通过交叉验证均方根误差计算步骤S5所得的预测模型的权值，使用权值将所有的步骤S5所得的预测模型进行模型融合，并计算RMSEP值和相关系数来评价模型传递效果。所述步骤S1中所述的主、从仪器需保证是同一类型号的仪器，采集光谱是对同一样品在同一测量条件下采集不同仪器的光谱。所述步骤S4中所述的重构是对不同仪器的光谱的分解后的每一层小波系数分别进行重构。所述步骤S5所述的交叉验证均方根误差为RMSECV，其公式如下：RMSECV=Σ1n(CNIR-CREF)2Σ1nCREF2]]>式中：n是测试集样品数，CNIR是样品的某一实际属性矩阵，一般为浓度阵；CREF为预测出的样品属性矩阵。所述步骤S6中所述的RMSEP是预测模型的预测均方根误差，表示模型预测值与化学真值之间的偏差，用于评价模型的优劣最重要的参数，公式如下：RMSEP=Σ1n(CNIR-CREF)2n]]>式中：n是测试集样品数，CNIR是样品的某一实际属性矩阵，一般为浓度阵；CREF为预测出的样品属性矩阵。所述步骤S6中所述的相关系数，表示模型预测值与化学真值之间的相关程度，公式如下：R=Σ1nCNIRCREF-Σ1nCNIRΣ1nCREFn(Σ1nCNIR2-(Σ1nCNIR)2n)(Σ1nCNIR2-(Σ1nCREF)2n)]]>式中：n是测试集样品数，CNIR是样品的某一实际属性矩阵，一般为浓度阵；CREF为预测出的样品属性矩阵。所述步骤S6所述权值由以下公式获得：Wi=(1RMSECVi)2Σim(1RMSECVi)2]]>其中，RMSECVi是第i个子模型交叉验证后的预测均方根误差。所述步骤S6中所述的模型融合的公式如下：C=ΣimWi·CiREF]]>其中，CiREF是预测模型的预测结果，m是分解的尺度，C为预测模型融合后的预测结果，即最终的模型传递结果。本专利技术具有以下有益效果：本专利技术首先采用双树复小波对光谱进行多尺度分解并重构，然后应用分段直接标准化对重构每一层光谱进行校正，接着建立基于偏最小二乘法和留一法交叉验证的预测模型，最后通过计算出的权重将所有的预测模型融合并进行评价。本专利技术采用的双树复小波与直接标准化相结合的方法，由于双树复小波具有的平移不变性和多尺度特性，克服了现有模型传递方法的不足，在校正x轴和y轴方向上的漂移的能力都十分出色，同时具有精细，精确、高效的优点，能广泛应用于近红外和拉曼光谱等领域。附图说明图1(a)玉米样品的m5仪器光谱。图1(b)玉米样品的mp5仪器光谱。图2为m5和mp5仪器光谱二者的差异。图3不同分解尺度下的RMSEP和相关系数。图4(a)每个预测模型的交叉验证均方根误差。图4(b)每个预测模型的决策融合权重；图5(a)常规模型传递方法的结果；图5(b)基于双树复小波分段直接标准化的模型传递方法的结果。具体实施方式为了使本专利技术的目的及优点更加清楚明白，以下结合实施例对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本专利技术。本专利技术实施例提供了一种基于双树复小波分段直接标准化的模型传递方法，包括如下步骤：S1、选择并设定两台光谱仪器分别作为主、从仪器，分别采集样品的主、从机仪器光谱；所述的主、从仪器需保证是同一类型号的仪器，采集光谱是对同一样品在同一测量条件下采集不同仪器的光谱；S2、采用Kennard-Stone算法对步骤S1采集的光谱进行优选，剔除掉样品光谱中异常样品光谱，然后选择并设定训练集和测试集；S3、针对步骤S1采集的光谱特性，设定最佳分解层数，并按照最佳分解层数对步骤S1采集的光谱进行双树复小波变换，得到各层分解系数；S4、对步骤S3所得的各层分解系数分别进行重构，得到各层重构的光谱；所述的重构是对不同仪器的光谱的分解后的每一层小波系数分别进行重构。S5、对步骤S4所得的各层重构的光本文档来自技高网...

【技术保护点】
一种基于双树复小波分段直接标准化的模型传递方法，其特征在于，包括如下步骤：S1、选择并设定两台光谱仪器分别作为主、从仪器，分别采集样品的主、从机仪器光谱；S2、采用Kennard‑Stone算法对步骤S1采集的光谱进行优选，剔除掉样品光谱中异常样品光谱，然后选择并设定训练集和测试集；S3、针对步骤S1采集的光谱特性，设定最佳分解层数，并按照最佳分解层数对步骤S1采集的光谱进行双树复小波变换，得到各层分解系数；S4、对步骤S3所得的各层分解系数分别进行重构，得到各层重构的光谱；S5、对步骤S4所得的各层重构的光谱，使用直接标准化算法对从机光谱进行校正，然后使用训练集的主机光谱与步骤S1采集光谱的化学真值浓度，建立基于偏最小二乘法和留一法交叉验证的预测模型，然后将校正后的测试集从机光谱输入该模型得到预测结果，并得到每个预测模型的交叉验证均方根误差RMSECV；S6、通过交叉验证均方根误差计算步骤S5所得的预测模型的权值，使用权值将所有的步骤S5所得的预测模型进行模型融合，并计算RMSEP值和相关系数来评价模型传递效果。

【技术特征摘要】
1.一种基于双树复小波分段直接标准化的模型传递方法，其特征在于，
包括如下步骤：
S1、选择并设定两台光谱仪器分别作为主、从仪器，分别采集样品的主、
从机仪器光谱；
S2、采用Kennard-Stone算法对步骤S1采集的光谱进行优选，剔除掉样
品光谱中异常样品光谱，然后选择并设定训练集和测试集；
S3、针对步骤S1采集的光谱特性，设定最佳分解层数，并按照最佳分解
层数对步骤S1采集的光谱进行双树复小波变换，得到各层分解系数；
S4、对步骤S3所得的各层分解系数分别进行重构，得到各层重构的光谱；
S5、对步骤S4所得的各层重构的光谱，使用直接标准化算法对从机光谱
进行校正，然后使用训练集的主机光谱与步骤S1采集光谱的化学真值浓度，
建立基于偏最小二乘法和留一法交叉验证的预测模型，然后将校正后的测试
集从机光谱输入该模型得到预测结果，并得到每个预测模型的交叉验证均方
根误差RMSECV；
S6、通过交叉验证均方根误差计算步骤S5所得的预测模型的权值，使用
权值将所有的步骤S5所得的预测模型进行模型融合，并计算RMSEP值和相关
系数来评价模型传递效果。
2.根据权利要求1所述的一种基于双树复小波分段直接标准化的模型传
递方法，其特征在于，所述步骤S1中所述的主、从仪器需保证是同一类型号
的仪器，采集光谱是对同一样品在同一测量条件下采集不同仪器的光谱。
3.根据权利要求1所述的一种基于双树复小波分段直接标准化的模型传
递方法，其特征在于，所述步骤S4中所述的重构是对不同仪器的光谱的分解
后的每一层小波系数分别进行重构。
4.根据权利要求1所述的一种基于双树复小波分段直接标准化的模型传

\t递方法，其特征在于，所述步骤S5所述的交叉验证均方根误差为RMSECV，
其公式如下：
RMSECV=Σ1n(CNIR-CR...

【专利技术属性】
技术研发人员：陈达，卢帆，
申请(专利权)人：河北伊诺光学科技有限公司，
类型：发明
国别省市：河北;13