本文提出一种基于有标样模型传递的相对误差分析(Relative error analysis,REA)的波段筛选方法，该方法主要根据经模型传递校正后从仪器标样集光谱与主仪器标样集光谱间的相对误差，剔除偏差过大的波段，选择一致性较好的波段建立主仪器预测模型，从而提高模型的稳健性。使用模型的预测均方根误差作为评价模型预测性能的指标，并由此确定波段的相对误差的最优阈值。相对变化率作为评价该方法对预测模型优化能力的指标，并与其他波段筛选方法的相对变化率进行对比验证该方法的有效性。并将该方法用于芒果可溶性固形物的预测模型中，以此证明该方法的可行性。证明该方法的可行性。证明该方法的可行性。
【技术实现步骤摘要】
基于有标样模型传递的提高模型稳健性的波段筛选方法
[0001]本专利技术涉及一种基于有标样模型传递的提高模型稳健性的波段筛选方法。属于近红外无损检测应用领域。
技术介绍
[0002]得益于近红外光谱分析技术可以对样本进行无损、快速实时的检测，目前该技术也被广泛应用于鲜果内部品质的无损检测，也相应地研发出了多种无损检测仪器。由于近红外光谱普遍存在噪声、吸收强度弱，光谱重叠等缺点，需要借助稳定的模型才能进行定量或者定性的分析，但在实际生产过程中，存在环境、仪器或加工精度、仪器老化等不稳定因素，这些因素对光谱信号产生了一定影响，进而出现模型通用性问题，最终导致台间差，严重制约了光谱分析技术的发展。所以，对仪器的光谱信号进行校正，建立一种模型之间的传递，实现仪器之间模型共享的方法，已经成为近红外光谱分析技术的一项重要研究工作。
[0003]目前，近红外光谱模型传递技术已经取得了一些成果，但在实际的生产中，模型传递技术并没有广泛的使用，根本原因还是模型传递后的预测精度不够理想，建立的预测模型的稳健性还有待提高。对从仪器光谱用模型传递算法校正后，与主仪器的光谱并不能完全吻合，在部分波段存在较大偏差，这些波段会极大地影响模型的预测效果。因此，如何将偏差较大的波段剔除，筛选出一致性较好的波段是在模型传递过程中需要考虑到的。
技术实现思路
[0004]为了克服现有技术的不足，本专利技术基于有标样模型传递的主从仪器间的相对误差分析，提出了一种相对误差分析(Relative error analysis,REA)的波段选择方法。为了达到上述目的，本专利技术的技术解决方案如下：
[0005]1.首先，在主、从仪器上记录标准样品的近红外光谱，利用SPXY从原始样本中提取75％作为模型传递的标样集光谱，剩余25％作为测试光谱。利用模型传递算法建立主、从标样光谱间的校正函数，再将从仪器标样光谱带入该函数中，得到校正后的光谱数据集Xms，将标样光谱信号作为分析的变量，求算Xms与主仪器标样光谱Xm之间的绝对误差(Absolute error,AE),如公式(1)所示，其中j为光谱波长点数，Xms
j
为第j个波长点的转换谱，Xm
j
为第j个波长点的主仪器标样谱。计算出各波段的AE值后，代入公式(2)求算解两组数据的相对误差(Relative error,RE)。
[0006]AE
j
＝Xms
j
‑
Xm
j
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0007][0008]2.其次，再根据RE值求各波段的平均相对误差(Mean Relative Error,MRE)的绝对值|MRE
j
|，计算方法如公式(3)所示，其中i为样本序号，n为样本总数.
[0009][0010]3.最后，利用计算得到的|MRE
j
|值绘制出相对误差曲线，以|MRE
j
|值为波段一致性
的评价指标。根据各波段的|MRE
j
|分布划分阈值，对阈值内的波段进行筛选，依据偏最小二乘法(Partial least squares,PLS)建立SSC预测模型，对比不同阈值(Threshold,T)筛选的波段建立的PLS模型预测均方根误差(Root mean square error of prediction,RMSEP)，最小的RMSEP值对应的便是最优阈值。
[0011]4.阈值筛选是为确保所选择的波长适合该模型的传递，阈值T主要依据|MRE
j
|确定，本文主要将T的值主要根据|MRE
j
|值的范围来确定。T＝1时，对应|MRE
j
|≤1，T＝2对应|MRE
j
|≤2，以此类推，当T＝20时对应的为|MRE
j
|≤20，T越低说明主从仪器在该阈值对应的波段的响应更具一致性。然而，T值过小也会导致筛选的波段过少，存在有效信息的波段被剔除的风险，本研究采用的筛选方法可将这种风险降到最低。使用PLS预测模型的RMSEP值作为筛选波段的评价指标。
[0012]5.对波段筛选的优化性能进行评价。使用标准化前RMSEP(before)(定义式为公式(4)所示)和标准化后RMSEP(after)(定义式为公式(5)所示)之间的相对变化率(Relative variation ratio,RVR)来比较各模型对从仪器光谱的校正能力，RVR值越高，说明校正前后的RMSEP值变化越大，该方法的优化性能越好，定义式如公式(6)所示。
[0013][0014][0015][0016]其中n表示样本数，i表示样本中第i个样本i＝1,2,3,
…
,n。y
m
表示主仪器光谱浓度值y
s
表示从仪器光谱浓度值，y
c
表示传递后从仪器光谱浓度值。
[0017]6.将其与其他变量选择方法进行比较，验证方法的有效性。为了评估各种方法的优化性能，统一将模型传递前的主、从仪器模型的RMSEP作为计算RVR值的RMSEP(before)，再对比各方法下的RVR值，以便评估哪种方法对主仪器的预测模型优化能力更强。
附图说明
[0018]图1为本专利技术总体流程图。
[0019]图2为原始主、从仪器采集的近红外光谱图。
[0020]图3为各方法建立的PLS预测模型散点图。
具体实施方式
[0021]实施方案：为了证明本专利技术的适用性，结合实例进行详细的说明。但是本专利技术也可以应用于本次所采用的实例之外的光谱数据。
[0022]图1是本专利技术提供的REA波段筛选方法的流程图，本专利技术具体包括以下步骤：
[0023](1)本次研究选用的样品是产于中国四川攀枝花米易县的鹰嘴芒，为了建立更加稳定的模型需要保证实验样品间可溶性固形物足够大的梯度范围，总共选择了116个芒果。
实验分别采用海洋光学公司生产的两台不同型号的光谱仪，QE65Pro(主仪器)和QE65000(从仪器)微型光纤科研级光谱仪采集芒果的光谱数据。采集前将样品先置于(22
±
1)℃的实验室环境中24h，避免温度对测量结果的影响，以空气作为参比，控制环境光照度低于1lx，采用积分球漫反射部件测试，22℃下扫描20次，主、从仪器采集波长范围分别在317.60
‑
1115.08nm、349.26
‑
1131.78nm，分别都为1044个波长点数，分辨率分别0.76nm和为0.75nm。并采集芒果赤道部位关于果核对称的两个面的光谱信息，共获得232组样本信息，使用SPXY算法按照3:1的比例选择174个样本作为标样集，58个样本作为测试集。
[0024](2)对于芒果样本的光谱数据，采集光谱时所用的主从仪器型号不同，仪器的入射狭缝、光栅、探测器不同，导致最终测得的光谱波长点数、光谱数据长本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.基于有标样模型传递的提高模型稳健性的波段筛选方法，其特征在于：利用SPXY划分标样集和测试集，通过有标样模型传递算法构建主、从仪器标样集的校正函数，再用该函数关系对从仪器标样集光谱进行校正，从而计算校正后的从仪器光谱与主仪器光谱之间的相对误差，根据相对误差的大小范围划分阈值，选择每个阈值含有的波段。2.根据权利要求1所述标样集，其特征在于：分别采用预测均方根误差以及相对变化率对预测模型所得结果进行评价。3.根据权利要求...
【专利技术属性】
技术研发人员：刘燕德，黎丽莎，李斌，姜小刚，
申请(专利权)人：华东交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。