【技术实现步骤摘要】
本专利技术涉及化学计量学多元校正模型数据处理
,特别涉及一种。
技术介绍
随着现代分析仪器的发展,检测信号已由传统的单一数值变化为完整的谱图,甚至是图像。对于光谱数据,维数相对于采集的样本个数来说通常是很高的,此时校正回归问题严重病态,传统的一元单变量校正方法难以对这些数据进行分析,取而代之的是多元校正方法[1]。化学计量学多元校正技术直接利用测量信号,通过降维、特征提取、特征变换以及多元回归技术建立光谱信号与样品浓度之间的定量模型,以实现定量分析。然而,经典的多元校正方法,如多元线性回归、主成分回归、偏最小二乘回归[2_3]通常特别易受异常样本点的影响。一般地,与数据集中大部分样本相比,异常样本就是无关的、或者某种程度上是错误的和不正常的样本。异常样本一般是由仪器故障、采集条件因素、人为操作误差或数据自身缺陷等原因引起的。异常样本的存在会影响模型的质量,导致建立的模型无法反映数据的真实关系,无法得到准确的预测结果。因此,需要剔除异常样本点的影响建立稳健的模型[4]。对于主成分回归,一般采用稳健的协方差估计替代传统的数据协方差矩阵,从而实现稳健的主成分回归 ...
【技术保护点】
一种基于随机采样一致集的谱图异常样本点检测方法,其特征在于,包括如下具体步骤:步骤(1):对给定光谱数据X进行稳健主成分分析,检测并消除异常光谱样本点,得到校正样本集Xc,记校正样本集Xc中样本数目为mc;步骤(2):在所述步骤(1)中的校正样本集Xc上进行随机采样,得到当前的训练集Xs;步骤(3):基于所述步骤(2)中的训练集Xs建立多元校正模型,并计算模型预测残量误差Es;步骤(4):利用步骤(3)中的多元校正模型和模型预测残量误差Es,评价模型的性能并得出评价得分,并将步骤(1)中的校正样本集Xc确定为内点集uc;步骤(5):重复步骤(2)至步骤(4)N次,其中N定义 ...
【技术特征摘要】
1.一种基于随机采样一致集的谱图异常样本点检测方法,其特征在于,包括如下具体步骤 步骤(I):对给定光谱数据X进行稳健主成分分析,检测并消除异常光谱样本点,得到校正样本集X。,记校正样本集X。中样本数目为m。; 步骤(2):在所述步骤(I)中的校正样本集X。上进行随机采样,得到当前的训练集Xs ; 步骤(3):基于所述步骤(2)中的训练集Xs建立多元校正模型,并计算模型预测残量误差Es ; 步骤(4):利用步骤(3)中的多元校正模型和模型预测残量误差Es,评价模型的性能并得出评价得分,并将步骤(I)中的校正样本集X。确定为内点集U。; 步骤(5):重复步骤(2)至步骤(4)N次,其中N定义为自然数,从而得到N个评价得分,选择其中评价得分最高的多元校正模型所对应的校正样本集为最终的内点集um。2.根据权利要求1所述的基于随机采样一致集的谱图异常样本点检测方法,其特征在于,所述步骤(I)包括如下具体步骤 步骤(11):建立模型X=TPt,其中Ttt1, t2,…,ta]T定义为得分矩阵,Ρ[ρι,ρ2,…,pa]TS义为载荷矩阵,a定义为主成分个数; 步骤(12):利用公式t—i^media...
【专利技术属性】
技术研发人员:王海燕,刘军,姜久英,
申请(专利权)人:江苏易谱恒科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。