基于近红外光谱分析的异常样本剔除法制造技术

本发明专利技术公开了一种基于近红外光谱分析的异常样本剔除法，首先根据当前所有样本建立初始模型；然后计算每个样本的真实值和预测值的绝对误差，预设绝对误差限制值，真实值剔除的两个限值yMin、yMax；将所有样本按照绝对误差大小按照从大到小排序，针对排序第i位的样本，若其绝对误差大于绝对误差限制值，同时，该样本的真实值大于yMin，且小于yMax，则判定该样本为异常样本，将该样本剔除。本发明专利技术方法能够尽可能地模拟人工的剔样操作，尽可能避免剔除正常样品。并且，能够通过调整相关参数来控制剔除样本的比例与次数，从而在可接受的时耗内完成剔样步骤，提升后续构建的模型质量。

Abnormal sample elimination based on near infrared spectroscopy analysis

The invention discloses an abnormal sample elimination method based on the near infrared spectrum analysis. First, the initial model is set up according to all the current samples; then the absolute error of the true value and the predicted value of each sample is calculated, the absolute error limit is preset, the two limits of the true value are yMin and yMax, and all the samples are in absolute error. According to the order of the difference size from large to small, if the absolute error is greater than the absolute error limit value, and the true value of the sample is greater than that of yMin and less than yMax, the sample is found to be an abnormal sample, and the sample is removed. The method of the invention can simulate artificial sampling operation as far as possible and avoid removing normal samples as far as possible. In addition, the ratio and frequency of the sample can be controlled by adjusting the parameters, so that the sampling steps can be completed within the acceptable time consumption, and the model quality of the subsequent construction can be improved.

【技术实现步骤摘要】
基于近红外光谱分析的异常样本剔除法
本专利技术涉及近红外光谱分析研究领域，特别涉及一种基于近红外光谱分析的异常样本剔除法。
技术介绍
近红外光(NIR)是介于紫外-可见光和中红外之间的电磁波，其波长范围为700～2500nm。近红外光能反映含氢基团X—H(如C—H、N—H、O—H等)振动的倍频和合频吸收，不同基团(如甲基、亚甲基、苯环等)或同一基团在不同化学环境中的近红外光吸收波长与强度都有明显差别。因此，近红外光非常适用于含氢有机物质的物化参数测量。基于现代化学计量学方法，近红外光谱既可以用于定量分析也可以用于定性分析。其中，针对定量分析，该技术应用实施过程中需要前期进行一些必要的准备工作，包括：(1)具有广泛代表性的定标和预测样品集的收集和成份理化定量分析；(2)定标和预测样品集的近红外光谱采集和光谱解析；(3)将物质待测理化成份与(2)中所采光谱建立回归模型(定标模型)；(4)使用已有定标模型对未知理化成份含量的物质光谱进行实际预测分析。由于(1)、(2)步骤中可能存在误操作或光谱仪器本身误差等因素，导致异常样品的出现。这些异常样品将会影响(3)中所建立起的回归模型，从而导致(本文档来自技高网...

【技术保护点】
1.基于近红外光谱分析的异常样本剔除法，其特征在于，包括步骤：根据当前所有样本建立初始模型；根据初始模型，计算每个样本的真实值和预测值的绝对误差；预设绝对误差限制值；将真实值从小到大排序，提取第

【技术特征摘要】
1.基于近红外光谱分析的异常样本剔除法，其特征在于，包括步骤：根据当前所有样本建立初始模型；根据初始模型，计算每个样本的真实值和预测值的绝对误差；预设绝对误差限制值；将真实值从小到大排序，提取第个以及第个真实值，分别记为yMin、yMax；将所有样本按照绝对误差大小按照从大到小排序，针对排序第i位的样本，若其绝对误差大于绝对误差限制值，同时，该样本的真实值大于yMin，且小于yMax，则判定该样本为异常样本，将该样本剔除。2.根据权利要求1所述的基于近红外光谱分析的异常样本剔除法，其特征在于，所述初始模型采用留一交叉验证法建模，初始模型的输出值为模型计算得到的预测标准偏差SEP。3.根据权利要求2所述的基于近红外光谱分析的异常样本剔除法，其特征在于，在建立初始模型后，先执行一判断步骤，用于判断是否需要执行异常样本剔除，判断方法如下：根据初始模型中样本的预测值和真实值，计算初始模型的预测标...

【专利技术属性】
技术研发人员：刘彤，向轶，许定舟，曾永平，肖青青，凌亚东，
申请(专利权)人：广州讯动网络科技有限公司，
类型：发明
国别省市：广东,44