The invention discloses a near infrared anomaly spectrum recognition method based on KNN, aiming at the problem that the existence of anomalous spectral data seriously affects the accuracy and reliability of spectral analysis model in near infrared spectral analysis. The steps of the method include: selecting similarity measure, selecting hyperparameter k, calculating spectral distance measure, finding K shortest distance sample, calculating sample anomaly measure, sorting samples according to anomaly measure, identifying and eliminating high samples with anomaly measure. The invention is mainly used for identifying and eliminating anomalous spectra in the construction of near infrared spectroscopy analysis model.
【技术实现步骤摘要】
一种基于KNN的近红外异常光谱识别方法
本专利技术涉及一种基于KNN的近红外异常光谱识别方法。
技术介绍
异常值是指和大多数数据模式不一致的观测样本值。异常值识别对于任何基于经验数据的研究都是不可或缺的部分。在近红外光谱分析等许多现实的应用场合，数据不但含噪声干扰还包含异常数据，导致所得出的模型出现极大的偏差。异常光谱的存在等训练数据集质量问题，已经成为改善近红外光谱分析模型性能的关键和瓶颈。在基于近红外光谱分析的品质参数检测中，异常数据包括异常光谱数据和所预测的品质参数的异常测量值。品质参数一般是一维数据，低维数据的异常值识别相对简单，现有方法可以很好的完成，本章节不作分析研究。而高维的异常光谱数据的识别，是具有挑战性的问题，仍然是近红外光谱分析中值得重点关注和研究的环节，也是本章所要研究的内容。有研究指出日常数据中异常值出现的概率大概有1%到15%。数据中异常值的出现通常有两种原因。一种是因为实验性错误；另一种是由于少数几个对象的独特特征。同样，近红外光谱分析中，异常光谱可能来源于测量背景异常变化，仪器噪声增加，操作错误等，也有可能源于少数测试样本自身的异常。...
【技术保护点】
1.基于KNN的近红外异常光谱识别方法，其特征在于，包括以下主要步骤：(1) 选择某种距离度量d( , )作为近红外光谱样本间的相似性度量；(2) 选择超参数k，异常值识别研究中，k值的确定需根据经验决定，尝试若干个k值，选择识别效果较好的k值，本研究中选择k=5;(3) 计算光谱样本
【技术特征摘要】
1.基于KNN的近红外异常光谱识别方法，其特征在于，包括以下主要步骤：(1)选择某种距离度量d(,)作为近红外光谱样本间的相似性度量；(2)选择超参数k，异常值识别研究中，k值的确定需根据经验决定，尝试若干个k值，选择识别效果较好的k值，本研究中选择k=5;(3)计算光谱样本和其他所有样本的距离d(,)，-1,+1,…,n，n为总样本数；(4)找...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。