一种基于禁忌优化的光谱建模样本集快速划分方法技术

本发明专利技术公开了一种基于禁忌优化的光谱建模样本集快速划分方法。该方法利用基于化学参考值加权的光谱数据2‑均值聚类模式获取定标样本和验证样本的初始划分，探索禁忌搜索方法的参数优化模式，对初始划分进行自适应快速优化，以定标集和验证集的部分样本互换的方式生成多个候选划分对象，将候选对象进行禁忌存储并逐个优化对比，并经过多次迭代以确定当前解的最优化结果。互换样本的数量、候选解的数量、禁忌表的长度和迭代次数等若干参数可调，实现针对样本集划分的智能化更新，最终输出迭代优化的样本集划分结果。针对优化划分结果进一步执行光谱预处理、特征提取、建模优化、模型预测和评价等计量分析操作，有利于提高光谱模型的预测能力。

【技术实现步骤摘要】
一种基于禁忌优化的光谱建模样本集快速划分方法
本专利技术涉及近红外、红外光谱分析中的建模优化领域，具体涉及建模过程中的一种基于禁忌优化的光谱建模样本集快速划分方法。
技术介绍
光谱分析是一种快速定量检测物质成分含量的信息技术，它是根据不同频率的单色光照射物质后形成的光强变化量来测算物质中的特定化学成分，对物质不造成化学性破坏，具有耗时短、无试剂、多目标等技术操作特点。中红外(MIR)和近红外(NIR)区域的光谱应用特点尤为显著，能够很大程度地简化样本前处理过程，对于目标成分的预测主要依靠计量学建模手段来完成。随着信息技术的发展进入大数据时代，计量学方法的研究可以结合智能学习和深度优化模式，MIR和NIR光谱建模的预测能力有望取得进一步的提高。针对光谱数据的计量学建模是以事件驱动和数据驱动相结合的方式进行，在过程上主要可以分为数据采集、样本划分、光谱预处理、建模优化、模型预测和模型传递等多个环节。在任何一个环节中提出新型的有效的计量学分析方法都有可能提高光谱建模能力，其中关于样本划分的技术改进并不多见。样本划分是指光谱分析需要将所本文档来自技高网...

【技术保护点】
1.一种基于禁忌优化的光谱建模样本集快速划分方法，其特征在于具体步骤为：/n步骤一，采用基于加权距离的2-均值聚类方法划分训练样本集Cal和验证样本集Val，将每个样本的光谱向量v

【技术特征摘要】
1.一种基于禁忌优化的光谱建模样本集快速划分方法，其特征在于具体步骤为：
步骤一，采用基于加权距离的2-均值聚类方法划分训练样本集Cal和验证样本集Val，将每个样本的光谱向量vi，i＝1,2…n，视为高维空间中的数据点，以加权欧式距离为指标计算所有n个样本两两之间的距离；加权欧式距离定义为：



其中，vi和vj为第i,j个样本的光谱向量i,j＝1,2…n，σi和σj为第i,j个样本的权值，在光谱分析中通常选取样本对应的化学参考值作为该权值，基于聚类划分原则，首先将距离最远，即d值最大的两个样本分别划分到训练样本集Cal和验证样本集Val中，然后以这两个样本为初始聚类中心，将其他样本聚类划分到对应样本集中；以此获取训练样本集Cal和验证样本集Val的样本划分结果；
步骤二，设置禁忌优化的最高迭代次数为T；设置禁忌表禁忌表禁忌表长度Len；
步骤三，当前迭代次数it初始化为0；禁忌表初始化为空表；将步骤一得到的训练样本集和验证样本集的样本划分结果作为样本划分禁忌优化问题的当前解，记为S；
步骤四，针对每一次迭代判断禁忌表的非空单元格数量w_len是否小于Len：如果w_len<Len，将当前解S增加写入禁忌表；如果w_len＝Len，则按照先入先出的原则，利用当前解S替换最先被写入禁忌表中的一个解，更新禁忌表；
步骤五，对当前解S中的训练样本集Cal和验证样本集...

【专利技术属性】
技术研发人员：陈华舟，陈伟豪，蔡肯，
申请(专利权)人：桂林理工大学，
类型：发明
国别省市：广西;45