一种海水COD光谱变量特征自适应选择估计方法技术

本发明专利技术公开了一种海水COD光谱变量特征自适应选择估计方法，涉及海洋检测技术领域，包括对原始光谱数据进行筛选、预处理，对预处理所得谱线进行抽样，并通过偏最小二乘回归模型得到数据集合，通过对数据集合使用冷却收缩控制第一层循环算法进程与第二层循环解，实现算法前期大范围选择，保证搜索范围包含全部光谱数据集，同时避免陷入局部最优，后期进行光谱变量择优。本发明专利技术不受特定设置变量数的限制，也不受海洋环境干扰的限制，能够现场、自动、实时的获得当前测量海水光谱最佳变量子集，符合目前海洋现场光谱监测仪器COD检测要求，实现海洋光谱传感器现场、智能、实时的光谱数据分析，并提升海洋光谱传感器COD预测性能提升。并提升海洋光谱传感器COD预测性能提升。并提升海洋光谱传感器COD预测性能提升。

【技术实现步骤摘要】
一种海水COD光谱变量特征自适应选择估计方法


[0001]本专利技术涉及海洋检测
，尤其是一种海水COD光谱变量特征自适应选择估计方法。

技术介绍

[0002]化学需氧量（Chemical Oxygen Demand）是海洋环境有机物污染的综合评价指标，在海域生态环境质量评价、海区富营养化研究等方面具有重要作用，（UV
‑
VIS）紫外
‑
可见光谱法测量COD因为其快捷、连续无污染等优势得到广泛应用，利用待测溶液的吸收光谱同时满足朗伯
‑
比尔定律和吸光度的叠加原理，获得待测物的光谱信息。测量混合溶液中各组分浓度本质是求解多元线性回归，即通过求解多元线性方程组，获得混合溶液中待测组分在每个波长变量处的吸光系数。通常在获得原始光谱信息之后，需要对应的光谱变量信息建模反演出COD浓度信息，全光谱中信息驳杂，使得模型精度与运行速度不可避免的下降，因此解析过程中有效变量选择为关键步骤。
[0003]但相对于常规水体，海水中环境干扰因素以及光谱叠加干扰机理更加复杂，不同种类的成分在光源下的激发态存在差异，形成的特征峰互不相同并相互影响，如海水中的氯离子、亚硝酸根离子等离子的吸收光谱在相互叠加的同时对紫外波段的目标物质COD光谱产生干扰，导致海水光学传感器的抗干扰能力不佳。面对海水光谱传感器中的局限性，常用的光谱变量选择方法在对于复杂问题，通常受共线性、噪声和波动背景干扰的影响变量的筛选或因密集计算无法遍历全部数据集而陷入局部最优。
[0004]在海水光谱传感器的工作中，使用传统的多元回归建模时，同时选择了较多的无关信息变量与低信噪比变量，且多变量的选择间的共线性会造成多重交互作用，增加了数据量且可能屏蔽COD相关光谱变量，对模型结果造成影响。基于PLS建模时，对相关变量的重要性的判定由权重和载荷解释，当不相关方差在矩阵中占主导地位时，权重和载荷的系数可能与模型的COD预测性能无关。面对不同的海水情况，还需要针对性的对模型变量选择参数进行调整，当仪器安装到自动检测平台上，随着环境的变化，模型参数的调整成为难题。

技术实现思路

[0005]为了克服现有技术中存在的上述问题，本专利技术提出一种海水COD光谱变量特征自适应选择估计方法。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种海水COD光谱变量特征自适应选择估计方法，包括如下步骤：步骤1，对原始光谱数据集进行筛选；步骤2，对步骤1筛选出的光谱数据集进行预处理，消除基线漂移和背景干扰并对光谱进行平滑处理；步骤3，对步骤2所得光谱变量进行抽样，每次变量选择结果用二进制表示形成二进制矩阵，并对选中的变量建立偏最小二乘回归模型，记录模型中的交叉验证误差RMSECV；
步骤4，建立新的偏最小二乘回归模型，将步骤3所得的二进制矩阵与交叉验证误差建立对应关系，并统计相关系数矩阵，对相关系数矩阵进行升序排列得到集合V，从集合V中取上四分位数的变量作为含有个变量的初始子集Z*；步骤5，设置第一层循环，给定初始参数T和RMSECV接受阈值，参数的更新函数为：，其中， n为第一层循环次数，k为 Boltzmann常数，，以初始子集Z*为初始状态，利用偏最小二乘对选中的变量进行建模，并采用RMSECV作为评价指标，得到目标函数F(i)；步骤6，针对步骤4中集合V进行第二层循环，设置循环次数Lk，采用正态分布控制变量数，实现变量的选择与增删操作，最终得到Lk个候选变量子集Z及每个候选变量子集的RMSECV；步骤7，从步骤6所得的Lk个候选变量子集Z中选择RMSECV最小的候选变量子集更新步骤5中的初始状态，进行第一层循环，当T=0.1或候选变量子集的RMSECV达到RMSECV接受阈值，则第一层循环结束，输出最优候选变量子集及RMSECV。
[0007]上述的一种海水COD光谱变量特征自适应选择估计方法，所述步骤3中交叉验证误差RMSECV计算公式为：其中，c
i
是实际值, 是预测值， n是训练集样本数。
[0008]上述的一种海水COD光谱变量特征自适应选择估计方法，所述步骤6变量的选择具体为：从均值为、方差为的正态分布中随机选择一个整数，根据约束条件产生一个含有个变量的候选变量子集Z。
[0009]上述的一种海水COD光谱变量特征自适应选择估计方法，所述约束条件具体为：若,则令Z=Z*；若,则首先对Z建立PLS模型，记录并比较模型中每个变量的回归系数的值，将个最小回归系数的相关变量从Z*中移除，剩余的个变量为候选变量子集Z；若，则从V
‑
Z*中随机抽取个变量，设置为4，生成一个变量子集T，通过Z*和T的组合建立PLS模型，保留模型中回归系数最大的个变量，并将其设为候选变量子集Z。
[0010]上述的一种海水COD光谱变量特征自适应选择估计方法，所述步骤5中目标函数计算公式为：
上述的一种海水COD光谱变量特征自适应选择估计方法，所述步骤6变量的增删具体包括：以Metropolis接受准则进行变量的保留或剔除。
[0011]上述的一种海水COD光谱变量特征自适应选择估计方法，所述Metropolis接受准则具体为：其中，表示接受解j的概率，F(i)、F(j)分别表示解i、j的目标函数；T
n
为第一层循环第n次时的取值。
[0012]本专利技术的有益效果是，本专利技术提供一种海洋COD光谱自适应环境对相关光谱变量进行循环收缩择优的方法，不受特定设置变量数的限制，也不受海洋环境干扰的限制，能够现场、自动、实时的获得当前测量海水光谱最佳变量子集，符合目前海洋现场光谱监测仪器COD检测要求。实现海洋光谱传感器现场、智能、实时的光谱数据分析，并提升海洋光谱传感器COD预测性能提升。
附图说明
[0013]下面结合附图和实施例对本专利技术进一步说明。
[0014]图1为本专利技术流程图；图2本专利技术实施例所公开的典型的近海海水光谱曲线；图3为一阶导数与S
‑
G滤波之后的对应光谱曲线；图4为变量对模型误差贡献的统计；图5为每次迭代变量的选择数量；图6为每次迭代所选变量的预测均方根误差；图7为最终模型选择的变量。
具体实施方式
[0015]为使本领域技术人员更好的理解本专利技术的技术方案，下面结合附图和具体实施方式对本专利技术作详细说明。
[0016]本实施例公开了一种海水COD光谱变量特征自适应选择估计方法，如图1所示，包括如下步骤：本实施例所公开的典型的近海海水光谱曲线如图2所示，吸收光谱图是表征海水COD性质的重要手段，为后续数据的选择和处理提供依据。依据朗伯
‑
比尔定律：当一束平行的单色光垂直于均匀的非散射吸光物质时，其吸收度与光吸收物质的浓度和吸收介质厚度成正比。横坐标为光谱仪扫描波段，纵坐标为相应波长变量对应的吸光度，通常在光谱图中，实际海水样本的有效COD吸收特性主要集中在260nm
‑
310nm波段，其主要由苯环官能团作用形成，相应的COD表达特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种海水COD光谱变量特征自适应选择估计方法，其特征在于：包括如下步骤：步骤1，对原始光谱数据集进行筛选；步骤2，对步骤1筛选出的光谱数据集进行预处理，消除基线漂移和背景干扰并对光谱进行平滑处理；步骤3，对步骤2所得光谱变量进行抽样，每次变量选择结果用二进制表示形成二进制矩阵，并对选中的变量建立偏最小二乘回归模型，记录模型中的交叉验证误差RMSECV；步骤4，建立新的偏最小二乘回归模型，将步骤3所得的二进制矩阵与交叉验证误差建立对应关系，并统计相关系数矩阵，对相关系数矩阵进行升序排列得到集合V，从集合V中取上四分位数的变量作为含有个变量的初始子集Z*；步骤5，设置第一层循环，给定初始参数T和RMSECV接受阈值，参数的更新函数为：，其中， n为第一层循环次数，k为 Boltzmann常数，，以初始子集Z*为初始状态，利用偏最小二乘对选中的变量进行建模，并采用RMSECV作为评价指标，得到目标函数F(i)；步骤6，针对步骤4中集合V进行第二层循环，设置循环次数Lk，采用正态分布控制变量数，实现变量的选择与增删操作，最终得到Lk个候选变量子集Z及每个候选变量子集的RMSECV；步骤7，从步骤6所得的Lk个候选变量子集Z中选择RMSECV最小的候选变量子集更新步骤5中的初始状态，进行第一层循环，当T=0.1或候选变量子集的RMSECV达到RMSECV接受阈值，则第一层循环结束，输出最优候选变量子集及RMSECV。2.根据权利要求1所述的一种海水COD光谱变量特征自适应选择估计方法，其特征在于，所述步骤3中...

【专利技术属性】
技术研发人员：张颖颖，侯士伟，袁达，吴丙伟，冯现东，曹璐，程岩，王茜，
申请(专利权)人：山东省科学院海洋仪器仪表研究所，
类型：发明
国别省市：