基于极端随机树的非线性全光谱水体浊度定量分析方法技术

本发明专利技术涉及水体浊度检测技术，具体涉及一种基于极端随机树的非线性全光谱水体浊度定量分析方法，解决现有单波长、多波长的光谱浊度测量方法不具有普适性，全波长光谱浊度测量分析方法无法捕捉非线性的特征、存在计算量大、容易过拟合所导致的浊度预测不准确的问题，该方法主要包括第一步、光谱数据的采集；第二步、标准水参比；第三步、吸光度转换；第四步、将步骤三得到吸光度光谱进行KPCA特征提取；第五步、数据正态化；第六步、训练基于极端随机树的浊度预测模型，第七步、用测试数据测试存储的基于极端随机树的浊度预测模型。

Quantitative analysis method of non-linear full spectrum water turbidity based on extreme random tree

【技术实现步骤摘要】
基于极端随机树的非线性全光谱水体浊度定量分析方法
本专利技术涉及水体浊度检测技术，具体涉及一种基于极端随机树的非线性全光谱水体浊度定量分析方法。
技术介绍
水是自然环境和社会环境中极为重要且活跃的因素，对水质信息的科学监测是实现水资源优化配置与高效利用的基础。水体浊度是水环境和水质状况的重要监测指标，浊度是一种光学效应，它反映了光线在透过水层时收到的阻碍，水体浊度是指均匀分布于水中的可溶性微小颗粒物或可溶性有机与无机化合物等对水体中入射光线的散射、吸收导致光线的衰减程度，浊度的测量方法就是基于光的衰减程度。传统的浊度测量方法主要有分光光度法和光电式法，此两种方法普遍存在需要使用化学试剂、操作繁琐、需要使用试剂、造成二次污染等缺点，同时无法完成浊度的自动、快速、原位测量。光谱法水质检测技术由于无需化学试剂、无二次污染、快速准确、成本低，可实现实时在线原位测量，现已广泛应用于在线水质检测领域。光谱法水质检测技术是利用水中特定物质吸收特定波长的光，产生分子吸收光谱，从而根据光谱数据定性定量地分析水质参数。传统的光谱法浊度检测技术主要包括单波长、多波长和全波长分析方法。单波长法测量水体在680nm处的吸光度，通过线性回归的方法来测量水体浊度。多波长法在单波长的基础上，增加了矫正波长，来矫正水体测试时环境因素的干扰，采用486nm、551nm、671nm等多处波长的吸光度，通过加权分析的方法，建立浊度预测模型进行浊度检测。但是，上述单波长、多波长的方法本质上都依赖于水体对特定波长的特征吸收，同一波长组合建模可能适应于特定应用场景，不具有普适性。全波长分析方法主要包括线性方法和非线性方法两种。线性方法的代表是偏最小二乘法，偏最小二乘法通过不断提取主成分来简化数据，建立回归模型，该方法能很好的寻找线性特征进行回归，但却无法捕捉非线性的特征，导致浊度预测不准确。非线性方法的一个代表是支持向量机法，将低维数据映射到高维空间进行回归，再把高维空间的超平面映射回低维空间，建立回归模型，该方法可以捕捉高维空间的非线性特征，但存在计算量大，容易过拟合等缺点，导致浊度预测速度慢、准确性低。
技术实现思路
本专利技术的目的是解决现有单波长、多波长的光谱浊度测量方法不具有普适性，全波长光谱浊度测量分析方法无法捕捉非线性的特征、存在计算量大、容易过拟合所导致的浊度预测不准确的问题，提供一种基于极端随机树的非线性全光谱水体浊度定量分析方法。该方法通过测量水体紫外-可见-近红外透射光谱，建立非线性全光谱水体浊度定量分析模型，完成水体浊度的测量。为实现上述目的，本专利技术通过以下技术方案来实现：一种基于极端随机树的非线性全光谱水体浊度定量分析方法，包括以下步骤：第一步、光谱数据的采集；采用紫外-可见-近红外光谱仪测量被测水体和标准去离子水，得到被测水体的紫外-可见-近红外光谱曲线和标准去离子水的光谱曲线；第二步、标准水参比；通过公式(1)完成标准水参比，得到两光谱的比值I：式中，I1为被测水体的透射光谱，I0为标准去离子水的透射光谱；第三步、吸光度转换；通过公式(2)完成吸光度转换，得到吸光度光谱；x＝-log(I)(2)式中，x为吸光度光谱；第四步、将步骤三得到吸光度光谱进行KPCA特征提取；4.1)定义多层感知器核函数；K＝tanh(αxTxi+c)(3)其中，tanh是双曲正切函数，x为输入的样本，斜率α和常数c为两个参数；4.2)计算中心化后的核矩阵其中，M为样本数，IM∈RM×M为单位矩阵，(IM)ij＝1；4.3)计算核矩阵的特征值λ和特征向量α；其中，eig为矩阵计算特征值与特征向量的函数；4.4)将特征值λ与特征向量α按降序排序，λ＝[λ1,λ2,λ3,…,λn]，α＝[α1,α2,α3,…,αn]；4.5)将输入吸光度谱x投影到特征空间上，得到KPCA处理后的吸光度谱x0；x0＝x*α(6)第五步、数据正态化；将特征提取后的吸光度矩阵进行标准正态变换，得到数据正态化后的光谱A；其中，为x0的平均值，s为x0的标准差；第六步、训练基于极端随机树的浊度预测模型；选取样本集中的部分数据作为训练集，将训练集的数据进行步骤一到步骤五的预处理，得到训练集样本，然后将训练集样本输入到极端随机树模型中进行训练，得到训练后的基于极端随机树的浊度预测模型，同时存储该训练后的基于极端随机树的浊度预测模型；第七步、将测试数据输入至存储的基于极端随机树的浊度预测模型中，得到数据分析结果。同时，本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现基于极端随机树的非线性全光谱水体浊度定量分析方法的步骤。此外，本专利技术还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现基于极端随机树的非线性全光谱水体浊度定量分析方法的步骤。与现有技术相比，本专利技术具有以下有益效果：1.本专利技术将基于极端随机树的非线性全光谱建模方法引入到水质光谱定量分析中，相比于传统的单谱段、多谱段的建模方法，能够更充分的利用光谱信息，挖掘光谱信息在高维空间的非线性特征，建立更为精确的浊度定量分析模型。2.传统的线性分析建模方法偏最小二乘法相关系数R2＝0.7672，均方误差MSE＝9.3082；非线性分析建模方法支持向量机法R2＝0.6824，均方误差MSE＝12.6983。本方法的相关系数R2＝0.9954，均方误差MSE＝0.1816，基于本方法的模型显著的提高了浊度的预测精度。附图说明图1为本专利技术基于极端随机树的非线性全光谱水体浊度定量分析方法框图；图2为透射光谱曲线图；图3a为建立极端随机树的流程图；图3b为图3a中Split函数的示意图；图3c为建立极端随机树集合的流程图；图4为训练模型的效果图；图5为测试数据输入至基于极端随机树的浊度预测模型中得到的结果图。具体实施方式以下结合附图和具体实施例对本专利技术的内容作进一步详细描述。本专利技术提供一中基于极端随机树的非线性全光谱水体浊度定量分析方法，该方法通过测量水体的透射光谱，建立全光谱水体浊度定量分析模型，通过模型对水体浊度进行预测，具有准确度高、鲁棒性强、操作便捷、无二次污染等优点，其主要包括光谱数据获取、吸光度转换、KPCA特征提取、数据标准化、模型训练、模型输出6部分。如图1所示，本专利技术提供的基于极端随机树的非线性全光谱水体浊度定量分析方法具体包括以下步骤：第一步、光谱数据的采集；采用紫外-可见-近红外光谱仪测量被测水体和标准去离子水，得到被测水体的紫外-可见-近红外光谱曲线和标准去离子水的光谱曲线，如图2所示；第二步、标本文档来自技高网...

【技术保护点】
1.一种基于极端随机树的非线性全光谱水体浊度定量分析方法，其特征在于，包括以下步骤：/n第一步、光谱数据的采集；/n采用紫外-可见-近红外光谱仪测量被测水体和标准去离子水，得到被测水体的紫外-可见-近红外光谱曲线和标准去离子水的光谱曲线；/n第二步、标准水参比；/n通过公式(1)完成标准水参比，得到两光谱的比值I：/n

【技术特征摘要】
1.一种基于极端随机树的非线性全光谱水体浊度定量分析方法，其特征在于，包括以下步骤：
第一步、光谱数据的采集；
采用紫外-可见-近红外光谱仪测量被测水体和标准去离子水，得到被测水体的紫外-可见-近红外光谱曲线和标准去离子水的光谱曲线；
第二步、标准水参比；
通过公式(1)完成标准水参比，得到两光谱的比值I：



式中，I1为被测水体的透射光谱，I0为标准去离子水的透射光谱；
第三步、吸光度转换；
通过公式(2)完成吸光度转换，得到吸光度光谱；
x＝-log(I)(2)
式中，x为吸光度光谱；
第四步、将步骤三得到吸光度光谱进行KPCA特征提取；
4.1)定义多层感知器核函数；
K＝tanh(αxTxi+c)(3)
其中，tanh是双曲正切函数，x为输入的样本，斜率α和常数c为两个参数；
4.2)计算中心化后的核矩阵



其中，M为样本数，IM∈RM×M为单位矩阵，(IM)ij＝1；
4.3)计算核矩阵的特征值λ和特征向量α；



其中，eig为矩阵计算特征值与特征向量的函数；
4.4)将特征值λ与特征...

【专利技术属性】
技术研发人员：刘嘉诚，于涛，张周锋，刘宏，王雪霁，刘骁，鱼卫星，胡炳樑，
申请(专利权)人：中国科学院西安光学精密机械研究所，
类型：发明
国别省市：陕西;61