一种基于弹性分段标准化算法的模型迁移方法及系统技术方案

本发明专利技术提供一种基于弹性分段标准化算法的模型迁移方法及系统，涉及光谱分析领域，方法先获取由主机和卫星机采集的光谱数据，作为样本，并确定光谱数据的波长范围；对光谱数据进行全谱分析和归一化操作；将每一折光谱数据分为训练数据集和验证数据集；使用主机光谱数据建立定量分析模型；设置窗口初始宽度；训练多元回归模型；记录验证集校正后卫星机光谱谱线与主机光谱谱线；根据验证集的RMSE选择最优的窗口宽度建立转换矩阵；将卫星机光谱数据通过转换矩阵转换；将转换后的卫星机光谱数据作为主机模型的输入，使用主机模型进行预测。本发明专利技术降低了波峰位置的光谱谱线之间的RMSE，提高了模型迁移的准确性。高了模型迁移的准确性。高了模型迁移的准确性。

【技术实现步骤摘要】
一种基于弹性分段标准化算法的模型迁移方法及系统


[0001]本专利技术涉及光谱分析领域，尤其涉及一种基于弹性分段标准化算法的模型迁移方法及系统。

技术介绍

[0002]近几年来，随着光谱仪器的制造水平的提升、光谱分析算法和软件的开发，激光诱导击穿光谱技术也得到了快速的发展。得益于激光诱导击穿光谱技术可以对样本进行无损、多元素同时检测、快速实时的检测，使其在土壤检测、煤炭开采、冶金分析、矿产开发、生物医学等众多领域得到了广泛的应用。实践已经证明，利用化学计量学方法，结合神经网络、机器学习等方法应用于激光诱导击穿光谱的数据处理，能够大幅提高产品检测的质量和效率，降低生产成本和能源消耗，激光诱导击穿光谱技术已经成为一种重要的检测分析手段。由于激光诱导击穿光谱数据普遍存在一些噪声，基线漂移，自吸收效应等缺点，需要借助稳定的模型才能进行定量或者定性的分析。
[0003]然而建立一个稳定、可靠的高质量激光诱导击穿光谱分析模型，通常需要大量的光谱样本，代价高、费时费力，并且建好的模型难以维护。在实际的生产中，光谱仪测量的光谱会受到很多因素的影响，如环境的不同、仪器加工机械的差异都将导致光谱之间存在一定的差异，例如：前一批样本的光谱模型不能用于下一批次样本的数据分析；相同样本建立的模型在不同的仪器之间不能共用。这些问题都严重制约了激光诱导击穿光谱技术的发展和应用。因此，建立一种模型之间高质量传递以便光谱模型之间共享的理论及系统方法，已经成为激光诱导击穿光谱技术的一项重要研究工作。
[0004]目前激光诱导击穿光谱技术是通过建立主机和卫星机光谱之间的联系，找到一种映射，从而将卫星机仪器的光谱转换成可以使用主机模型的光谱数据，实现多台仪器光谱共享一个模型的效果。在实际的生产中，光谱仪会随着场景的变化，环境条件的改变，仪器的老化等原因，使得之前建立的激光诱导击穿光谱分析模型需要定期的维护。
[0005]目前，激光诱导击穿光谱模型传递技术已经取得了一些成果，但在实际的生产中，模型传递技术并没有广泛的使用，根本原因还是模型传递后的预测精度，模型的稳定性还有待提高。可以预见在便携式光谱仪迅速发展的今天，绿色快速无污染的激光诱导击穿光谱技术将广泛应用于生活中的方方面面，模型迁移的方法的研究依旧具有广泛的前景。
[0006]建立分析模型是激光诱导击穿光谱技术进行定量或定性分析的基础，然而建立一个稳定、可靠的光谱分析模型需要消耗巨大的人力物力，光谱的采集和处理都需要消耗大量的时间和精力。然而当建好的模型只能用于当前一段时间或者单一样本的测量，这是实际生产中所不能接受的。模型之间通用性的问题，已经严重阻碍了激光诱导击穿光谱技术的发展。现有的情况，一般导致模型的“失效”有两个主要原因，具体如下：1）待测样本的改变。当用高质量的有标签数据进行学习建立好其分析模型之后，用来待测分析的样本因为时间的差异，环境的不同，导致不同批次的样本之间存在着一些差异，此时如果直接用原来的模型不加修正和优化直接用于分析现有的样本，便会出现较
大的误差，导致模型的“失效”。
[0007]2）仪器的不同。一般光谱仪的生产厂商，相同型号的光谱仪不仅只生产一台，往往都是批量化的生产。由于一些加工工艺和机械结构上的微小差异，会导致相同型号生产的仪器不能通用一个分析模型。或者在一些研究单位，仪器的采购时间不同，或者相同型号采购的厂商不同都会造成预测误差。

技术实现思路

[0008]为解决上述问题，本专利技术提出模型迁移的思想，即：在只需要在少量新测量的样本条件下，就能对模型进行改进和维护，实现模型迁移追求的目标。
[0009]本专利技术为提高模型迁移的精度，降低了波峰位置的光谱谱线之间的RMSE，本专利技术提出一种基于弹性分段标准化算法的模型迁移方法。
[0010]方法包括：步骤1：获取由主机和卫星机采集的光谱数据，作为样本，并确定光谱数据的波长范围；步骤2：对光谱数据进行全谱分析和归一化操作；步骤3：将每一折光谱数据分为训练数据集和验证数据集；步骤4：使用主机光谱数据建立定量分析模型；步骤5：设置窗口初始宽度为WL，最大宽度为WLmax；步骤6：将卫星机训练集光谱作为输入，对应的主机谱线作为输出，训练多元回归模型；步骤7：记录验证集校正后卫星机光谱谱线与主机光谱谱线的RMSE，窗口宽度width = width+1；步骤8：重复步骤5~步骤6，直至width = WLmax；步骤9：根据验证集的RMSE选择最优的窗口宽度建立转换矩阵；步骤10：将卫星机光谱数据通过转换矩阵转换；步骤11：将转换后的卫星机光谱数据作为主机模型的输入，使用主机模型进行预测。
[0011]优选的，对每个样本进行多次光谱数据的采集，对样本中的多个光谱数据进行平均值计算。
[0012]优选的，将初始宽度width设置为WL，来实现卫星机光谱数据的转换。
[0013]优选的，使用多元线性回归表示卫星机光谱数据和主机光谱数据之间的关系。
[0014]优选的，窗口宽度根据谱线的位置变化而进行自动调整。
[0015]优选的，主机与卫星机之间通过分段的方式建立光谱数据的函数关系，对卫星机的光谱数据进行校正，公式为：式中：R
i
是主机光谱数据的第i条谱线的谱线强度值，窗口宽度是d，D是在窗口宽度d下的光谱；f
i
为对应第i条谱线的转换函数。
[0016]本专利技术还提供一种基于弹性分段标准化算法的模型迁移系统，系统包括：迁移终
端、主机和卫星机；更进一步地，主机用于使用光谱数据建立定量分析模型；更进一步地，卫星机用于各个实际应用场景上的激光诱导光谱采集系统，可以按照要求采集相关的光谱数据；更进一步地，迁移终端用于获取由主机和卫星机采集的光谱数据，并确定光谱数据的波长范围；对光谱数据进行全谱分析和归一化操作；将每一折光谱数据分为训练数据集和验证数据集；设置窗口初始宽度为WL，最大宽度为WLmax；将卫星机训练集光谱作为输入，对应的主机谱线作为输出，训练多元回归模型；记录验证集校正后卫星机光谱谱线与主机光谱谱线的RMSE，窗口宽度width = width+1，使 width = WLmax；根据验证集的RMSE选择最优的窗口宽度建立转换矩阵；将卫星机光谱数据通过转换矩阵转换；将转换后的卫星机光谱数据作为主机模型的输入，使用主机模型进行预测。
[0017]更进一步地，主机与卫星机之间通过分段的方式建立光谱数据的函数关系，对卫星机的光谱数据进行校正，公式为：式中：R
i
是主机光谱数据的第i条谱线的谱线强度值，窗口宽度是d，D是在窗口宽度d下的光谱；f
i
为对应第i条谱线的转换函数。
[0018]从以上技术方案可以看出，本专利技术具有以下优点：本专利技术通过基于弹性分段标准化算法以进行LIBS的定量分析模型的迁移，降低了波峰位置的光谱谱线之间的RMSE，提高了模型迁移的准确性。
[0019]本专利技术方法与分段直接标准化算法，在PLS和LR+SUAC+BPNN定量分析本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于弹性分段标准化算法的模型迁移方法，其特征在于，方法包括：步骤1：获取由主机和卫星机采集的光谱数据，作为样本，并确定光谱数据的波长范围；步骤2：对光谱数据进行全谱分析和归一化操作；步骤3：将每一折光谱数据分为训练数据集和验证数据集；步骤4：使用主机光谱数据建立定量分析模型；步骤5：设置窗口初始宽度为WL，最大宽度为WLmax；步骤6：将卫星机训练集光谱作为输入，对应的主机谱线作为输出，训练多元回归模型；步骤7：记录验证集校正后卫星机光谱谱线与主机光谱谱线的RMSE，窗口宽度width = width+1；步骤8：重复步骤5~步骤6，直至width = WLmax；步骤9：根据验证集的RMSE选择最优的窗口宽度建立转换矩阵；步骤10：将卫星机光谱数据通过转换矩阵转换；步骤11：将转换后的卫星机光谱数据作为主机模型的输入，使用主机模型进行预测。2.根据权利要求1所述的基于弹性分段标准化算法的模型迁移方法，其特征在于，对每个样本进行多次光谱数据的采集，对样本中的多个光谱数据进行平均值计算。3.根据权利要求1所述的基于弹性分段标准化算法的模型迁移方法，其特征在于，将初始宽度width设置为WL，来实现卫星机光谱数据的转换。4.根据权利要求1所述的基于弹性分段标准化算法的模型迁移方法，其特征在于，使用多元线性回归表示卫星机光谱数据和主机光谱数据之间的关系。5.根据权利要求1所述的基于弹性分段标准化算法的模型迁移方法，其特征在于，窗口宽度根据谱线的位置变化而进行自动调整。6.根据权利要求1所述的基于弹性分段标准化算法的模型迁移方法...

【专利技术属性】
技术研发人员：黄少文，周平，孙兰香，张学民，王键，刘文凭，何毅，高山，倪培亮，李长新，李洋，刘俊宝，
申请(专利权)人：山东钢铁股份有限公司，
类型：发明
国别省市：