一种近红外光谱建模方法技术

本发明专利技术公开了一种近红外光谱建模方法，通过创建若干相同的一维卷积神经网络作为负相关学习中的子网络，在每个子网络的误差函数后加上一个负相关性惩罚项，使用该复合误差函数反向传播这些子网络以进行每个子网络的参数迭代优化调整，通过对每个子网络的参数迭代优化调整实现每个子网络的收敛，最终优化收敛后的子网络即为构建得到的近红外光谱；优点是使用一维卷积神经网络作为基础模型，将一维卷积神经网络与负相关学习方法相结合，采用负相关学习方法对模型进行训练收敛，使模型具有较高的精度，且训练收敛更快，所需的建模时间和计算机资源少。

A Near Infrared Spectrum Modeling Method

【技术实现步骤摘要】
一种近红外光谱建模方法
本专利技术涉及一种建模方法，尤其是涉及一种近红外光谱建模方法。
技术介绍
近红外光谱检测技术是一种简单、快速以及可靠的检测技术。它综合运用了光谱技术、计算机技术和模式识别等多个学科的研究成果，以其独特的优势在多个领域得到了日益广泛的应用，并已逐渐得到大众的普遍接受和官方的认可。近红外光谱分析方法是一种间接的分析方法，往往需要构造反应近红外光谱数据和待分析样本属性关系的数学模型。对于一个属性未知的光谱样本，将其对应的近红外光谱数据带入已构建的数学模型，就可以对这个样本的属性进行定性或者定量的分析。已有的传统化学计量学的工作解释了校准模型的波长信道信息与材料的化学信息之间的相关性。多元线性回归直接建立一个模型来反映因变量(光谱信号)和自变量(属性信息)之间的线性关系。但是当样本量较小且信噪比(SNR)较大时，模型可能会失真。偏最小二乘法(PLS)使用主成分分析(PCA)的思想来提取自变量的主要成分，并考虑因变量的作用。通过妥协各自空间中的因子，PLS模型可以更好地同时描述独立变量和因变量。但是这个建模方法对数据集的规模不敏感，当建模集样本数量增多时，PLS的性能并不能得到提高，因此不能用在数据量比较大的样本集中。人工神经网络在近红外光谱建模中有许多应用，其中大多数使用反向传播(BackPropogration，BP)神经网络和卷积神经网络(ConvolutionalNeuralNetwork，即CNN)。它们都是根据误差反向传播训练的多层前馈神经网络。在前向传播过程中，输入数据从输入层通过隐藏层逐层处理并转向输出层。每层神经元的状态仅影响下一层神经元的状态；当无法获得所需的输出，输出层结果与真实值之间的误差沿原始连接路径返回，通过修改每个神经元的权重、偏执等参数最小化误差。两者的不同点在于，BP神经网络采用的是全连接神经元的结构，每层的权重与层的输入数据完全连接，这使得模型中所需训练的权重数量巨大，训练费时耗力；而CNN提出了权重共享的概念，即同一卷积层中所有神经元的权重是相同的，这意味着下一层上的所有节点都是由相同的卷积内核生成的，因此CNN与BP网络相比大大节省了回归成本。在对近红外光谱建模时，如果使用二维卷积网络，必须将每个光谱样本的一维光谱数据转换为二维光谱信息矩阵以适应卷积核的大小。这可能导致数据丢失，并且实际上是不必要的。由于光谱样本单个样本是一维度的数据，用于处理序列数据的一维卷积神经网络，无需做任何预处理就能从原有光谱中提取信息。然而，经过实验证明，用单个一维度卷积网络建立光谱模型的效果不佳，建模精度较低。
技术实现思路
本专利技术所要解决的技术问题是提供一种建模精度较高的近红外光谱建模方法。本专利技术解决上述技术问题所采用的技术方案为：一种近红外光谱建模方法，包括以下步骤：(1)构建校准建模数据集，将该校准建模数据集记为Dcal，其中，为校准建模数据集中第i个近红外光谱，表示校准建模数据集中第i个近红外光谱对应的真实属性值，和构成校准建模数据集中第i个数据对，N1是校准建模数据集中数据对的数量，i＝1，2，...，N1，N1为大于等于20的整数；构建验证数据集，将该验证数据集记为Dver，表示验证数据集中第j个近红外光谱，表示证数据集中第j个近红外光谱对应的真实属性值，和构成校准建模数据集中第j个数据对，N2是验证数据集中数据对的数量，j＝1，2，...，N2，N2为大于等于20的整数；(2)获取校准建模数据集中所有近红外光谱的维度，然后采用校准建模数据集中所有近红外光谱的维度设定一维度卷积网络中卷积核的大小以及卷积层数，构建M个结构相同的一维度卷积网络，其中M为大于等于2的整数，将每个一维度卷积网络中的权重参数和偏执参数分别采用均值为1，方差为0，参数数值大小范围为[-1，1]的高斯初始化方式进行初始化，初始化后的M个一维度卷积网络构成子网络集，其中，第m个一维度卷积网络为子网络集的第m个子网络，将第m个子网络记为fm，第m个子网络的权重参数记为wm，第m个子网络的偏执参数记为βm，m＝1，2，...，M；(3)设定优化轮次变量p、每个优化轮次中的迭代优化总次数T以及迭代优化次数变量t，T为大于等于20的整数；(4)对p进行初始化赋值，令p＝1；(5)对子网络集进行第p轮次参数迭代优化，具体过程为：S1、对t进行初始化赋值，令t＝1；S2、对子网络集进行第t次参数迭代优化，具体迭代优化过程为：a、将校准建模数据集Dcal中的第i个光谱样本的近红外光谱数据作为第m个子网络fm的输入数据输入到第m个子网络fm，将第m个子网络fm的输出数据记为将第1个子网络的输出数据至第M个子网络的输出数据的集成输出数据记为将采用公式(1)表示为：b、将第m个子网络在校准建模数据集Dcal上的误差函数lossm采用公式(2)表示为：其中，pm(i)为第m个子网络的负相关性惩罚项，λ为负相关性惩罚系数，0≤λ≤1，pm(i)采用公式(3)表示：c、根据误差函数lossm计算第m个子网络fm权重参数的反向传播梯度Δwm和偏执参数的反向传播梯度Δβm：其中，为求导数符号，η为学习率，为大于0且小于1的小数。d、用Adam优化器将Δwm和Δβm从第m个子网络的输出端反向传播到其输入端，实现对第m个子网络fm中的权重参数wm和偏执参数βm的第t次优化，得到第t次参数迭代优化后的第m个子网络fm；S3、根据公式(6)计算并记录第t次优化后的校准建模数据集的均方根误差RMSECt：S4、根据公式(7)计算并记录第t次优化后的验证数据集的均方根误差RMSEVt：其中，为验证数据集中第j个近红外光谱输入到第t次参数迭代优化后的第m个子网络fm后得到的输出；S5、判断t是否等于T，如果不等于T，则采用t的当前值加1的和更新t，然后返回步骤S2进行当前轮次的下一次迭代优化，如果等于T，则第p轮次参数迭代优化结束，进入步骤(6)；(6)、对第p轮第t次参数迭代优化的结果进行分析：将第1次优化后的校准建模数据集的均方根误差RMSEC1至第T次优化后的校准建模数据集的均方根误差RMSECT这T个数据作为第一组数据，将第1次优化后的验证数据集的均方根误差RMSEV1至第T次优化后的验证数据集的均方根误差RMSEVT这T个数据作为第二组数据，分析第一组数据和第二组数据的变化趋势，如果两组数据中的至少一组数据中，从某一次参数迭代优化开始，后一数据与前一数据之差的绝对值大于等于0且小于等于0.05，则认为该组数据中从该次参数迭代优化开始，数据不随着参数迭代优化次数的增加而变化，此时认定为参数迭代优化条件形成，子网络集的参数迭代优化全部结束，将最后一个优化轮次中第T次优化得到的子网络集中的各个子网络作为近红外光谱模型；否则，采用p的当前值加1的和更新p的值后，返回步骤(5)进行下一个轮次的参数迭代优化，周而复始，直至满足参数迭代优化条件形成。η的取值为0.01、0.001或者0.0001。与现有技术相比，本专利技术的优点在于通过创建若干相同的一维卷积神经网络作为负相关学习中的子网络，在每个子网络的误差函数后加上一个负相关性惩罚项，使用该复合误差函数反向传播这些子网络以进行每个子网络的参数迭代优化调整，通过对每个子网络的参数迭代本文档来自技高网...

【技术保护点】
1.一种近红外光谱建模方法，其特征在于包括以下步骤：(1)构建校准建模数据集，将该校准建模数据集记为Dcal，

【技术特征摘要】
1.一种近红外光谱建模方法，其特征在于包括以下步骤：(1)构建校准建模数据集，将该校准建模数据集记为Dcal，其中，为校准建模数据集中第i个近红外光谱，表示校准建模数据集中第i个近红外光谱对应的真实属性值，和构成校准建模数据集中第i个数据对，N1是校准建模数据集中数据对的数量，i＝1,2,…,N1，N1为大于等于20的整数；构建验证数据集，将该验证数据集记为Dver，表示验证数据集中第j个近红外光谱，表示证数据集中第j个近红外光谱对应的真实属性值，和构成校准建模数据集中第j个数据对，N2是验证数据集中数据对的数量，j＝1,2,…,N2，N2为大于等于20的整数；(2)获取校准建模数据集中所有近红外光谱的维度，然后采用校准建模数据集中所有近红外光谱的维度设定一维度卷积网络中卷积核的大小以及卷积层数，构建M个结构相同的一维度卷积网络，其中M为大于等于2的整数，将每个一维度卷积网络中的权重参数和偏执参数分别采用均值为1，方差为0，参数数值大小范围为[-1,1]的高斯初始化方式进行初始化，初始化后的M个一维度卷积网络构成子网络集，其中，第m个一维度卷积网络为子网络集的第m个子网络，将第m个子网络记为fm，第m个子网络的权重参数记为wm，第m个子网络的偏执参数记为βm，m＝1,2,…,M；(3)设定优化轮次变量p、每个优化轮次中的迭代优化总次数T以及迭代优化次数变量t，T为大于等于20的整数；(4)对p进行初始化赋值，令p＝1；(5)对子网络集进行第p轮次参数迭代优化，具体过程为：S1、对t进行初始化赋值，令t＝1；S2、对子网络集进行第t次参数迭代优化，具体迭代优化过程为：a、将校准建模数据集Dcal中的第i个光谱样本的近红外光谱数据作为第m个子网络fm的输入数据输入到第m个子网络fm，将第m个子网络fm的输出数据记为将第1个子网络的输出数据至第M个子网络的输出数据的集成输出数据记为将采用公式(1)表示为：b、将第m个子网络在校准建模数据集Dcal上的误差函数lossm采用公式(2)表示为：其中，pm(i)为第m个子网络的负相关性惩罚项，λ...

【专利技术属性】
技术研发人员：陈孝敬，徐玲杰，黄光造，李理民，袁雷明，朱德华，
申请(专利权)人：温州大学，
类型：发明
国别省市：浙江,33