基于大数据的河流污染物监测方法及系统技术方案

本发明专利技术涉及河流污染物监测的技术领域，揭露了一种基于大数据的河流污染物监测方法及系统，方法包括：对所采集河流水体样本水质进行形式化表示；对形式化表达的水质数据进行预处理；对预处理后的水质数据进行谱特征提取得到水质特征参数；构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中；将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，得到监测河流是否存在污染物以及污染物来源。本发明专利技术实现河流水体样本水质的形式化表示，对形式化表示结果进行特征提取，实现河流水质类别的识别以及河流中是否存在污染物以及污染物来源的识别监测。否存在污染物以及污染物来源的识别监测。否存在污染物以及污染物来源的识别监测。

【技术实现步骤摘要】
基于大数据的河流污染物监测方法及系统


[0001]本专利技术涉及河流污染物监测的
，尤其涉及一种基于大数据的河流污染物监测方法及系统。

技术介绍

[0002]药残留和病原菌是河流中重要的微污染源，通过水体循环并经食物链的传导最终威胁人类健康，传统河流污染物监测方法需要采集河流数据并进行多轮过滤，对过滤出的物质进行污染分析，无法对河流进行实时的污染物监测。针对该问题，本专利提出一种基于大数据的河流污染物监测方法及系统，实现对河流污染物的实时精确监测。

技术实现思路

[0003]有鉴于此，本专利技术提供一种基于大数据的河流污染物监测方法，目的在于1）利用立体光谱将实时采样的河流水体样本数据转换为矩阵形式，并使用多项式滤波方法对矩阵形式的水质数据进行滤波处理，实现光谱转换过程中产生噪声的过滤，得到可用且精准的矩阵形式水质数据，并可实现河流的实时监测；2）通过对矩阵形式的水质数据进行膨胀腐蚀处理，并提取特征向量，将所提取特征向量作为水质特征向量，实现水质特征的快速提取，通过构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，基于大数据技术获取的不同水质不同污染物来源的污染水质特征参数，将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，并准确识别出污染物来源，从而针对污染物来源确定更为有效的河流治理以及防护方案。
[0004]实现上述目的，本专利技术提供的一种基于大数据的河流污染物监测方法，包括以下步骤：S1：采集河流水体样本，并对河流水体样本水质进行形式化表示，其中立体光谱为所述水质形式化表达的主要方法；S2：对形式化表达的水质数据进行预处理，得到预处理后的水质数据；S3：对预处理后的水质数据进行谱特征提取得到水质特征参数，其中数学形态学膨胀腐蚀操作为所述谱特征提取的主要方法；S4：构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别，所述变权水质污染物识别模型以提取得到的水质特征参数为输入，以水质类别为输出；S5：将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，否则不存在。
[0005]作为本专利技术的进一步改进方法：
可选地，所述S1步骤中采集河流水体样本，并对河流水体样本水质进行形式化表示，包括：实时采集正处于污染物监测状态河流的河流水体样本，相邻河流水体样本采集时刻的间隔时间为t，利用光谱仪对采集到的河流水体样本水质进行形式化表示，在本专利技术实施例中，所选取的光谱仪型号为海洋Maya 2000Pro光谱仪，测量波段为200~800纳米；所述形式化表示流程为：S11：光谱仪向河流水体样本发生不同波长的紫外线，河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱，其中不同波长的紫外线即为不同波长的发射光谱；在本专利技术实施例中，所述分子为不同化学成分；对于河流水体样本水质中的任意第i种分子，所对应的紫外线波长为，其中所述分子通过吸收对应波长的紫外线能量实现能级跃迁，由基态跃迁为激发态；分子吸收对应波长的紫外线能量为：其中：表示分子进行能级跃迁的所需能量；h表示普朗克常数，c表示光速；S12：计算河流水体样本中不同分子的吸光度，其中分子的吸光度为：其中：表示紫外线向分子的入射光强，表示紫外线向分子的出射光强；S13：构建河流水体样本水质的立体光谱w：其中：表示分子接收对应波长紫外线进行能级跃迁过程中的反射光谱，反射光谱的波长为；n表示河流水体样本水质中分子的种类数；表示波长为的紫外线发射光谱；S14：将立体光谱w转换为立体光谱矩阵W，将立体光谱矩阵W作为形式化表达的水
质数据D，所述水质数据D为矩阵形式，矩阵的行数为，矩阵的列数为，其中所述立体光谱矩阵W中的行序表示紫外线发射波长序列，列序表示反射光谱对应波长的序列，矩阵中的元素表示在固定反射光谱和发射光谱下的光谱强度，即矩阵中对应波长为的行A，以及对应波长为的列B，矩阵中位置为(A，B)的元素值为。
[0006]可选地，所述S2步骤中对形式化表达的水质数据进行预处理，包括：对形式化表达的水质数据D进行预处理，所述预处理流程为：S21：构建长度为的滑动窗口，利用p次的多项式对滑动窗口内的数据点进行拟合，去除水质数据D中的噪声，所述p次的多项式为：其中：表示p次的多项式，x表示输入多项式的值，表示多项式的拟合系数；S22：将水质数据D中每一行数据输入到滑动窗口中，其中表示水质数据D中第z行第c列的数据，)表示水质数据D的第z行数据，；S23：滑动窗口根据输入的每一行数据，计算得到该行数据的多项式拟合系数，其中基于第z行数据的多项式拟合系数计算结果为：为：其中：T表示转置；S24：计算得到水质数据D中第z行数据的滤波降噪处理后结果：S25：重复步骤S22
‑
S24，得到每行数据的滤波降噪处理结果，并构成滤波降噪预处理后的水质数据：
其中水质数据即为预处理后的水质数据。
[0007]可选地，所述S3步骤中对预处理后的水质数据进行谱特征提取得到水质特征参数，包括：对预处理后的水质数据进行谱特征提取得到水质特征参数，所述水质特征参数的提取流程为：S31：对预处理后的水质数据进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：其中：表示膨胀腐蚀处理后的水质数据；表示膨胀处理，C表示膨胀矩阵，在本专利技术实施例中，所述膨胀处理的流程为用膨胀矩阵的中心点依次扫描待膨胀矩阵的元素，待膨胀矩阵的被扫描元素的取值为膨胀矩阵所有效覆盖的待膨胀矩阵元素的最大值，其中膨胀矩阵中元素值为1的元素可以有效覆盖待膨胀矩阵元素；表示腐蚀处理，F表示腐蚀矩阵，在本专利技术实施例中，所述腐蚀处理的流程为用腐蚀矩阵的中心点依次扫描待腐蚀矩阵的元素，待腐蚀矩阵的被扫描元素的取值为腐蚀矩阵所有效覆盖的待腐蚀矩阵元素的最小值，其中腐蚀矩阵中元素值为1的元素可以有效覆盖待腐蚀矩阵元素；S32：计算矩阵，并计算矩阵Q的协方差矩阵：S33：计算得到协方差矩阵的第u个特征值：其中：I表示单位矩阵；选取所计算得到的协方差矩阵最大的10个特征值，并计算所选取特征值所对应的特征向量为：
其中：表示特征值所对应的特征向量，并将 作为水质特征向量，；S34：将水质特征向量拼接为水质特征参数。
[0008]可选地，所述S4步骤中构建变权水质污染物识别模型，包括：构建变权水质污染物识别模型，所述变权水质污染物识别模型包括输入层、变权聚类层以及分类层；输入层用于接收水质特征参数，并将水质特征参数输入到变权聚类层，其中水质特征参数由多个水质特征向量组成；变权聚类层用于对水质特征参数中的不同水质特征向量进行赋权，并基于水质特征向量的权重进行水质特征向量的聚类处理，得到若干个聚类簇，将聚类簇输入本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于大数据的河流污染物监测方法，其特征在于，所述方法包括：S1：采集河流水体样本，并对河流水体样本水质进行形式化表示；S2：对形式化表达的水质数据进行预处理，得到预处理后的水质数据，包括：对形式化表达的水质数据D进行预处理，所述预处理流程为：S21：构建长度为的滑动窗口，利用p次的多项式对滑动窗口内的数据点进行拟合，去除水质数据D中的噪声，所述p次的多项式为：其中：表示p次的多项式，x表示输入多项式的值，表示多项式的拟合系数；S22：将水质数据D中每一行数据输入到滑动窗口中，其中表示水质数据D中第z行第c列的数据，)表示水质数据D的第z行数据，；S23：滑动窗口根据输入的每一行数据，计算得到该行数据的多项式拟合系数，其中基于第z行数据的多项式拟合系数计算结果为：为：其中：T表示转置；S24：计算得到水质数据D中第z行数据的滤波降噪处理后结果：S25：重复步骤S22
‑
S24，得到每行数据的滤波降噪处理结果，并构成滤波降噪预处理后的水质数据：其中水质数据即为预处理后的水质数据；
S3：对预处理后的水质数据进行谱特征提取得到水质特征参数；S4：构建变权水质污染物识别模型，将水质特征参数输入到变权水质污染物识别模型中，输出水质特征参数所对应河流的水质类别；S5：将所采集河流水体样本的水质特征参数与相同水质类别不同污染物来源的污染水质特征参数进行相似性判别，若判定结果大于指定相似阈值，则说明所采集河流水体存在污染，否则不存在。2.如权利要求1所述的一种基于大数据的河流污染物监测方法，其特征在于，所述S1步骤中采集河流水体样本，并对河流水体样本水质进行形式化表示，包括：实时采集正处于污染物监测状态河流的河流水体样本，相邻河流水体样本采集时刻的间隔时间为t，利用光谱仪对采集到的河流水体样本水质进行形式化表示；所述形式化表示流程为：S11：光谱仪向河流水体样本发生不同波长的紫外线，河流水体样本中的分子接收到对应波长的紫外线则会产生反射光谱，其中不同波长的紫外线即为不同波长的发射光谱；对于河流水体样本水质中的任意第i种分子，所对应的紫外线波长为，其中所述分子通过吸收对应波长的紫外线能量实现能级跃迁，由基态跃迁为激发态；分子吸收对应波长的紫外线能量为：其中：表示分子进行能级跃迁的所需能量；h表示普朗克常数，c表示光速；S12：计算河流水体样本中不同分子的吸光度，其中分子的吸光度为：其中：表示紫外线向分子的入射光强，表示紫外线向分子的出射光强；S13：构建河流水体样本水质的立体光谱w：其中：表示分子接收对应波长紫外线进行能级跃迁过程中的反射光谱，反射光谱的波长为；n表示河流水体样本水质中分子的种类数；
表示波长为的紫外线发射光谱；S14：将立体光谱w转换为立体光谱矩阵W，将立体光谱矩阵W作为形式化表达的水质数据D，所述水质数据D为矩阵形式，矩阵的行数为，矩阵的列数为。3.如权利要求1所述的一种基于大数据的河流污染物监测方法，其特征在于，所述S3步骤中对预处理后的水质数据进行谱特征提取得到水质特征参数，包括：对预处理后的水质数据进行谱特征提取得到水质特征参数，所述水质特征参数的提取流程为：S31：对预处理后的水质数据进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：进行膨胀腐蚀操作，所述膨胀腐蚀操作的公式为：其中：表示膨胀腐蚀处理后的水质数据；表示膨胀处理，C表示膨胀矩阵；表示腐蚀处理，F表示腐蚀矩阵；S32：计算矩阵，并计算矩阵Q的协方差矩阵：S33：计算得到协方差矩阵的第u个特征值：其中：I表示单位矩阵；选取所计算得到的协方差矩阵最大的10个特征值，并计算所选取特征值所对应的特征向量为：其中：表示特征值所对应的特征向量，并将 作为水质特征向量，；S34：将水质特征向量拼接为水质特征参数。4.如权利要求1所述的一种基于大数据的河流污染物监测方法，其特征在于，所述S4步骤中构建变权水质污染物识别模型，包括：构...

【专利技术属性】
技术研发人员：王陈浩，
申请(专利权)人：湖南长理尚洋科技有限公司，
类型：发明
国别省市：