一种水质检测及处理方法技术

本发明专利技术公开了一种水质检测及处理方法，包括以下步骤：S1,采集待检测水源的水质数据；S2，准备数据，将采集的水质数据以待检测时间为基准进行分类，获得包括至少部分待检测时间之前的水质数据的训练集D、以及包括待检测时间的水质数据的待检测数据集T；S3，基于训练集D获取正常和异常水质数据类别的分类阈值，并根据所述分类阈值建立KNN预测模型；S4，将待检测数据集T带入所述KNN预测模型中，并输出预测结果。S5，根据所述预测结果对水进行处理。本发明专利技术能够确保结果输出的准确性，提高了异常识别的效率。的效率。的效率。

【技术实现步骤摘要】
一种水质检测及处理方法


[0001]本专利技术涉及水质检测领域，尤其是一种水质检测及处理方法。

技术介绍

[0002]随着社会发展，水环境污染问题愈加突出，各地区对水染污的防治工作就十分重要。但中国地域辽阔，部分地区水系发达，水污染防治工作量十分巨大且繁琐。
[0003]在水质检测及处理方法中如何判断异常，并通过异常确定异常事件，防止误报、错报带来的人力资源浪费，就显得十分必要。
[0004]现行的对排水水质异常的检测方法，主要是人为设定。人为根据各地实时的排放标准，在操作软件后台设定一个正常值，这个值可以是一个值，也可以是一个范围。各在线检测设备将检测的数据发送给数据库后，服务器根据人为设定的值进行简单的比较大小判断，高于或者低于正常值的就定义为异常值，从而定性为异常事件。这种方式应用简单方便，但是异常事件判断的准确度低，在执行时，受在线检测设备的影响，检测数据不稳定，极易出现频繁报警，导致信息量过载，给实际工作带来较大工作负担。并且由于水环境排放执行标准较多，其实际工业环境复杂，因而参考的标准更是复杂，往往在一个项目里，执行多重标准，这也导致人为设定值存在执行难度。
[0005]并且排水的往往具有时效性，综合一天的排放，可能某个时段超出正常值，某个时段为正常值，其排放情况复杂，其排放时间、排放量等影响因素较多，并不能简单的将异常值与异常事件划等号。

技术实现思路

[0006]为了克服现有技术中存在的不足，本专利技术提供了一种水质检测及处理方法，其能够确保结果输出的准确性，提高了异常识别的效率。
[0007]为了达到上述目的，本专利技术采用如下技术方案来实现的：
[0008]一种水质检测及处理方法，包括以下步骤：
[0009]S1,采集待检测水源的水质数据；
[0010]S2，准备数据，将采集的水质数据以待检测时间为基准进行分类，获得包括至少部分待检测时间之前的水质数据的训练集D、以及包括待检测时间的水质数据的待检测数据集T；
[0011]S3，基于训练集D获取正常和异常水质数据类别的分类阈值，并根据所述分类阈值建立KNN预测模型；
[0012]S4，将待检测数据集T带入所述KNN预测模型中，并输出预测结果。
[0013]S5，根据所述预测结果对水进行处理。
[0014]其中，步骤S2中数据从S1步骤生成的数据库中选择取得。
[0015]进一步地，所述训练集D和待检测数据集T的数据包括水质电导率，D＝{x1,x2,
…
,x
n
},T＝{x
′1,x
′2,
…
,x
′
m
}，其中x1,x2,...,x
n
表示训练集D中包含的水质电导率的值，x'1,
x'2,...,x'
n
表示待检测数据集T中包含的水质电导率的值；
[0016]在所述步骤S2中，在获得所述训练集D和所述待检测数据集T后，对所述训练集D和所述待检测数据集T进行归一化预处理。
[0017]所述归一化预处理的计算公式为其中，a'
i
为归一化预处理后的值，a
i
为数据集中的某一样本，a
max
为数据集中的最大值，a
min
为数据集中的最小值。
[0018]进一步地，在所述步骤S2中，所述训练集D包括待检测时间之前两周的水质数据。
[0019]进一步地，在所述步骤S3中，包括：将所述训练集D带入密度聚类DBSCAN算法导出最大密度相连的“簇”集合C，取“簇”集合中的最大值V
max
、最小值V
min
即为正常和异常水质数据类别的分类阈值。
[0020]DBSCAN算法基于一组邻域来描述样本集的紧密程度，参数(∈,MinPts)用来描述邻域样本分布紧密程度。其中，∈描述了某一样本的邻域距离阈值，MinPts描述了某一数据样本的距离为∈的邻域中样本个数的阈值。
[0021]进一步地，所述步骤S3具体包括以下步骤：
[0022]S31，调用DBSCAN算法，将训练集D带入DBSCAN算法内；
[0023]S32，从训练集D中任意选取一个数据节点x
a
，以点x
a
为圆心，以∈为半径画一个圆圈，形成x
a
的∈
‑
邻域；
[0024]S33，对x
a
的∈
‑
邻域内的数据节点进行统计，通过距离公式计算训练集D中的每一个数据节点到x
a
点的距离；
[0025]对于x
a
∈D，其邻域包含训练集D中与x
a
的距离≤∈的子样本集，即N∈(x
a
)＝{x
j
∈D|distance(x
a
,x
j
)≤∈}，这个子样本集的个数记为|N∈(x
a
)|，
[0026]如果x
a
其邻域对应的N∈(x
a
)至少包含MinPts个样本即|N∈(x
a
)|≥MinPts，则x
a
是核心点,且点x
j
由x
a
密度直达；
[0027]如果x
a
其邻域对应的N∈(x
a
)小于MinPts个样本即|N∈(x
a
)|＜MinPts，则x
a
是边界点；
[0028]S34，重复S32，S33，直到训练集D中的所有数据节点被处理，形成若干个核心点,
[0029]对x
a
与x
j
，若存在样本序列x1,x2,...,x
n
，其中x1的核心对象等于x
a
,x
n
的核心对象等于x
j
，且x1由x
n
密度直达，则x
j
与x
a
密度可达；
[0030]对x
a
与x
j
，若存在x
n
使得x
a
与x
j
均由x
n
密度可达，则x
a
与x
j
密度相连；
[0031]S35，选定一个核心点出发，由密度相连关系不断扩张∈
‑
邻域，得到一个最大的密度样本集合，簇训练集D满足：
[0032][0033]记簇C为正常集Z，记正常集Z的数据集中的最大值V
max
、最小值V
min
即为正常和异常水质数据类别的分类阈值。
[0034]进一步地，在所述步骤S4中，在将待检测数据集T带入KNN预测模型前对KNN算法进行优化，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种水质检测及处理方法，其特征在于：包括以下步骤：S1,采集待检测水源的水质数据；S2，准备数据，将采集的水质数据以待检测时间为基准进行分类，获得包括至少部分待检测时间之前的水质数据的训练集D、以及包括待检测时间的水质数据的待检测数据集T；S3，基于训练集D获取正常和异常水质数据类别的分类阈值，并根据所述分类阈值建立KNN预测模型；S4，将待检测数据集T带入所述KNN预测模型中，并输出预测结果。S5，根据所述预测结果对水进行处理。2.根据权利要求1所述的水质检测及处理方法，其特征在于：所述训练集D和待检测数据集T的数据包括水质电导率，D＝{x1,x2,
···
,x
n
},T＝{x
′1,x
′2,
···
,x
′
m
},其中x1,x2,...,x
n
表示训练集D中包含的水质电导率的值，x'1,x'2,...,x'
n
表示待检测数据集T中包含的水质电导率的值；在所述步骤S2中，在获得所述训练集D和所述待检测数据集T后，对所述训练集D和所述待检测数据集T进行归一化预处理。3.根据权利要求1所述的水质检测及处理方法，其特征在于：在所述步骤S2中，所述训练集D包括待检测时间之前两周的水质数据。4.根据权利要求1所述的水质检测及处理方法，其特征在于：在所述步骤S3中，包括：将所述训练集D带入密度聚类DBSCAN算法导出最大密度相连的“簇”集合C，取“簇”集合中的最大值V
max
、最小值V
min
即为正常和异常水质数据类别的分类阈值。5.根据权利要求4所述的水质检测及处理方法，其特征在于：所述步骤S3具体包括以下步骤：S31，调用DBSCAN算法，将训练集D带入DBSCAN算法内；S32，从训练集D中任意选取一个数据节点x
a
，以点x
a
为圆心，以∈为半径画一个圆圈，形成x
a
的∈
‑
邻域；S33，对x
a
的∈
‑
邻域内的数据节点进行统计，通过距离公式计算训练集D中的每一个数据节点到x
a
点的距离；对于x
a
∈D，其邻域包含训练集D中与x
a
的距离≤∈的子样本集，即N∈(x
a
)＝{x
j
∈D|distance(x
a
,x
j
)≤∈}，这个子样本集的个数记为|N∈(x
a
)|，如果x
a
其邻域对应的N∈(x
a
)至少包含MinPts个样本即|N∈(x
a
)|≥MinPts，则x
a
是核心点,且点x
j
由x
a
密度直达；如果x
a
其邻域对应的N∈(x
a
)小于MinPts个样本即|N∈(x
a
)|＜MinPts，则x
a
是边界点；S34，重复S32，S33，直到训练集D中的所有数据节点被处理，形成若干个核心点,对x
a
与x
j
，若存在样本序列x1,x2,...,x
n
，其中x1的核心对象等于x
a
,x
n
的核心对象等于x
j
，且x1由x
n
密度直达，则x
j
与x
a
密度可达；对x
a
与x
j
，若存在x
n
使得x
a
与x
j
均由x
n
密度可达，...

【专利技术属性】
技术研发人员：黄小芹，何小龙，江芳芳，
申请(专利权)人：宁波可为数据技术有限公司，
类型：发明
国别省市：