一种数据处理方法及系统技术方案

本发明专利技术公开了一种数据处理方法，用于水质分析，包括：对水质数据进行空值定位得到需要填补的空值记录；根据第一预设条件从水质数据中选取第一样本集；对第一样本数据剔除异常数据得到第二样本集；根据第二预设条件通过KNN算法从第二样本集中选取第三样本集；通过第三样本集得到空值数据；用空值数据替换空值记录得到空值修补后的水质数据。本发明专利技术通过空值定位、剔除异常数据以及KNN算法计算得到待修补空值数据，并进行控制填补。本发明专利技术的数据处理方法可以对水质分析中存在的空值记录进行定位和填充，得到准确的水质数据，为水质数据分析提供了可靠的源数据。

【技术实现步骤摘要】
一种数据处理方法及系统
本专利技术涉及数据处理
，尤其是涉及一种数据处理方法及系统。
技术介绍
目前，在一些需要进行参数分析的领域已经实现通过自动化设备来实时采集原始数据，来代替手工录入的方式，但是在自动化设备采集数据的过程中由于网络、设备或采集程序的异常容易出现采集数据序列中出现空值，现有处理采集的空值方法主要集中在两个方面：一是按照数据上下阈值控制的填补方法，比如水质评价参数中的饮用水质pH值6.5～8.5是国际阈值，那么采集到的数据pH值会对比这两个上下限进行数据调整或者空值处理，这种处理方式可以修正异常值，但不能识别正常的“异常值”，甚至会将正常的“异常值”也是作为异常值，出现数据“误杀”，导致填补的空值与真实的数据存在偏差；二是对采集的数据与实验室测试数据定量对比，这种处理方法对样品采集时间、温度、测试时间限制较多，导致数据偏差较大。
技术实现思路
本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术实施例提出一种数据处理方法可以对水质分析中存在的空值记录进行定位和填充，得到准确的水质数据，为水质数据分析提供了可靠的源数据。本专利技术实施例还提供一种数据处理系统。第一方面，本专利技术的一个实施例提供了一种数据处理方法，用于水质分析包括：对水质数据进行空值定位得到需要填补的空值记录；根据第一预设条件从水质数据中选取第一样本集；对第一样本数据剔除异常数据得到第二样本集；根据第二预设条件通过KNN算法从第二样本集中选取第三样本集；通过第三样本集得到空值数据；用空值数据替换空值记录得到空值修补后的水质数据。用于水质分析，通过选取水质数据的第一样本集，剔除异常数据得到第二样本集，通过KNN算法从第二样本集中选取第三样本集得到空值数据，并填补控制记录，能够剔除异常数据，避免将正常的“异常值”作为样本计算空值，通过KNN算法计算得到的空值数据，更接近真实的空值数据，根据本专利技术的另一些实施例的数据处理方法，对水质数据进行空值定位，包括：若水质数据为连续的时序数据，记录时序不连续的时间点生成空值记录。根据本专利技术的另一些实施例的数据处理方法，选取第三样本集包括：在第二样本集中选取距离空值记录最近的n个值作为第三样本集。根据本专利技术的另一些实施例的数据处理方法，使用第三样本集的平均值或者加权平均值，替换空值记录。根据本专利技术的另一些实施例的数据处理方法，通过单位根检测循环判断空值修补后的水质数据的平稳性，并进行异常值替换，直到水质数据不存在单位根。根据本专利技术的另一些实施例的数据处理方法，对存在单位根的水质数据定位异常数据点；根据第三预设条件从空值修补后的水质数据中选取第四样本集并设定权重；通过加权平均值替换异常值。第二方面，本专利技术的一个实施例提供了一种数据处理系统，包括：空值定位模块，用于对水质数据进行空值检测并定位空值位置；空值填充模块，用于对空值定位模块定位到的空值进行填充，具体包括：根据第一预设条件从水质数据中选取第一样本集；对第一样本数据剔除异常数据得到第二样本集；根据第二预设条件通过KNN算法从第二样本集中选取第三样本集；通过第三样本集得到空值数据；用空值数据替换空值记录得到空值修补后的水质数据。根据本专利技术的另一些实施例的数据处理系统，空值定位模块对水质数据进行空值定位，若水质数据为连续的时序数据，记录时序不连续的时间点生成空值记录。根据本专利技术的另一些实施例的数据处理系统，还包括：检测模块，检测模块用于通过单位根检测循环判断空值修补后的水质数据的平稳性，并进行异常值替换直到水质数据不存在单位根。第三方面，本专利技术的一个实施例提供了一种终端设备，包括：至少一个处理器，以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面的数据处理方法。第四方面，本专利技术的一个实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如第一方面的数据处理方法。附图说明图1是本专利技术实施例中一种数据处理方法的流程示意图；图2是本专利技术实施例中一种数据处理方法的另一流程示意图；图3是本专利技术实施例中一种数据处理系统的模块示意图。具体实施方式以下将结合实施例对本专利技术的构思及产生的技术效果进行清楚、完整地描述，以充分地理解本专利技术的目的、特征和效果。显然，所描述的实施例只是本专利技术的一部分实施例，而不是全部实施例，基于本专利技术的实施例，本领域的技术人员在不付出创造性劳动的前提下所获得的其他实施例，均属于本专利技术保护的范围。在本专利技术的描述中，如果涉及到方位描述，例如“上”、“下”、“前”、“后”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。如果某一特征被称为“设置”、“固定”、“连接”、“安装”在另一个特征，它可以直接设置、固定、连接在另一个特征上，也可以间接地设置、固定、连接、安装在另一个特征上。在本专利技术实施例的描述中，如果涉及到“若干”，其含义是一个以上，如果涉及到“多个”，其含义是两个以上，如果涉及到“大于”、“小于”、“超过”，均应理解为不包括本数，如果涉及到“以上”、“以下”、“以内”，均应理解为包括本数。如果涉及到“第一”、“第二”，应当理解为用于区分技术特征，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。参照图1，示出了本专利技术实施例中一种数据处理方法的流程示意图。本专利技术中数据处理方法，用于水质分析，其具体包括：s1、空值定位：对水质数据进行空值定位得到需要填补的空值记录；s2、空值修补：根据第一预设条件从水质数据中选取第一样本集；对第一样本数据剔除异常数据得到第二样本集；根据第二预设条件通过KNN算法从第二样本集中选取第三样本集；通过第三样本集得到空值数据；用空值数据替换空值记录得到空值修补后的水质数据。在一些实施例中，对水质数据进行空值定位，包括：若水质数据为连续的时序数据，记录时序不连续的时间点生成空值记录。在一些具体实施例中，水质评价参数采用自动化控制系统实时采集，采集到的水质参数是一时序数据序列，由于网络异常、设备异常、采集程序异常等原因会导致采集数据出现空值，空值准确定位的关键是生成连续的时序数据，也就是数据库数据在时序上是连续的。在正常情况下，采集程序可以生成成连续的时序数据；异常情况下有两种异常数据，一种是没有数据记录；一种是有数据记录，但是数据值为空。本专利技术实施例对没数据记录的情况，通过数据库定时任务，对没有按采集程序设置生成时序数据的时间点，强制生成一条数值为空的记录，即异常空值。在一些具体实施例中，即s1、空值定位为通过循环遍历时序数据，可对空值进行准确的定位，得到需要本文档来自技高网...

【技术保护点】
1.一种数据处理方法，用于水质分析，其特征在于，包括：/n对水质数据进行空值定位得到需要填补的空值记录；/n根据第一预设条件从所述水质数据中选取第一样本集；/n对所述第一样本数据剔除异常数据得到第二样本集；/n根据第二预设条件通过KNN算法从所述第二样本集中选取第三样本集；/n通过所述第三样本集得到空值数据；/n用所述空值数据替换所述空值记录得到空值修补后的水质数据。/n

【技术特征摘要】
1.一种数据处理方法，用于水质分析，其特征在于，包括：
对水质数据进行空值定位得到需要填补的空值记录；
根据第一预设条件从所述水质数据中选取第一样本集；
对所述第一样本数据剔除异常数据得到第二样本集；
根据第二预设条件通过KNN算法从所述第二样本集中选取第三样本集；
通过所述第三样本集得到空值数据；
用所述空值数据替换所述空值记录得到空值修补后的水质数据。


2.一种根据权利要求1所述的数据处理方法，其特征在于，所述对水质数据进行空值定位，包括：若所述水质数据为连续的时序数据，记录时序不连续的时间点生成空值记录。


3.根据权利要求1所述的数据处理方法，其特征在于，所述选取第三样本集包括：在所述第二样本集中选取距离所述空值记录最近的n个值作为第三样本集。


4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，使用所述第三样本集的平均值或者加权平均值，替换所述空值记录。


5.根据权利要求1所述的数据处理方法，其特征在于，通过单位根检测循环判断空值修补后的水质数据的平稳性，并进行异常值替换，直到所述水质数据不存在单位根。


6.根据权利要求5所述的数据处理方法，其特征在于，对存在单位根的水质数据定位异常数据点；根据第三预设条件从空值修补后的水质数据中选取第四样本集并设定权重；使用第四样本集的加权平均值替换异常值。


7.一种数...

【专利技术属性】
技术研发人员：孙锋，李震，张德金，
申请(专利权)人：深圳市水务科技有限公司，
类型：发明
国别省市：广东;44