【技术实现步骤摘要】
本公开属于数据处理，更具体地说，是涉及一种小区用水总数据清洗方法及装置、终端设备、存储介质。
技术介绍
1、在智慧城市中，用户节点的动态数据主要包括水、电、气三表的数据，其中水是生活的必需品，因此，水量数据在智慧城市感知层中格外重要。
2、在实际应用中，水表上传的数据存在停电数据中断、缺失等问题，因此，需要利用已有的水表数据对缺失的水表数据进行补齐，而已有的水表数据中会存在异常数据，根据异常数据对缺失的水表数据进行补齐，将会影响水表数据的准确性。
技术实现思路
1、本公开的目的在于提供一种小区用水总数据清洗方法及装置、终端设备、存储介质，以提高小区用水总数据的准确性。
2、本公开实施例的第一方面，提供了一种小区用水总数据清洗方法，包括：
3、获取小区用水总数据；
4、基于预设的第一聚类半径对所述小区用水总数据进行聚类分析，得到所述小区用水总数据中的异常数据点；
5、基于预设的滑动窗口，检测所述小区用水总数据中的异常数据片段，并从所述小区用水总数据中删除所述异常数据片段，得到初步清洗数据；所述异常数据片段包括异常滑动窗口内的所有数据点，所述异常滑动窗口为所有位置的滑动窗口中，包含的异常数据点的占比大于设定阈值的滑动窗口；
6、基于预设的第二聚类半径对所述初步清洗数据进行聚类分析，得到所述初步清洗数据中的异常数据点；所述第一聚类半径小于所述第二聚类半径；
7、删除所述初步清洗数据中的异常数据点，得到清洗
8、本公开实施例的第二方面，提供了一种小区用水总数据清洗装置，包括：
9、数据获取单元，用于获取小区用水总数据；
10、第一聚类单元，用于基于预设的第一聚类半径对所述小区用水总数据进行聚类分析，得到所述小区用水总数据中的异常数据点；
11、数据筛选单元，基于预设的滑动窗口，检测所述小区用水总数据中的异常数据片段，并从所述小区用水总数据中删除所述异常数据片段，得到初步清洗数据；所述异常数据片段包括异常滑动窗口内的所有数据点，所述异常滑动窗口为所有位置的滑动窗口中，包含的异常数据点的占比大于设定阈值的滑动窗口；
12、第二聚类单元，用于基于预设的第二聚类半径对所述初步清洗数据进行聚类分析，得到所述初步清洗数据中的异常数据点；所述第一聚类半径小于所述第二聚类半径；
13、数据删除单元，用于删除所述初步清洗数据中的异常数据点，得到清洗后的小区用水总数据。
14、本公开实施例的第三方面，提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述的小区用水总数据清洗方法的步骤。
15、本公开实施例的第四方面，提供了一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的小区用水总数据清洗方法的步骤。
16、本公开实施例提供的小区用水总数据清洗方法及装置、终端设备、存储介质的有益效果在于：
17、本公开实施例首先通过聚类分析得到小区用水总数据中的异常数据点，并采用滑动窗口的方法检测小区用水总数据中的异常数据片段，将异常数据片段从小区用水总数据中删除，得到初步清洗数据；由于删除异常数据片段后，初步清洗数据中可能会存在新的异常点，因此，通过再一次的聚类分析得到初步清洗数据中的异常数据点，并将其删除，得到清洗后的小区用水总数据。
18、通过上述过程，本公开实施例可实现如下效果：
19、1、首先采用较小的第一聚类半径进行聚类分析，有利于筛选出较多的异常数据点，其中，异常数据点为与其他数据点距离较大的数据点。
20、2、在检测异常数据片段时，根据异常数据点的占比判断整个滑动窗口内的数据片段是否为异常数据片段，避免单个异常数据点的检测错误影响数据清洗效果；同时，在筛选出异常数据片段之后，将异常数据片段整体删除，与删除单个异常数据点的方法相比，提高了异常数据的删除效率。
21、3、采用较大的第二聚类半径再次进行聚类分析，对初步清洗数据中的异常数据点进一步粗筛，而前一次聚类分析相当于对小区用水总数据中的异常数据点进行细筛，这种先细筛再粗筛的方法，与相关技术中先粗筛再细筛的方法相比，不仅有利于提高数据清洗效率，而且提高了数据清洗效果。
本文档来自技高网...【技术保护点】
1.一种小区用水总数据清洗方法，其特征在于，包括：
2.如权利要求1所述的小区用水总数据清洗方法，其特征在于，所述基于预设的第一聚类半径对所述小区用水总数据进行聚类分析，得到所述小区用水总数据中的异常数据点，包括：
3.如权利要求1所述的小区用水总数据清洗方法，其特征在于，所述基于预设的第二聚类半径对所述初步清洗数据进行聚类分析，得到所述初步清洗数据中的异常数据点，包括：
4.如权利要求1所述的小区用水总数据清洗方法，其特征在于，所述第一聚类半径的设置方法包括：
5.如权利要求2所述的小区用水总数据清洗方法，其特征在于，每一数据点包括一一对应的用水时间和用水数据，在对所述第一散点图进行聚类分析之前，还包括：
6.如权利要求5所述的小区用水总数据清洗方法，其特征在于，在对所述第一散点图进行聚类分析之前，还包括：
7.如权利要求1所述的小区用水总数据清洗方法，其特征在于，每一数据点包括一一对应的用水时间和用水数据，在基于预设的第一聚类半径对所述小区用水总数据进行聚类分析之前，还包括：
8.一种小区用水
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。
10.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。
...【技术特征摘要】
1.一种小区用水总数据清洗方法，其特征在于，包括：
2.如权利要求1所述的小区用水总数据清洗方法，其特征在于，所述基于预设的第一聚类半径对所述小区用水总数据进行聚类分析，得到所述小区用水总数据中的异常数据点，包括：
3.如权利要求1所述的小区用水总数据清洗方法，其特征在于，所述基于预设的第二聚类半径对所述初步清洗数据进行聚类分析，得到所述初步清洗数据中的异常数据点，包括：
4.如权利要求1所述的小区用水总数据清洗方法，其特征在于，所述第一聚类半径的设置方法包括：
5.如权利要求2所述的小区用水总数据清洗方法，其特征在于，每一数据点包括一一对应的用水时间和用水数据，在对所述第一散点图进行聚类分析之前，还包括：
6.如权利要求...
【专利技术属性】
技术研发人员：张自力，张娟，刘书明，牛豫海，田志民，梁策，陈司晗，王晓婷，吴以朋，
申请(专利权)人：河北建投水务投资有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。