基于云计算和数据分析的水务数据管理系统技术方案

本发明专利技术公开基于云计算和数据分析的水务数据管理系统，涉及水务管理技术领域。本发明专利技术包括，水务终端，用于收集水务数据并上传；云端，用于接收水务终端上传的数据；根据水务终端上传的水务数据随机获取多个水务数据集合以及数据正确性识别结果；根据多个水务数据集合中的水务数据以及数据正确性识别结果获取多个数据识别决策树；将若干个数据识别决策树下载至水务终端；水务终端，还用于根据数据识别决策树对接收到的水务数据进行正确性识别得到清洗后水务数据；将清洗后水务数据上传至云端。本发明专利技术通过云端和本地段进行联动数据处理，实现了水务数据高效准确清洗。实现了水务数据高效准确清洗。实现了水务数据高效准确清洗。

【技术实现步骤摘要】
基于云计算和数据分析的水务数据管理系统


[0001]本专利技术属于水务管理
，特别是涉及基于云计算和数据分析的水务数据管理系统。

技术介绍

[0002]水务数据包括用水量、用水时间以及用水性质等诸多信息，并且随着用户的不断使用持续产生，由于物联网水务终端例如物联网水表等设备本身的硬件局限性，导致产生的水务数据不仅数据量大，而且可能具有部分错误。如果采用人工的方式进行核实验证，效率极低不具有可操作性。
[0003]如果在每一个水务终端按照人工数据分析核实的方式，这样会导致成本过高。
[0004]在公开号为CN111427965A的专利中公开了一种水务数据的管理方法和管理系统，包括：区块链服务器端将满足预设的硬件要求的设备设置为区块链终端，硬件要求包括：数据处理能力、数据存储能力以及网速；区块链服务器端将待管理水务数据存储在本地，并根据预设的管理策略将待管理水务数据发送到区块链终端；区块链终端存储待管理数据，并与区块链服务器端进行待管理数据的核对，如果核对通过，则结束对待管理水务数据的管理。但是上述方案没有针对服务器端和区块链终端的硬件特点，对水务数据分析进行分工协作处理。

技术实现思路

[0005]本专利技术的目的在于提供基于云计算和数据分析的水务数据管理系统，通过云端和本地段进行联动数据处理，实现了水务数据高效准确清洗。
[0006]为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术提供基于云计算和数据分析的水务数据管理系统，包括，水务终端，用于收集水务数据并上传；云端，用于接收所述水务终端上传的数据；根据所述水务终端上传的水务数据随机获取多个水务数据集合以及数据正确性识别结果；根据多个水务数据集合中的水务数据以及数据正确性识别结果获取多个所述数据识别决策树；将若干个所述数据识别决策树下载至所述水务终端；水务终端，还用于根据所述数据识别决策树对接收到的水务数据进行正确性识别得到清洗后水务数据；将清洗后水务数据上传至所述云端。
[0007]在本专利技术的一个实施例中，所述根据所述水务终端上传的水务数据随机获取多个水务数据集合以及数据正确性识别结果的步骤，包括，根据所述水务数据产生的水务终端的位置坐标，得到所述水务数据的获取位置；
根据所述水务数据的获取位置、获取时间或用户身份对所述水务数据进行特征提取得到所述水务数据的数据特征；根据所述水务数据的数据特性将所述水务终端上传的水务数据分类至若干个水务分析单元；获取每个水务分析单元对应的所述水务终端和水务数据；在每个所述水务分析单元内随机抽取水务数据以及对应的数据正确性识别结果。
[0008]在本专利技术的一个实施例中，所述根据所述水务数据的数据特性将所述水务终端上传的水务数据分类至若干个水务分析单元的步骤，包括，获取每个所述水务终端的位置坐标；在所述终端的位置坐标中选择若干个作为初始坐标；计算其余所述终端的位置坐标与所述初始坐标的距离；对于每个其余所述终端的位置坐标，根据其余所述终端的位置坐标与所述初始坐标的距离，选择距离最近的所述初始坐标组成地理坐标组合；根据每个其余所述终端的位置坐标与初始坐标的地理坐标组合，得到每个初始坐标对应的所述地理坐标组合内的其余所述终端的位置坐标；获取每个所述地理坐标组合内的其余所述终端的位置坐标的圆形包络线的圆心；获取与圆形包络线的圆心最近的所述终端的位置坐标作为迭代坐标；根据所述迭代坐标以及其余所述终端的位置坐标获取迭代后的所述地理坐标组合；根据迭代后的所述地理坐标组合生成新的迭代后的所述迭代坐标，直至迭代后的圆形包络线的圆心最近的所述终端的位置坐标不再发生改变，得到团块地理坐标组合；将同一个所述团块地理坐标组合内的所述水务终端上传的水务数据分类至同一个所述水务分析单元。
[0009]在本专利技术的一个实施例中，所述根据所述水务数据的数据特性将所述水务终端上传的水务数据分类至若干个水务分析单元的步骤，包括，获取每个所述水务数据的获取时间；在时间轴上标注每个所述水务数据的获取时间；在所述时间轴上选取若干个所述水务数据的获取时间作为初始获取时间；获取所述时间轴上其余所述水务数据的获取时间与初始获取时间的时间差；对于每一个其余所述水务数据的获取时间，根据其余所述水务数据的获取时间与初始获取时间的时间差，选择时间差最短的所述初始获取时间组成获取时间组合；根据每个其余所述水务数据的获取时间与所述初始获取时间组成获取时间组合，得到每个所述初始获取时间对应的所述获取时间组合内的其余所述水务数据的获取时间；获取每个所述初始获取时间对应的其余所述水务数据的获取时间的在所述时间轴上的分布时间段；获取分布时间段的中值时刻；获取与所述中值时刻时间差最短的所述水务数据的获取时间作为迭代获取时间；根据所述迭代获取时间以及其余所述水务数据的获取时间获取迭代后的所述获取时间组合；
根据迭代后的所述获取时间组合生成迭代后的所述迭代获取时间，直至迭代后的其余所述水务数据的获取时间的在所述时间轴上的分布时间段的中值时刻最接近的所述水务数据的获取时间不再发生改变，得到集中获取时间组合；将同一个所述集中获取时间组合内的所述水务数据分类至同一个所述水务分析单元。
[0010]在本专利技术的一个实施例中，所述在每个所述水务分析单元内随机抽取水务数据以及对应的数据正确性识别结果的步骤，包括，将所述水务分析单元内的水务数据划分至多个水务子单元；对每个所述水务子单元进行编号；对每个所述水务子单元内的所述水务数据进行编号；生成正整数随机数列；去除所述正整数随机数列中重复的数字以及相邻的数字，得到排序数列；在每个所述水务子单元内，按照所述排序数列的顺序对水务数据的编号进行重新排列得到所述水务数据的编号序列；将所述水务子单元的编号按照所述排序数列的反向顺序进行重新排列得到所述水务子单元的编号序列；根据所述水务数据的编号序列以及所述水务子单元的编号序列对所述水务分析单元内的水务数据进行重新排列，得到重排后所述水务分析单元内的水务数据；提取所述水务分析单元内前若干个水务数据以及对应的数据正确性识别结果。
[0011]在本专利技术的一个实施例中，所述将若干个所述数据识别决策树下载至所述水务终端的步骤，包括，获取所述数据识别决策树的节点参数；根据每个所述数据识别决策树的节点参数分布，获取每种节点参数对应的所述数据识别决策树的数量分布；根据每种节点参数对应的所述数据识别决策树的数量获取每种节点参数对应的所述数据识别决策树的比例；获取所述水务终端存储所述数据识别决策树的数量；根据所述水务终端存储所述数据识别决策树的数量，按照每种节点参数对应的所述数据识别决策树的比例从所述水务终端下载若干个所述数据识别决策树至所述水务终端。
[0012]在本专利技术的一个实施例中，所述获取所述水务终端存储所述数据识别决策树的数量的步骤，包括，获取所述水务终端的设定数据分析允许误差率；将水务数据以及对应的数据正确性识别结果带入验证每种节点参数对应的所述数据识别决策树，获取每种节点参数对应的所述数据识别决策树的正确率；根据所述设定数据分析允许误差率、每种节点参数对应的所述数据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于云计算和数据分析的水务数据管理系统，其特征在于，包括，水务终端，用于收集水务数据并上传；云端，用于接收所述水务终端上传的数据；根据所述水务终端上传的水务数据随机获取多个水务数据集合以及数据正确性识别结果；根据多个水务数据集合中的水务数据以及数据正确性识别结果获取多个所述数据识别决策树；将若干个所述数据识别决策树下载至对应的所述水务终端；水务终端，还用于根据所述数据识别决策树对接收到的水务数据进行正确性识别得到清洗后水务数据；将清洗后水务数据上传至所述云端。2.根据权利要求1所述的系统，其特征在于，所述根据所述水务终端上传的水务数据随机获取多个水务数据集合以及数据正确性识别结果的步骤，包括，根据所述水务数据产生的水务终端的位置坐标得到所述水务数据的获取位置；根据所述水务数据的获取位置、获取时间或用户身份对所述水务数据进行特征提取得到所述水务数据的数据特征；根据所述水务数据的数据特性将所述水务终端上传的水务数据分类至若干个水务分析单元；获取每个水务分析单元对应的所述水务终端和水务数据；在每个所述水务分析单元内随机抽取水务数据以及对应的数据正确性识别结果。3.根据权利要求2所述的系统，其特征在于，所述根据所述水务数据的数据特性将所述水务终端上传的水务数据分类至若干个水务分析单元的步骤，包括，获取每个所述水务终端的位置坐标；在所述水务终端的位置坐标中选择若干个作为初始坐标；计算其余所述水务终端的位置坐标与所述初始坐标的距离；对于每个其余所述水务终端的位置坐标，根据其余所述水务终端的位置坐标与所述初始坐标的距离，选择距离最近的所述初始坐标组成地理坐标组合；根据每个其余所述水务终端的位置坐标与初始坐标的地理坐标组合，得到每个初始坐标对应的所述地理坐标组合内的其余所述水务终端的位置坐标；获取每个所述地理坐标组合内的其余所述水务终端的位置坐标的圆形包络线的圆心；获取与圆形包络线的圆心最近的所述水务终端的位置坐标作为迭代坐标；根据所述迭代坐标以及其余所述水务终端的位置坐标获取迭代后的所述地理坐标组合；根据迭代后的所述地理坐标组合生成新的迭代后的所述迭代坐标，直至距离迭代后的圆形包络线的圆心最近的所述水务终端的位置坐标不再发生改变，得到团块地理坐标组合；将同一个所述团块地理坐标组合内的所述水务终端上传的水务数据分类至同一个所述水务分析单元。4.根据权利要求2所述的系统，其特征在于，所述根据所述水务数据的数据特性将所述
水务终端上传的水务数据分类至若干个水务分析单元的步骤，包括，获取每个所述水务数据的获取时间；在时间轴上标注每个所述水务数据的获取时间；在所述时间轴上选取若干个所述水务数据的获取时间作为初始获取时间；获取所述时间轴上其余所述水务数据的获取时间与初始获取时间的时间差；对于每一个其余所述水务数据的获取时间，根据其余所述水务数据的获取时间与初始获取时间的时间差，选择时间差最短的所述初始获取时间组成获取时间组合；根据每个其余所述水务数据的获取时间与所述初始获取时间组成获取时间组合，得到每个所述初始获取时间对应的所述获取时间组合内的其余所述水务数据的获取时间；获取每个所述初始获取时间对应的其余所述水务数据的获取时间在所述时间轴上的分布时间段；获取分布时间段的中值时刻；获取与所述中值时刻时间差最短的所述水务数据的获取时间作为迭代获取时间；根据所述迭代获取时间以及其余所述水务数据的获取时间得到迭代后的所述获取时间组合；根据迭代后的所述获取时间组合生成迭代后的所述迭代获取时间，直至迭代后的其余所述水务数据的获取时间的在所述时间轴上的分布时间段的中值时刻最接近的所述水务数据的获取时间不再发生改变，得到集中获取时间组合；将同一个所述集中获取时间组合内的所述水务数据分类至同一个所述...

【专利技术属性】
技术研发人员：张自力，牛豫海，田志民，张增烁，张添禹，于凯，王嘉铭，
申请(专利权)人：河北建投水务投资有限公司，
类型：发明
国别省市：