用户水表缺失数据补齐方法及系统技术方案

本发明专利技术公开用户水表缺失数据补齐方法及系统，涉及水务统计领域。本发明专利技术包括，数据采集单元，用于获取用户的表端用水量关于时间的历史记录；格式标准化单元，用于对用户的表端用水量关于时间的历史记录进行格式标准化，得到用户的标准化表端用水量关于时间的历史记录；数据清洗单元，用于根据用户的标准化表端用水量关于时间的历史记录获取用户的分户用水特征；根据用户的分户用水特征对用户的标准化表端用水量关于时间的历史记录进行异常值标注和/或剔除，得到用户的清洗后表端用水量关于时间的历史记录。本发明专利技术对用户缺失的水表数据进行个性化补齐，提高了补全后数据与实际数据的贴合度。的贴合度。的贴合度。

【技术实现步骤摘要】
用户水表缺失数据补齐方法及系统


[0001]本专利技术属于水务统计
，特别是涉及用户水表缺失数据补齐方法及系统。

技术介绍

[0002]从传统的机械水表到NB
‑
IoT（Narrow Band Internet of Things，窄带物联网）水表，是技术上的一次进步和跨越，但受限于硬件和软件的诸方面因素，通过物联网传递的表端的用水量数据可能会出现丢包，导致用户水表缺失数据。
[0003]在公开号为CN114945112A的专利中公开了一种电磁水表数据补抄方法及系统，方法包括：获取预设时间周期内的某一电磁水表的水表数据，水表数据中包含至少一个时间节点水表数据；若水表数据的总长度与预设长度阈值不一致，则根据时间标识将至少一个时间节点水表数据填充至预设水表数据序列的空缺位点中；将包含至少一个时间节点水表数据的预设水表数据序列放入预设时间窗口中，并滑动预设时间窗口，使筛选预设时间窗口中不符合期望抄表时间间隔的相邻两个时间节点水表数据，对相邻两个时间节点水表数据之间包含至少一个空缺位点进行填补。但是上述方案中无法根据用户的用水特性进行数据补全，导致获取的水表数据与实际值差异较大。

技术实现思路

[0004]本专利技术的目的在于提供用户水表缺失数据补齐方法及系统，通过分析用户的表端用水量得到获取用户的分户用水特征，从而对用户缺失的水表数据进行个性化补全，提高了补全后数据与实际数据的贴合度。
[0005]为解决上述技术问题，本专利技术是通过以下技术方案实现的：本专利技术提供用户水表缺失数据补齐方法，包括，获取用户的表端用水量关于时间的历史记录；对用户的表端用水量关于时间的历史记录进行格式标准化，得到用户的标准化表端用水量关于时间的历史记录；根据用户的标准化表端用水量关于时间的历史记录获取用户的分户用水特征；根据用户的分户用水特征对用户的标准化表端用水量关于时间的历史记录进行异常值标注和/或剔除，得到用户的清洗后表端用水量关于时间的历史记录；根据用户的清洗后表端用水量关于时间的历史记录获取用户的分时用水特征；根据用户的分时用水特征对用户的清洗后表端用水量关于时间的历史记录中的缺失的表端用水量进行补全。
[0006]在本专利技术的一个实施例中，所述对用户的表端用水量关于时间的历史记录进行格式标准化，得到用户的标准化表端用水量关于时间的历史记录的步骤，包括，去除用户的表端用水量关于时间的历史记录中重复数据得到用户的去重后表端用水量关于时间的历史记录；根据用户的去重后表端用水量关于时间的历史记录得到每个用户的相邻采样时
间对应的表端用水量；对于同一个用户，若在先采样时间对应的表端用水量大于在后采样时间对应的表端用水量，则去除在先采样时间对应的表端用水量得到用户的除错后表端用水量关于时间的历史记录；将用户的除错后表端用水量关于时间的历史记录中每个用户的每个时刻以及对应的用水量转化为统一的格式，得到用户的标准化表端用水量关于时间的历史记录。
[0007]在本专利技术的一个实施例中，所述根据用户的标准化表端用水量关于时间的历史记录获取用户的分户用水特征的步骤，包括，根据用户的标准化表端用水量关于时间的历史记录筛选出用水量不一直为零的用户，得到居住用户的标准化表端用水量关于时间的历史记录；根据居住用户的标准化表端用水量关于时间的历史记录得到每个居住用户在相同时间段内的用水量；获取每个居住用户的位置；根据每个用户的位置将全部居住用户按照聚集度划分为若干个居民组；获取每个居民组内每个居住用户在相同时间段内的用水量；根据每个居民组内每个居住用户在相同时间段内的用水量获取每个居民组内相同时间段内的不同用水量的用户数分布；根据每个居民组内相同时间段内的不同用水量的用户数分布获取每个居民组的各个用水量梯度的用户数拟合分布函数，作为用户的分户用水特征；其中，各个用水量梯度的用户数拟合分布函数包括泊松分布和正态分布。
[0008]在本专利技术的一个实施例中，所述根据用户的分户用水特征对用户的标准化表端用水量关于时间的历史记录进行异常值标注和/或剔除，得到用户的清洗后表端用水量关于时间的历史记录的步骤，包括，在每个所述居民组内，获取各个用水量梯度的用户数拟合泊松分布函数和各个用水量梯度的用户数拟合正态分布函数；获取相同时间段内的不同用水量的用户数分布与各个用水量梯度的用户数拟合泊松分布函数的差值，以及不同用水量的用户数分布与各个用水量梯度的用户数拟合正态分布函数的差值，用以判断各个用水量梯度的用户数拟合分布函数的符合度；选取符合度达到设定标准的各个用水量梯度的用户数拟合分布函数作为目标拟合分布函数；根据相同时间段内的不同用水量的用户数分布与目标拟合分布函数筛选出用户数量低于目标拟合分布函数对应值的对应水量梯度；若用户数量低于目标拟合分布函数对应值的对应水量梯度低于或高于设定的警戒值，则进行异常值标注和/或剔除得到用户的清洗后表端用水量关于时间的历史记录。
[0009]在本专利技术的一个实施例中，所述根据用户的清洗后表端用水量关于时间的历史记录获取用户的分时用水特征的步骤，包括，根据用户的清洗后表端用水量关于时间的历史记录获取，分别获取每个用户的在每个采样时刻的表端用水量；根据每个用户的在每个采样时刻的表端用水量获取每个用户在表端数据完整的
一年内每个月的表端用水量分布，作为用户的分时用水特征；根据每个用户的在每个采样时刻的表端用水量获取每个用户在表端数据完整的一月内每天的表端用水量分布，作为用户的分时用水特征；根据每个用户的在每个采样时刻的表端用水量获取表端数据完整的一周内每个工作日、周末以及法定节假日的用水量分布，作为用户的分时用水特征；根据每个用户的在每个采样时刻的表端用水量分别获取表端数据完整的工作日、周末以及法定节假日内每个小时的表端用水量分布，作为用户的分时用水特征。
[0010]在本专利技术的一个实施例中，所述根据用户的分时用水特征对用户的清洗后表端用水量关于时间的历史记录中的缺失的表端用水量进行补全的步骤，包括，当数据缺失天数不超过一个月时，根据用户的清洗后表端用水量关于时间的历史记录获取表端用水量数据缺失用户的当月用水量以及每日用水量；根据用户的分时用水特征获取用户在一月内每天的表端用水量分布；根据用户在一月内每天的表端用水量分布获取表端用水量数据缺失对应的日期；根据表端用水量数据缺失对应的日期两端的表端用水量获取表端用水量数据缺失对应的日期的总用水量；根据用户在一月内每天的表端用水量分布获取用户在一月内每天用水量占月总用水量的比例；根据表端用水量数据缺失对应的日期、表端用水量数据缺失对应的日期的总用水量以及一月内每天用水量占月总用水量的比例获取表端用水量数据缺失对应的日期的用水量；根据表端用水量数据缺失对应的日期的用水量对用户的清洗后表端用水量关于时间的历史记录中的缺失的表端用水量进行补全。
[0011]在本专利技术的一个实施例中，所述根据用户的分时用水特征对用户的清洗后表端用水量关于时间的历史记录中的缺失的表端用水量进行补全的步骤，还包括，当数据缺失天数超过一个月时，判断数据缺失天数是否跨过一个本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.用户水表缺失数据补齐方法，其特征在于，包括，获取用户的表端用水量关于时间的历史记录；对用户的表端用水量关于时间的历史记录进行格式标准化，得到用户的标准化表端用水量关于时间的历史记录；根据用户的标准化表端用水量关于时间的历史记录获取用户的分户用水特征；根据用户的分户用水特征对用户的标准化表端用水量关于时间的历史记录进行异常值标注和/或剔除，得到用户的清洗后表端用水量关于时间的历史记录；根据用户的清洗后表端用水量关于时间的历史记录获取用户的分时用水特征；根据用户的分时用水特征对用户的清洗后表端用水量关于时间的历史记录中的缺失的表端用水量进行补全。2.根据权利要求1所述的方法，其特征在于，所述对用户的表端用水量关于时间的历史记录进行格式标准化，得到用户的标准化表端用水量关于时间的历史记录的步骤，包括，去除用户的表端用水量关于时间的历史记录中重复数据得到用户的去重后表端用水量关于时间的历史记录；根据用户的去重后表端用水量关于时间的历史记录得到每个用户的相邻采样时间对应的表端用水量；对于同一个用户，若在先采样时间对应的表端用水量大于在后采样时间对应的表端用水量，则去除在先采样时间对应的表端用水量得到用户的除错后表端用水量关于时间的历史记录；将用户的除错后表端用水量关于时间的历史记录中每个用户的每个时刻以及对应的用水量转化为统一的格式，得到用户的标准化表端用水量关于时间的历史记录。3.根据权利要求1所述的方法，其特征在于，所述根据用户的标准化表端用水量关于时间的历史记录获取用户的分户用水特征的步骤，包括，根据用户的标准化表端用水量关于时间的历史记录筛选出用水量不一直为零的用户，得到居住用户的标准化表端用水量关于时间的历史记录；根据居住用户的标准化表端用水量关于时间的历史记录得到每个居住用户在相同时间段内的用水量；获取每个居住用户的位置；根据每个用户的位置将全部居住用户按照聚集度划分为若干个居民组；获取每个居民组内每个居住用户在相同时间段内的用水量；根据每个居民组内每个居住用户在相同时间段内的用水量获取每个居民组内相同时间段内的不同用水量的用户数分布；根据每个居民组内相同时间段内的不同用水量的用户数分布获取每个居民组的各个用水量梯度的用户数拟合分布函数，作为用户的分户用水特征；其中，各个用水量梯度的用户数拟合分布函数包括泊松分布和正态分布。4.根据权利要求3所述的方法，其特征在于，所述根据用户的分户用水特征对用户的标准化表端用水量关于时间的历史记录进行异常值标注和/或剔除，得到用户的清洗后表端用水量关于时间的历史记录的步骤，包括，在每个所述居民组内，获取各个用水量梯度的用户数拟合泊松分布函数和各个用水量
梯度的用户数拟合正态分布函数；获取相同时间段内的不同用水量的用户数分布与各个用水量梯度的用户数拟合泊松分布函数的差值，以及不同用水量的用户数分布与各个用水量梯度的用户数拟合正态分布函数的差值，用以判断各个用水量梯度的用户数拟合分布函数的符合度；选取符合度达到设定标准的各个用水量梯度的用户数拟合分布函数作为目标拟合分布函数；根据相同时间段内的不同用水量的用户数分布与目标拟合分布函数筛选出用户数量低于目标拟合分布函数对应值的对应水量梯度；若用户数量低于目标拟合分布函数对应值的对应水量梯度低于或高于设定的警戒值，则进行异常值标注和/或剔除得到用户的清洗后表端用水量关于时间的历史记录。5.根据权利要求1所述的方法，其特征在于，所述根据用户的清洗后表端用水量关于时间的历史记录获取用户的分时用水特征的步骤，包括，根据用户的清洗后表端用水量关于时间的历史记录获取，分别获取每个用户的在每个采样时刻的表端用水量；根据每个用户的在每个采样时刻的表端用水量获取每个用户在表端数据完整的一年内每个月的表端用水量分布，作为用户的分时用水特征；根据每个用户的在每个采样时刻的表端用水量获取每个用户在表端数据完整的一月内每天的表端用水量分布，作为用户的分时用水特征；根据每个用户的在每个采样时刻的表端用水量获取表端数据完整的一周内每个工作日、周末以及法定节假日的用水量分布，作为用户的分时用水特征；根据每个用户的在每个采样时刻的表端用水量分别获取表端数据完整的工作日、周末以及法定节假日内每个小时的表端用水量分布，作为用户的分时用水特征。6.根据权利要求5所述的方法，其特征在于，所述根据用户的分时用水特征对用户的清洗后表端用水量关于时间的历史记录中的缺失的表端用水量进行补全的步骤，包括，当数据缺失天数不超过一个月时，根据用户的清洗后表端用水量关于时间的历史记录...

【专利技术属性】
技术研发人员：张娟，刘书明，田志民，张自力，陈司晗，王晓婷，吴雪，
申请(专利权)人：清华大学河北雄安睿天科技有限公司，
类型：发明
国别省市：