数据质检规则的生成方法、装置、设备以及存储介质制造方法及图纸

本公开的实施例提供了一种数据质检规则的生成方法、装置、设备以及存储介质，应用于排水管网技术领域。该方法包括：获取排水管网中的监测设备采集的原始数据；根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值；根据确定的数据有效上限、数据有效下限、平值阈值和突变值阈值，生成数据质检规则。以此方式，可以基于实时采集的原始数据快速生成有效的数据质检规则，使其符合排水管网在线监测数据的实际质检需要，从而后续能够基于此提高数据质检效率。续能够基于此提高数据质检效率。续能够基于此提高数据质检效率。

【技术实现步骤摘要】
数据质检规则的生成方法、装置、设备以及存储介质


[0001]本公开涉及排水管网
，尤其涉及一种数据质检规则的生成方法、装置、设备以及存储介质。

技术介绍

[0002]由于监测设备以及数据传输过程中的问题，导致排水管网在线监测数据存在较多缺陷数据，需要对原始数据进行质检，确定出缺陷数据并进行相应清洗。
[0003]目前由于排水管网在线监测数据普遍存在波动大，时序规律变化不一的特点，导致暂无较为有效的数据质检规则对原始数据进行自动质检。因此如何生成有效的数据质检规则就成为了目前亟待解决的技术问题。

技术实现思路

[0004]本公开的实施例提供了一种数据质检规则的生成方法、装置、设备以及存储介质。
[0005]第一方面，本公开的实施例提供了一种数据质检规则的生成方法，该方法包括：
[0006]获取排水管网中的监测设备采集的原始数据；
[0007]根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值；
[0008]根据确定的数据有效上限、数据有效下限、平值阈值和突变值阈值，生成数据质检规则。
[0009]在第一方面的一些可实现方式中，根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值，包括：
[0010]对多个原始数据的数量进行判断；
[0011]若多个原始数据的数量大于或等于预设阈值，则根据多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值。
[0012]在第一方面的一些可实现方式中，根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值，包括：
[0013]对多个原始数据进行统计，确定多个原始数据对应的零值率、空值率、等值率；
[0014]若零值率、空值率、等值率的相加之和小于或等于预设阈值，则根据多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值。
[0015]在第一方面的一些可实现方式中，根据多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值，包括：
[0016]将多个原始数据中的最大值作为数据实际上限，并将多个原始数据中的最小值作为数据实际下限；
[0017]根据数据实际上限和数据实际下限，生成数据实际范围，并根据数据实际范围确定目标间隔，按照目标间隔对数据实际范围进行划分，得到多个分割点；
[0018]从多个分割点中确定上限分割点、下限分割点，并将上限分割点作为数据有效上
限，并将下限分割点作为数据有效下限；
[0019]上限分割点与数据实际上限之间的原始数据的数量在原始数据总数量中的占比小于预设阈值，且上限分割点的前一分割点与数据实际上限之间的原始数据的数量在原始数据总数量中的占比大于或等于预设阈值；
[0020]数据实际下限与下限分割点之间的原始数据的数量在原始数据总数量中的占比小于预设阈值，且数据实际下限与下限分割点的后一分割点之间的原始数据的数量在原始数据总数量中的占比大于或等于预设阈值；
[0021]将目标间隔与目标基数的比值作为平值阈值；
[0022]将目标间隔作为突变值阈值。
[0023]在第一方面的一些可实现方式中，根据确定的数据有效上限、数据有效下限、平值阈值和突变值阈值，生成数据质检规则，包括：
[0024]根据数据有效上限、数据有效下限，生成上下限子规则；
[0025]上下限子规则为：若原始数据不处于数据有效下限与数据有效上限之间，则确定原始数据大小异常；
[0026]根据平值阈值，生成平值子规则；
[0027]平值子规则为：若原始数据与其前X个，后X个原始数据的差值均小于平值阈值，则确定其为平值，其中，X为正整数；
[0028]根据突变值阈值，生成突变值子规则；
[0029]突变值子规则为：若原始数据与其前Y个，后Y个原始数据的差值均大于突变值阈值，则确定其为突变值，其中，Y为正整数；
[0030]根据上下限子规则、平值子规则、突变值子规则，生成数据质检规则；
[0031]数据质检规则为：若原始数据符合上下限子规则、平值子规则、突变值子规则中任意一项，则确定其为缺陷数据。
[0032]在第一方面的一些可实现方式中，该方法还包括：
[0033]按照数据质检规则对获取的原始数据进行质检；
[0034]对质检出的缺陷数据打标签，标签用于记录缺陷数据符合的子规则；
[0035]累计标记连续的缺陷数据；
[0036]采用线性插值方式，对标记小于或等于预设阈值的缺陷数据进行修补。
[0037]在第一方面的一些可实现方式中，该方法还包括：
[0038]定期对数据质检规则进行更新。
[0039]第二方面，本公开的实施例提供了一种数据质检规则的生成装置，该装置包括：
[0040]获取模块，用于获取排水管网中的监测设备采集的原始数据；
[0041]确定模块，用于根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值；
[0042]生成模块，用于根据确定的数据有效上限、数据有效下限、平值阈值和突变值阈值，生成数据质检规则。
[0043]第三方面，本公开的实施例提供了一种电子设备，该电子设备包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如上所述的方法。
[0044]第四方面，本公开的实施例提供了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如上所述的方法。
[0045]在本公开的实施例中，可以获取排水管网中的监测设备采集的原始数据，根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值，根据确定的数据有效上限、数据有效下限、平值阈值和突变值阈值，快速生成有效的数据质检规则，使其符合排水管网在线监测数据的实际质检需要，从而后续能够基于此提高数据质检效率。
[0046]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0047]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
[0048]图1示出了本公开的实施例提供的一种数据质检规则的生成方法的流程图；
[0049]图2示出了本公开的实施例提供的一种数据质检规则的生成装置的结构图；
[0050]图3示出了一种能够实施本公开的实施例的示例性电子设备的结构图。
具体实施方式
[0051]为使本公开的实施例的目的、技术方案和优点更加清本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据质检规则的生成方法，其特征在于，所述方法包括：获取排水管网中的监测设备采集的原始数据；根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值；根据确定的数据有效上限、数据有效下限、平值阈值和突变值阈值，生成数据质检规则。2.根据权利要求1所述的方法，其特征在于，所述根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值，包括：对所述多个原始数据的数量进行判断；若所述多个原始数据的数量大于或等于预设阈值，则根据所述多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值。3.根据权利要求1所述的方法，其特征在于，所述根据获取的多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值，包括：对所述多个原始数据进行统计，确定所述多个原始数据对应的零值率、空值率、等值率；若所述零值率、所述空值率、所述等值率的相加之和小于或等于预设阈值，则根据所述多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述多个原始数据，确定数据有效上限、数据有效下限、平值阈值和突变值阈值，包括：将所述多个原始数据中的最大值作为数据实际上限，并将所述多个原始数据中的最小值作为数据实际下限；根据所述数据实际上限和所述数据实际下限，生成数据实际范围，并根据数据实际范围确定目标间隔，按照目标间隔对所述数据实际范围进行划分，得到多个分割点；从多个分割点中确定上限分割点、下限分割点，并将上限分割点作为数据有效上限，并将下限分割点作为数据有效下限；所述上限分割点与所述数据实际上限之间的原始数据的数量在原始数据总数量中的占比小于预设阈值，且所述上限分割点的前一分割点与所述数据实际上限之间的原始数据的数量在原始数据总数量中的占比大于或等于预设阈值；所述数据实际下限与所述下限分割点之间的原始数据的数量在原始数据总数量中的占比小于预设阈值，且所述数据实际下限与所述下限分割点的后一分割点之间的原始数据的数量在原始数据总数量中的占比大于或等于预设阈值；将目标间隔与目标基数的比值作为平值阈值；将目标间隔作为突变值阈值。5.根据权利要求1所述的方法，...

【专利技术属性】
技术研发人员：张强，许王辰，李彤，万一帆，郭宇峰，
申请(专利权)人：三峡智慧水务科技有限公司，
类型：发明
国别省市：