一种面向智能配电网抢修调度平台的数据质量检测方法技术

本发明专利技术公开了一种面向智能配电网抢修调度平台的数据质量检测方法，包括：获取待评估对象的配电网数据以及质量评估模型；获取待评估对象的配电网数据在每个评估指标下的合格百分比；根据质量评估模型中待评估对象下每个评估指标的权重、期望值及每个评估指标下的合格百分比计算出评估标准值、综合评估值以及相对差值；根据综合评估值、相对差值以及每个评估指标下的合格百分比对待评估对象的配电网数据进行质量检测；综合评估值的值越大则数据整体质量越佳；相对差值为正则数据整体质量比预期更优；评估指标下的合格百分比越高则在对应评估指标下数据质量越佳。通过上述方法实现对电力大数据的质量检测，为提高智能配电网主动抢修效率提供基础。

【技术实现步骤摘要】
一种面向智能配电网抢修调度平台的数据质量检测方法
本专利技术属于电力大数据信息处理
，具体涉及一种面向智能配电网抢修调度平台的数据质量检测方法。
技术介绍
电力行业面临着正在形成的大数据环境，大数据时代对电力行业发展提出新的挑战，但也带来新的发展机遇。面对这种海量数据的增加，多数电力部门仅使用传统的数据分析和简单的传统统计方法进行数据分析，由于受到人力、物力、财力的限制，数据背后隐藏的深层次知识无法有效得以理解使用，相反却带来了“数据灾难”和“数据荒废”。传统配电网已逐渐从被动模式向主动模式转变，提出了基于配电自动化的配网故障智能抢修和主动服务模式，传统的数据处理方式已明显无法满足所需的服务质量，因此，通过配电网数据质量评估为配电网故障的智能抢修提供良好的数据前提，就显得尤为重要。地区配网每日产生上万的停上电事件，而对这些事件的处理通常通过人为订的规则进行。在这一过程中，由于配网运行的复杂性，相关数据的多样性，会导致虚假信号的产生。这些虚假，冗杂的信号会严重影响到对配网进行抢修调度的效率。因此，针对上述数据质量问题，需要提供一种基于应用的层面，利用数据分析的理论，对配网抢修调度平台出现的异常数据进行识别和处理的方法，来解决数据质量检测问题。
技术实现思路
本专利技术的目的是提供一种面向智能配电网抢修调度平台的数据质量检测方法，实现对电力大数据的质量检测，建立规范化的实时数据检测规则，通过数据层面的分析为提高智能配电网主动抢修效率提供数据基础。本专利技术提供一种面向智能配电网抢修调度平台的数据质量检测方法，包括如下步骤：步骤1：获取待评估对象的配电网数据以及预设的质量评估模型；其中，所述预设的质量评估模型包括每类评估对象的评估指标以及每类评估对象下每个评估指标对应的权重、期望值以及评估规则；所述评估指标至少包括完整性、唯一性、一致性、准确性，所述评估指标还包括时效性、正确性、有效性中一个或多个指标；步骤2：根据预设的质量评估模型中所述待评估对象下每个评估指标的评估规则获取所述待评估对象的配电网数据在所述每个评估指标下的合格百分比；步骤3：根据所述预设的质量评估模型中所述待评估对象下每个评估指标的权重、期望值以及步骤2计算出的每个评估指标下的合格百分比计算出评估标准值、综合评估值以及相对差值；其中，所述综合评估值、评估标准值以及相对差值的计算公式：SR＝SA-SC式中，SA为所述待评估对象的配电网数据的综合评估值，SC为所述待评估对象的配电网数据的综合标准值，SR为相对差值，Wi为所述待评估对象的第i个评估指标对应的权重，Si为所述待评估对象的配电网数据在第i个评估指标下的合格百分比，Ei为所述待评估对象的第i个评估指标对应的期望，n为所述待评估对象的评估指标的数量；步骤4：根据所述综合评估值、相对差值以及每个评估指标下的合格百分比对所述待评估对象的配电网数据进行质量检测；所述综合评估值的值越大，所述待评估对象的配电网数据整体质量越佳；所述相对差值为正，所述待评估对象的配电网数据整体质量比预期更优；所述相对差值为负，所述待评估对象的配电网数据整体质量比预期差；所述待评估对象的配电网数据在评估指标下的合格百分比越高，表示在对应评估指标下配电网数据质量越佳。本专利技术基于配电网的数据特性选择正确性、完整性、唯一性、一致性、准确性、时效性、有效性作为评估指标，有效地对配电网数据进行质量检测。具体的，针对配电网数据中明显计算有误的数据，防止将其录入，故设置正确性的评估指标；针对抢修数据中常有缺项漏项的情况，要保证数据不因存在异常缺失，而产生大量无效主动工单，影响后续抢修工作和数据处理，故设置完整性的评估指标；为了保证数据的录入正确，便于整理和分析，设置一致性和准确性的评估指标；针对数据冗余情况，且在抢修平台中既要保证事件编号唯一，不发生一号多事，同时也防止多号一事，即防止重复录入两次同一地点同一时间的同样事件的数据以及防止误录造成的其他错误，比如整行重复或整列重复录入的错误，故设置唯一性的评估指标；针对事件的时效问题设置时效性的评估指标；针对配电网数据中明显不符合客观规律的，为了防止将其录入，故设置有效性的评估指标，例如线损电量为负数，则明显不符合客观规律。通过依据配电网的数据特性而相匹配的设置评估指标，可以提高质量检测结果的可靠性。本专利技术基于质量评估模型对待评估对象的配电网数据进行质量检测，得到每个评估指标下的合格百分比、评估标准值、综合评估值以及相对差值，进而得出待评估对象的数据质量结果，既考虑到数据整体的质量水平，同时还考虑到数据在各个指标下的质量水平。其中待评估对象至少包括一类配电网数据。进一步优选，根据配电网数据质量检测结果提取待评估对象的配电网数据中的误报数据，再基于回归方程构建和采用残差分析识别误报数据中的异常数据；其中，所述误报数据是依据配电网数据质量检测结果以及配电网数据的质量水平等级划分规则来提取的，所述划分规则如下所示：所述综合评估值、所述合格百分比分别位于(95，100]范围时，所述待评估对象的配电网数据整体质量水平和所述合格百分比对应评估指标下的数据质量水平分别为优；所述综合评估值、所述合格百分比分别位于(90，95]范围时，所述待评估对象的配电网数据整体质量水平和所述合格百分比对应评估指标下的数据质量水平分别为良；所述综合评估值、所述合格百分比分别位于(85，90]范围时，所述待评估对象的配电网数据整体质量水平和所述合格百分比对应评估指标下的数据质量水平分别为中；所述综合评估值、所述合格百分比分别位于(0，85]范围时，所述待评估对象的配电网数据整体质量水平和所述合格百分比对应评估指标下的数据质量水平分别为差；其中，配电网数据整体质量水平、合格百分比对应评估指标下的数据质量水平为中或差时，对应的配电网数据为误报数据。属于中差水平的配电网数据中出现异常数据的可能性更高，因此，需要对其进行进一步识别，以识别出其中的异常数据。其中，针对每类误报数据采用回归分析，即先确定每类误报数据的解释变量，再通过散点图确定回国模型建立回归方程，然后再对回归方程进行检测以及利用残差分析探测出误报数据中异常值，所使用的残差分析如标准化残差、学生化残差、剔除残差。进一步优选，所述评估指标包括完整性、唯一性、一致性、准确性、时效性。进一步优选，所述完整性为数据属性值非空，所述唯一性为数据属性值唯一，所述一致性为数据属性值的表达格式正确，所述准确性为数据属性值的精度正确，所述时效性为数据属性值通过时效检测。正确性主要是针对可以通过公式计算来判断是否有误的配电网数据，其为数据属性值计算无误，即参数间存在直接联系可用计算获取的参数，比如总销售额与日销售额；唯一性主要考虑数据统计表中是否存在两个相同的时间变量，是否存在两个相同的统计指标名，不同行或列对应的数值数据是否完全一致或相同个数是否超过预设阈值N，若满足上述三个条件之一在，则认为其存在重复嫌疑，需用户利用领域知识进行分析判断确定其是否确实重复了。一致性是针对数据的表达格式，如均为小数、“％”或“/”。时效性是用于衡量历史数据是否可用，本专利技术采用t检验，即验证数据属性均值与已知样本均值是否差异不显著，若不显著，则满足时效性；若显著或非常显著，则不满足时效性。所述有效本文档来自技高网...

【技术保护点】
1.一种面向智能配电网抢修调度平台的数据质量检测方法，其特征在于：包括如下步骤：步骤1：获取待评估对象的配电网数据以及预设的质量评估模型；其中，所述预设的质量评估模型包括每类评估对象的评估指标以及每类评估对象下每个评估指标对应的权重、期望值以及评估规则；所述评估指标至少包括完整性、唯一性、一致性、准确性，所述评估指标还包括时效性、正确性、有效性中一个或多个指标；步骤2：根据预设的质量评估模型中所述待评估对象下每个评估指标的评估规则获取所述待评估对象的配电网数据在所述每个评估指标下的合格百分比；步骤3：根据所述预设的质量评估模型中所述待评估对象下每个评估指标的权重、期望值以及步骤2计算出的每个评估指标下的合格百分比计算出评估标准值、综合评估值以及相对差值；其中，所述综合评估值、评估标准值以及相对差值的计算公式：

【技术特征摘要】
1.一种面向智能配电网抢修调度平台的数据质量检测方法，其特征在于：包括如下步骤：步骤1：获取待评估对象的配电网数据以及预设的质量评估模型；其中，所述预设的质量评估模型包括每类评估对象的评估指标以及每类评估对象下每个评估指标对应的权重、期望值以及评估规则；所述评估指标至少包括完整性、唯一性、一致性、准确性，所述评估指标还包括时效性、正确性、有效性中一个或多个指标；步骤2：根据预设的质量评估模型中所述待评估对象下每个评估指标的评估规则获取所述待评估对象的配电网数据在所述每个评估指标下的合格百分比；步骤3：根据所述预设的质量评估模型中所述待评估对象下每个评估指标的权重、期望值以及步骤2计算出的每个评估指标下的合格百分比计算出评估标准值、综合评估值以及相对差值；其中，所述综合评估值、评估标准值以及相对差值的计算公式：SR＝SA-SC式中，SA为所述待评估对象的配电网数据的综合评估值，SC为所述待评估对象的配电网数据的综合标准值，SR为相对差值，Wi为所述待评估对象的第i个评估指标对应的权重，Si为所述待评估对象的配电网数据在第i个评估指标下的合格百分比，Ei为所述待评估对象的第i个评估指标对应的期望，n为所述待评估对象的评估指标的数量；步骤4：根据所述综合评估值、相对差值以及每个评估指标下的合格百分比对所述待评估对象的配电网数据进行质量检测；所述综合评估值的值越大，所述待评估对象的配电网数据整体质量越佳；所述相对差值为正，所述待评估对象的配电网数据整体质量比预期更优；所述相对差值为负，所述待评估对象的配电网数据整体质量比预期差；所述待评估对象的配电网数据在评估指标下的合格百分比越高，表示在对应评估指标下配电网数据质量越佳。2.根据权利要求1所述的方法，其特征在于：还包括：根据配电网数据质量检测结果提取待评估对象的配电网数据中的误报数据，再基于回归方程构建和采用残差分析识别误报数据中的异常数据；其中，所述误报数据是依据配电网...

【专利技术属性】
技术研发人员：王建雄，唐海国，龚汉阳，郭文明，刘海峰，张志丹，张帝，冷华，朱吉然，
申请(专利权)人：国网湖南省电力有限公司，国网湖南省电力有限公司电力科学研究院，国家电网有限公司，
类型：发明
国别省市：湖南,43