一种电力大数据的数据异常判别方法技术

本发明专利技术提供一种电力大数据的数据异常判别方法，包括以下步骤：接收待判别电力数据；将待判别电力数据的每个字段封装成一个包括多个属性的类；获取判别规则信息，并根据判别规则信息对待判别电力数据中的字段及其对应的多个属性进行匹配，以判断待判别电力数据是否异常。本发明专利技术能够准确、快速地对较大数据量的电力数据进行异常判别，从而避免影响后续的数据处理运算和存储。

A method of data anomaly discrimination for power big data

【技术实现步骤摘要】
一种电力大数据的数据异常判别方法
本专利技术涉及数据处理
，具体涉及一种电力大数据的数据异常判别方法。
技术介绍
南方电网网级电能量数据平台可对下属省级公司实时提供的海量原始数据进行存储、计算并生成报表展示。由于各省计量规范不一致，再加上上传数据程序和数据真实性存在的问题，导致数据质量参差不齐，不仅影响程序计算进程，造成计算结果偏离预期范围，而且是导致数据在存储过程中出现异常的一个重要因素。因此，亟需提出一种有效的数据异常判别策略。
技术实现思路
本专利技术为解决上述技术问题，提供了一种电力大数据的数据异常判别方法，能够准确、快速地对较大数据量的电力数据进行异常判别，从而避免影响后续的数据处理运算和存储。本专利技术采用的技术方案如下：一种电力大数据的数据异常判别方法，包括以下步骤：接收待判别电力数据；将所述待判别电力数据的每个字段封装成一个包括多个属性的类；获取判别规则信息，并根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常。步骤二中所述多个属性包括是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则中的多个。步骤三获取判别规则信息，具体包括：在前端页面根据接口文档规范预设字段及其对应的多个属性的判别条件，并存储于数据库中；定时查找调取所述判别条件。步骤三获取判别规则信息，具体包括：从历史判别实例数据库中选取样本对人工神经网络进行训练，以得到数据判别模型；定时查找调取所述数据判别模型。所述的电力大数据的数据异常判别方法还包括：根据当前次的判别结果对所述历史判别实例数据库进行更新。根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：设定字段及其对应的多个属性的优先级；根据所述优先级依序判断所述待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件；如果出现字段或其对应的任一属性不符合相应的判别条件，则停止判断并判定该待判别电力数据异常。根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：并行判断所述待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件；如果字段或其对应的任一属性不符合相应的判别条件，则判定该待判别电力数据异常。根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常，具体包括：将所述待判别电力数据中的字段及其对应的多个属性输入所述数据判别模型；通过所述数据判别模型输出该待判别电力数据是否异常的判别结果。本专利技术的有益效果：根据本专利技术实施例的电力大数据的数据异常判别方法，通过将待判别电力数据的每个字段封装成一个包括多个属性的类，然后根据判别规则信息对待判别电力数据中的字段及其对应的多个属性进行匹配，以判断待判别电力数据是否异常，由此，能够准确、快速地对较大数据量的电力数据进行异常判别，从而避免影响后续的数据处理运算和存储。附图说明图1为本专利技术实施例的电力大数据的数据异常判别方法的流程图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术实施例的电力大数据的数据异常判别方法包括以下步骤：S1，接收待判别电力数据。S2，将待判别电力数据的每个字段封装成一个包括多个属性的类。在本专利技术的一个实施例中，多个属性包括是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则中的多个。其中，属性的个数越多，后续数据异常判别的准确度越高。因此，本专利技术实施例优选每个字段所封装成的类的属性包括是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则。所封装成的类可以以json字符串的形式预存在redis中。S3，获取判别规则信息，并根据判别规则信息对待判别电力数据中的字段及其对应的多个属性进行匹配，以判断待判别电力数据是否异常。其中，判别规则信息可以为所设定的判别条件，也可以为所生成的数据判别模型。在本专利技术的一个实施例中，可在前端页面根据接口文档规范预设字段及其对应的多个属性的判别条件，并存储于数据库中，然后定时查找调取判别条件。进而，可设定字段及其对应的多个属性的优先级，并根据优先级依序判断待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件，如果出现字段或其对应的任一属性不符合相应的判别条件，则停止判断并判定该待判别电力数据异常。举例而言，所设定的判别条件为字段数量及各个具体属性，如果按优先级排序为字段数量、是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则，则可依序判断字段数量是否符合设定的数量要求、是否为所设定的空或非空、是否符合设定的长度要求、是否符合设定的精度要求、是否符合设定的数据类型要求、是否符合设定的数据上限要求、是否符合设定的数据下限要求以及是否符合设定的正则规则，在依序判断过程中，若出现不符合判别条件的情况，则停止判断并判定该待判别电力数据异常。或者，可并行判断待判别电力数据中的字段及其对应的多个属性是否符合相应的判别条件，如果字段或其对应的任一属性不符合相应的判别条件，则判定该待判别电力数据异常。在本专利技术的一个实施例中，可从历史判别实例数据库中选取样本对人工神经网络进行训练，以得到数据判别模型，然后定时查找调取数据判别模型。具体地，历史判别实例数据库中包括大量的历史判别实例，判别实例包括电力数据、电力数据的字段和每个字段对应的多个类属性以及是否异常的判别结果。可以以电力数据的字段数量、多个属性作为输入，以判别结果作为输出，对人工神经网络(例如BP神经网络)进行训练以得到数据判别模型。需要说明的是，首次训练时的样本可以是人工制作的初始样本。进而，可将待判别电力数据中的字段及其对应的多个属性输入数据判别模型，并通过数据判别模型输出该待判别电力数据是否异常的判别结果。此外，还可根据当前次的判别结果对历史判别实例数据库进行更新，由此，能够不断增加和更新训练样本，从而不断提高数据判别模型的准确度。根据本专利技术实施例的电力大数据的数据异常判别方法，通过将待判别电力数据的每个字段封装成一个包括多个属性的类，然后根据判别规则信息对待判别电力数据中的字段及其对应的多个属性进行匹配，以判断待判别电力数据是否异常，由此，能够准确、快速地对较大数据量的电力数据进行异常判别，从而避免影响后续的数据处理运算和存储。在本专利技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、本文档来自技高网...

【技术保护点】
1.一种电力大数据的数据异常判别方法，其特征在于，包括以下步骤：/n步骤一：接收待判别电力数据；/n步骤二：将所述待判别电力数据的每个字段封装成一个包括多个属性的类；/n步骤三：获取判别规则信息，并根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常。/n

【技术特征摘要】
1.一种电力大数据的数据异常判别方法，其特征在于，包括以下步骤：
步骤一：接收待判别电力数据；
步骤二：将所述待判别电力数据的每个字段封装成一个包括多个属性的类；
步骤三：获取判别规则信息，并根据所述判别规则信息对所述待判别电力数据中的字段及其对应的多个属性进行匹配，以判断所述待判别电力数据是否异常。


2.根据权利要求1所述的电力大数据的数据异常判别方法，其特征在于，步骤二中所述多个属性包括是否为空、长度、精度、数据类型、数据上限、数据下限和正则规则中的多个。


3.根据权利要求2所述的电力大数据的数据异常判别方法，其特征在于，步骤三获取判别规则信息，具体包括：
在前端页面根据接口文档规范预设字段及其对应的多个属性的判别条件，并存储于数据库中；
定时查找调取所述判别条件。


4.根据权利要求2所述的电力大数据的数据异常判别方法，其特征在于，步骤三获取判别规则信息，具体包括：
从历史判别实例数据库中选取样本对人工神经网络进行训练，以得到数据判别模型；
定时查找调取所述数据判别模型。


5.根据权利要求2所述的电力大数据的数据异常判别方法，其特征在于，步骤三还包括：
根据当前次的判别结果对所述历史判别实例数据库进行更新。

【专利技术属性】
技术研发人员：郑楷洪，肖勇，杨劲锋，钱斌，周密，
申请(专利权)人：南方电网科学研究院有限责任公司，中国南方电网有限责任公司电网技术研究中心，
类型：发明
国别省市：广东;44