一种网源数据合规校验方法、装置及系统制造方法及图纸

本发明专利技术公开了一种网源数据合规校验方法、装置及系统，属于数据校验技术领域，所述方法包括：获取预先从电厂录入或上传的相关文件，对所述相关文件进行OCR文本图像识别，提取网源数据信息存入数据库；从所述数据库中抽取需要校验的网源数据信息；对所述网源数据信息进行校验规则配置；根据所述校验规则信息进行合规校验，筛选出不合规的数据；对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改；将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案；本发明专利技术通过快速定位出缺失数据与不合规数据，提供新的整改方案供客户选择使用，能够很好的发现并解决网源协调运维中的各种数据合规问题。维中的各种数据合规问题。维中的各种数据合规问题。

A network source data compliance verification method, device and system

【技术实现步骤摘要】
一种网源数据合规校验方法、装置及系统


[0001]本专利技术涉及一种网源数据合规校验方法、装置及系统，属于数据校验


技术介绍

[0002]随着电网业务数据规模和数据质量监控规则复杂度的不断增大，目前现有的基于传统数据管理和计算平台的数据质量监控系统的处理能力出现严重的瓶颈，处理效率低下，难以快速完成数据质量的监控和校验，越来越难以满足日常的生产管理和经营决策的需求。
[0003]现有技术中，通过机器学习的方式进行数据校验，只能学习已有的一些知识，而网源数据中可能存在大量缺失的数据，通过机器学习的方式无法给出结果，因此现有的技术对网源数据处理的准确性以及效率均达不到预期的目标，并且网源协调设计三十多张数据库表结构，十几种文档数据，包括项目核准文件、项目备案文件、并网调度协议、工商营业执照(三证合一)、购售电合同、持证上岗证、发电业务许可证、励磁试验报告、Pss试验报告、调速试验报告、进相试验报告、一次调频试验报告、AGC试验报告、AVC试验报告、标准制度、规章规范等，内容较为复杂，人工校核的方式无法很好的完成整个系统的运维。

技术实现思路

[0004]本专利技术的目的在于克服现有技术中的不足，提供一种网源数据合规校验方法、装置及系统，能够快速定位出缺失数据与不合规数据，提供新的整改方案供客户选择使用。
[0005]为达到上述目的，本专利技术是采用下述技术方案实现的：
[0006]一方面，本专利技术提供了一种网源数据合规校验方法，包括：
[0007]获取预先从电厂录入或上传的相关文件，对所述相关文件进行OCR文本图像识别，提取网源数据信息存入数据库；
[0008]从所述数据库中抽取需要校验的网源数据信息；
[0009]对所述网源数据信息进行校验规则配置；
[0010]根据所述校验规则信息进行合规校验，筛选出不合规的数据；
[0011]将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。
[0012]进一步的，所述对所述网源数据信息进行校验规则配置，包括：
[0013]针对所述网源数据信息中不同的数据表，配置不同的校验规则，形成校验规则库，包括印章或签字缺失、不同数据的合格范围以及文件的有效期中的一种或多种。
[0014]进一步的，所述对所述网源数据信息进行校验规则配置，提供一种业务规则动态配置管理方法，包括：
[0015]基于规则引擎框架
‑
Drools，建立网源业务规则库，按不同的业务类别，配置对应的业务规则；
[0016]获取校验请求信息，根据请求信息，采用RETE算法在规则引擎中进行规则匹配，获取一个或多个校验逻辑规则，当获取多个逻辑规则时，对所述多个逻辑规则进行优先级排
序，并选取最优的校验逻辑规则；
[0017]通过所述最优的业务逻辑规则，调用相应的服务并执行。
[0018]进一步的，所述根据所述校验规则信息进行合规校验时，根据不同的数据表进行多线程校验处理。
[0019]进一步的，还包括：对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改。
[0020]进一步的，所述整改方案模型的构建包括：
[0021]使用基于卷积神经网络的深度学习方法，通过自顶向下的监督学习的方式，对以往数据不合规的整改方案进行模型训练得到整改方案模型。
[0022]进一步的，还包括：在生成整改方案时，按匹配程度排序返回多个整改方案供用户选择。
[0023]第二方面，本专利技术提供一种网源数据合规校验装置，包括：
[0024]网源数据信息存储单元，用于获取预先从电厂录入或上传的相关文件，对所述相关文件进行OCR文本图像识别，提取网源数据信息存入数据库；
[0025]网源数据信息获取单元，用于从所述数据库中抽取需要校验的网源数据信息；
[0026]校验规则配置单元，用于对所述网源数据信息进行校验规则配置；
[0027]合规校验单元，用于根据所述校验规则信息进行合规校验，筛选出不合规的数据；
[0028]整改方案生成单元，用于将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。
[0029]进一步的，还包括：数据验证单元，用于对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改。
[0030]第三方面，本专利技术提供一种网源数据合规校验系统，包括：
[0031]网源数据导入、导出模块，用于提供接口可供用户将网源相关数据根据数据库表导成E文本格式文件或将相对应的E文本文件导入系统；
[0032]智能校验模块，用于配置数据校验规则，对于相似的功能参数，提供规则模版一键配置，结合规则查找算法进行网源数据智能校验；
[0033]不合规信息告警模块，用于对于不合规数据进行相应的告警信息展示；
[0034]整改方案推送模块，用于将不合规的信息输入至整改方案模型中，基于整改方案模型生成的整改方案并推送给对应的系统专责，督促进行系统整改；
[0035]整改方案自学习模块，用于提供历史的整改方案放入模型进行强化学习训练使得整改方案模型不断完善。
[0036]第四方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现前述任一项所述方法的步骤。
[0037]与现有技术相比，本专利技术所达到的有益效果：
[0038]本专利技术提供一种网源数据合规校验方法、装置及系统，通过快速定位出缺失数据与不合规数据，提供新的整改方案供客户选择使用，能够很好的发现并解决网源协调运维中的各种数据合规问题。
附图说明
[0039]图1是本专利技术实施例提供的一种网源数据合规校验方法的方法流程图；
[0040]图2是本专利技术实施例提供的网源协调系统的结构示意图。
具体实施方式
[0041]下面结合附图对本专利技术作进一步描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，而不能以此来限制本专利技术的保护范围。
[0042]实施例1
[0043]本实施例介绍一种网源数据合规校验方法，包括：
[0044]获取预先从电厂录入或上传的相关文件，对所述相关文件进行OCR文本图像识别，提取网源数据信息存入数据库；
[0045]从所述数据库中抽取需要校验的网源数据信息；
[0046]对所述网源数据信息进行校验规则配置；
[0047]根据所述校验规则信息进行合规校验，筛选出不合规的数据；
[0048]将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。
[0049]本实施例提供的网源数据合规校验方法，其应用过程具体涉及如下步骤：
[0050]步骤1:数据提取。从mysql或dm数据库中抽取需要校验的网源数据信息。
[0051]步骤2:校验规则信息配置。首先，针对不同的表数据，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种网源数据合规校验方法，其特征在于，包括：获取预先从电厂录入或上传的相关文件，对所述相关文件进行OCR文本图像识别，提取网源数据信息存入数据库；从所述数据库中抽取需要校验的网源数据信息；对所述网源数据信息进行校验规则配置；根据所述校验规则信息进行合规校验，筛选出不合规的数据；将所述不合规的数据，输入预先构建的整改方案模型中，生成新的整改方案。2.根据权利要求1所述的网源数据合规校验方法，其特征在于，所述对所述网源数据信息进行校验规则配置，包括：针对所述网源数据信息中不同的数据表，配置不同的校验规则，形成校验规则库，包括印章或签字缺失、不同数据的合格范围以及文件的有效期中的一种或多种。3.根据权利要求2所述的网源数据合规校验方法，其特征在于，所述对所述网源数据信息进行校验规则配置，提供一种业务规则动态配置管理方法，包括：基于规则引擎框架
‑
Drools，建立网源业务规则库，按不同的业务类别，配置对应的业务规则；获取校验请求信息，根据请求信息，采用RETE算法在规则引擎中进行规则匹配，获取一个或多个校验逻辑规则，当获取多个逻辑规则时，对所述多个逻辑规则进行优先级排序，并选取最优的校验逻辑规则；通过所述最优的业务逻辑规则，调用相应的服务并执行。4.根据权利要求1所述的网源数据合规校验方法，其特征在于，所述根据所述校验规则信息进行合规校验时，根据不同的数据表进行多线程校验处理。5.根据权利要求1所述的网源数据合规校验方法，其特征在于，还包括：对合规校验后的数据进行数据验证，生成校验结果表，供运维人员复核校验结果，督促电厂进行问题整改。6.根据权利要求1所述的网源数据合规校验方法，其特征在于，所述整改方...

【专利技术属性】
技术研发人员：余秀月，刘必晶，郭久煜，温兴玺，郑立玮，黄姗，张胜勤，陈力，黄海腾，杨勇，杨旭，丁凌龙，陈煜，
申请(专利权)人：北京科东电力控制系统有限责任公司国网福建省电力有限公司经济技术研究院国网信通亿力科技有限责任公司，
类型：发明
国别省市：