一种基于全景监测及智能预警的配电网数据源构建方法技术

本发明专利技术公开了一种基于全景监测及智能预警的配电网数据源构建方法,包括全业务统一数据中心数据处理域和外部数据，其特征在于:其中数据处理域包括运行数据、档案数据等，外部数据涉及气象数据等；数据接入方式采用实时数据接入和定时同步等技术，将数据源中个业务系统结构化数据、实时数据与非结构化数据进行对接，分别接入，将接入的数据按照一定的规则进行清洗转换后提供给数据存储池进行存储。

A data source construction method of distribution network based on panoramic monitoring and intelligent early warning

【技术实现步骤摘要】
一种基于全景监测及智能预警的配电网数据源构建方法
本专利技术属于电网检测
，具体涉及法一种基于全景监测及智能预警的配电网数据源构建方法。
技术介绍
国家电网公司提出打造“三型两网、世界一流”电力网络的战略目标，积极落实泛在电力物联网建设，2019年10月寇伟董事长在国家电网公司泛在电力物联网建设工作推进电视电话会议上提出泛在电力物联网建设涉及方方面面，关键要在核心与本质上下功夫。配网资源抢修模块主要选取多元线性回归算法，基于外部气象环境因素及历史工单量变化，构建工单量预测模型，并从工作效率、工作日最大负荷、日均工单量、工单超时、物资消五个角度出发，了解区县公司级别抢修事件与资源配置的比率，分析其合理性和承载压力，评定该区县公司日常进行抢修和资源的平衡度，并提出完善建议。实现抢修资源利用率最大化，降低电网抢修成本，增加用户满意度，提升电网运行稳定性。构建更安全、更智能、更高效的监测分析与预测预警体系，提高设备状态感知能力，优化设备运行参数，使设备始终处于最佳运行状态，延长设备使用寿命，提高设备检修的预知性和数据预测性水平，化被动检修为主动运维，为电力企业运营、电网安全生产及优质服务提供高效益的数据化科学决策依据。实现配电网海量积累数据的价值挖掘，围绕公司配电网业务活动核心点及数据挖掘成果，构建监测模型，搭建桌面监测平台，深化大数据应用，实现对公司的设备状态、故障预警、运维检修任务、抢修资源分配等主题的在线动态监控，及时发现公司配电网运营过程中的异动和问题并进行警示，实现客观，全面，准确地感知设备内外部的环境及状态，提高配电网服务和管理水平。
技术实现思路
本专利技术的目的在于提供一种基于全景监测及智能预警的配电网数据源构建方法，以解决上述
技术介绍
中提出的问题。为实现上述目的，本专利技术提供如下技术方案：一种基于全景监测及智能预警的配电网数据源构建方法,包括全业务统一数据中心数据处理域和外部数据，其特征在于:其中数据处理域包括运行数据、档案数据等，外部数据涉及气象数据等；数据接入方式采用实时数据接入和定时同步等技术，将数据源中个业务系统结构化数据、实时数据与非结构化数据进行对接，分别接入，将接入的数据按照一定的规则进行清洗转换后提供给数据存储池进行存储；进一步改进的，数据存储包括企业级数据仓库、实时采集数据存储区和热点数据存储区等，其中各业务系统档案数据等存储在数据仓库中，实时采集的气象数据及量测类数据存储在量测数据存储区；进一步改进的，数据计算主要为上层数据服务提供支撑，提供离线计算引擎和实时计算引擎等；进一步改进的，数据服务包括多维分析、数据挖掘等技术组件及算法，以数据存储为基础结合技术处理方法，实现专题分析挖掘、多维报表、定制应用等功能；进一步改进的,业务应用层是分析域的上层展现层，将各种类型、业务数据按需组织，通过数据应用层技术处理，完成最终应用实现。进一步改进的,数据接入包括结构化数据的抽取清洗、实时数据采集接入、外部数据采集接入等功能，数据接入主要将各类数据从外部数据源导入数据分析域存储系统，以备计算、分析的过程。数据抽取清洗采用数据ETL工具、数据批量加载工具、数据复制工具等；实时数据采集接入采用消息队列组件+流计算组件；外部数据采集接入采用文件导入数据平台、外部接口采集等方式进一步改进的,数据计算为数据分析域提供分布式运行引擎和协同计算功能，提供离线计算、实时计算等能力，满足各类业务应用不同时效性的数据计算需求。离线计算采用离线计算组件和内存计算；实时计算采用实时计算组件。根据业务需求，对数据做出以下清洗转换：缺失较多的数据执行删除操作，缺失较少的情况根据实际情况对其进行填充；异常值，根据实际情况采取删除或者以平均值填充。进一步改进的首先分析项目需求所需算法为分类算法还是回归算法，确定算法类型之后选择主流的分类算法或者回归算法进行模型构建，依据模型计算结果选取最优算法。在模型效果相同时，遵循“从简”原则，这样可以降低计算时间、执行效率等。进一步改进的，算法+数据≈模型，选取主流机器学习算法，如KNN、决策树、随机森林、GBDT等，用同一批样本数据纳入算法进行迭代计算，选取效果较好的算法进行模型构建，得到模型后，通过模型准确率、ROC曲线、AUC值等对模型进行评估，并结合Scikit-Learn对模型的参数进行调整，以最优的参数对模型进行持久化操作，达到实时计算的效果。具体实施方式下面将结合本专利技术实施例，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供一种技术方案：一种基于全景监测及智能预警的配电网数据源构建方法,包括全业务统一数据中心数据处理域和外部数据，其特征在于:其中数据处理域包括运行数据、档案数据等，外部数据涉及气象数据等；数据接入方式采用实时数据接入和定时同步等技术，将数据源中个业务系统结构化数据、实时数据与非结构化数据进行对接，分别接入，将接入的数据按照一定的规则进行清洗转换后提供给数据存储池进行存储；优选的，数据存储包括企业级数据仓库、实时采集数据存储区和热点数据存储区等，其中各业务系统档案数据等存储在数据仓库中，实时采集的气象数据及量测类数据存储在量测数据存储区；优选的，数据计算主要为上层数据服务提供支撑，提供离线计算引擎和实时计算引擎等；优选的，数据服务包括多维分析、数据挖掘等技术组件及算法，以数据存储为基础结合技术处理方法，实现专题分析挖掘、多维报表、定制应用等功能；优选的,业务应用层是分析域的上层展现层，将各种类型、业务数据按需组织，通过数据应用层技术处理，完成最终应用实现。优选的,数据接入包括结构化数据的抽取清洗、实时数据采集接入、外部数据采集接入等功能，数据接入主要将各类数据从外部数据源导入数据分析域存储系统，以备计算、分析的过程。数据抽取清洗采用数据ETL工具、数据批量加载工具、数据复制工具等；实时数据采集接入采用消息队列组件+流计算组件；外部数据采集接入采用文件导入数据平台、外部接口采集等方式优选的,数据计算为数据分析域提供分布式运行引擎和协同计算功能，提供离线计算、实时计算等能力，满足各类业务应用不同时效性的数据计算需求。离线计算采用离线计算组件和内存计算；实时计算采用实时计算组件。根据业务需求，对数据做出以下清洗转换：缺失较多的数据执行删除操作，缺失较少的情况根据实际情况对其进行填充；异常值，根据实际情况采取删除或者以平均值填充。优选的，首先分析项目需求所需算法为分类算法还是回归算法，确定算法类型之后选择主流的分类算法或者回归算法进行模型构建，依据模型计算结果选取最优算法。在模型效果相同时，遵循“从简”原则，这样可以降低计算时间、执行效率等。优选的，首先本文档来自技高网...

【技术保护点】
1.一种基于全景监测及智能预警的配电网数据源构建方法,包括全业务统一数据中心数据处理域和外部数据，其特征在于:其中数据处理域包括运行数据、档案数据等，外部数据涉及气象数据等；/n数据接入方式采用实时数据接入和定时同步等技术，将数据源中个业务系统结构化数据、实时数据与非结构化数据进行对接，分别接入，将接入的数据按照一定的规则进行清洗转换后提供给数据存储池进行存储。/n

【技术特征摘要】
1.一种基于全景监测及智能预警的配电网数据源构建方法,包括全业务统一数据中心数据处理域和外部数据，其特征在于:其中数据处理域包括运行数据、档案数据等，外部数据涉及气象数据等；
数据接入方式采用实时数据接入和定时同步等技术，将数据源中个业务系统结构化数据、实时数据与非结构化数据进行对接，分别接入，将接入的数据按照一定的规则进行清洗转换后提供给数据存储池进行存储。


2.根据权利要求1所述的一种基于全景监测及智能预警的配电网数据源构建方法，数据存储包括企业级数据仓库、实时采集数据存储区和热点数据存储区等，其中各业务系统档案数据等存储在数据仓库中，实时采集的气象数据及量测类数据存储在量测数据存储区。


3.根据权利要求2所述的一种基于全景监测及智能预警的配电网数据源构建方法，数据计算主要为上层数据服务提供支撑，提供离线计算引擎和实时计算引擎等。


4.根据权利要求3所述的一种基于全景监测及智能预警的配电网数据源构建方法，数据服务包括多维分析、数据挖掘等技术组件及算法，以数据存储为基础结合技术处理方法，实现专题分析挖掘、多维报表、定制应用等功能。


5.根据权利要求4所述的一种基于全景监测及智能预警的配电网数据源构建方法,业务应用层是分析域的上层展现层，将各种类型、业务数据按需组织，通过数据应用层技术处理，完成最终应用实现。


6.根据权利要求4所述的一种基于全景监测及智能预警的配电网数据源构建方法,数据接入包括结构化数据的抽取清洗、实时数据采集接入、外部数据采集接入等功能，数据接入主要将各类数据...

【专利技术属性】
技术研发人员：张自强，陈宏刚，王栋，高建勇，延亮，李玉杰，马振祺，
申请(专利权)人：国网甘肃省电力公司，国网甘肃省电力公司电力科学研究院，
类型：发明
国别省市：甘肃;62