一种基于大数据的电力客户信息清洗装置制造方法及图纸

本发明专利技术公开了一种基于大数据的电力客户信息清洗装置，涉及电力系统数据处理技术领域。所述基于大数据的电力客户信息清洗装置，包括数据交换引擎、数据同步复制引擎、定时处理引擎、服务处理引擎、系统监控模块、管理模块、组件运行管理器以及应用服务接口；通过建立基于web服务的接口服务框架，能够以XML格式对外提供数据和服务接口；数据和服务接口的定义，遵循电力客户信息相关标准定义，通过定义数据资源的元数据、主题以及公共代码，实现对共享资源的统一标识和使用，并遵循电力客户信息相关标准。

A power customer information cleaning device based on large data

The invention discloses an electric power customer information cleaning device based on large data, which relates to the field of data processing technology of the power system. The power customer information cleaning device based on large data, including data exchange engine, data synchronization engine, timing processing engine, service engine, system monitoring module, management module, component manager and application service interface; through the establishment of interface service framework based on Web services, can provide data in XML format the service interface definition; data and service interface, follow the power customer information related to standard definition, defined by metadata, data resources and public theme code, to achieve a unified identification and use of shared resources, and follow the power customer information standards.

【技术实现步骤摘要】
一种基于大数据的电力客户信息清洗装置
本专利技术属于电力系统数据处理
，尤其涉及一种基于大数据的电力客户信息清洗装置。
技术介绍
大数据清洗装置是部门业务应用系统进入电力客户信息大数据平台的接入设备，也是电力客户信息挖掘的边界。大数据清洗装置与部门业务应用系统进行信息交换，使用安全管理模块（数字证书技术）保证信息的安全可靠，并采用基于XML的资源交换协议，通过中心交换前置机发送信息到信息接收端。针对电力客户信息，现有的数据清洗装置主要存在以下不足：1、功能单一，只提供数据清洗功能，不提供服务；2、缺少统一的规范，对不同业务数据的清洗需要分别创建不同的清洗装置。基于此，本专利技术提出一种基于大数据的电力客户信息清洗装置。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于大数据的电力客户信息清洗装置；通过建立基于web服务的接口服务框架，能够以XML格式对外提供数据和服务接口；数据和服务接口的定义，遵循电力客户信息相关标准定义，通过定义数据资源的元数据、主题以及公共代码，实现对共享资源的统一标识和使用，并遵循电力客户信息相关标准。本专利技术是通过如下的技术方案来解决上述技术问题的：一种基于大数据的电力客户信息清洗装置，包括数据交换引擎、数据同步复制引擎、定时处理引擎、服务处理引擎、系统监控模块、管理模块、组件运行管理器以及应用服务接口；所述数据交换引擎，用于进行多种平台、多种格式以及不同数据库之间的数据交换，提供数据检索、数据更新以及数据删除功能；所述数据同步复制引擎，用于实现异地数据库、异构数据库、不同组网方式以及不同时间间隔之间的数据同步，保证数据的一致性；所述定时处理引擎，用于在电力客户信息资源交换过程中实现自动调度不同的任务，并在不同的时间执行；所述服务处理引擎，用于服务进程的创建、资源分配和进程调度，并根据用户的请求对多个服务进行组织的管理；所述系统监控模块，用于监控系统的运行，所监控的信息包括系统的操作信息和系统的线程信息；所述管理模块，用于对系统进行管理。进一步的，所述管理模块包括系统管理子模块、服务管理子模块、安全管理子模块、元数据管理子模块、主题管理子模块以及公共代码管理子模块；所述系统管理子模块，用于进行系统配置和界面设置；所述服务管理子模块，用于进行服务定义、服务注册以及服务注销，业务部门定义本部门的服务并发布到电力客户信息资源目录，以供其他业务部门查询和调用；所述安全管理子模块，用于进行安全管理，包括用户安全管理、元数据和主题安全管理以及信任授权管理，保证数据传输过程中的安全性和一致性；所述元数据管理子模块，用于实现元数据的管理；所述主题管理子模块，用于实现主题管理；所述公共代码管理子模块，用于进行公共代码注册、修改、注销、校验、查询以及浏览。进一步的，所述数据同步复制引擎支持的数据同步方式包括全数据同步方式和增量式同步方式；所述全数据同步方式，是将源数据库中的数据一次性全部同步到目标数据库中；所述增量式同步方式，是通过在源数据库中建立数据库触发器，读取源数据库日志，并进行全部数据比对，如果源数据库中的数据发生变化则将变化反映到目标数据库中。进一步的，所述组件运行管理器包括交换适配器和资源管理器，用于实现模块间的通信以及模块运行时状态监控、资源分配和管理。进一步的，所述应用服务接口包括数据交换和访问接口、数据同步复制接口、系统监控接口以及业务处理接口。进一步的，所述服务处理引擎采用并行处理机制，实现数据清洗任务的分布式运行，并支持定时机制、多任务、任务组装、任务依赖等特性。与现有技术相比，本专利技术所提供的基于大数据的电力客户信息清洗装置，包括数据交换引擎、数据同步复制引擎、定时处理引擎、服务处理引擎、系统监控模块、管理模块、组件运行管理器以及应用服务接口；通过建立基于web服务的接口服务框架，能够以XML格式对外提供数据和服务接口；数据和服务接口的定义，遵循电力客户信息相关标准定义，通过定义数据资源的元数据、主题以及公共代码，实现对共享资源的统一标识和使用，并遵循电力客户信息相关标准；本专利技术可简化电力客户信息在不同部门和单位的数据共享和交换方式，清洗装置部署更灵活，数据服务接口更丰富，为建立标准化的、可靠的电力客户信息大数据平台提供坚实的基础。附图说明为了更清楚地说明本专利技术的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一个实施例，对于本领域普通技术人员来说，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术一种基于大数据的电力客户信息清洗装置的结构示意图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术所提供的一种基于大数据的电力客户信息清洗装置，包括数据交换引擎、数据同步复制引擎、定时处理引擎、服务处理引擎、系统监控模块、管理模块、组件运行管理器以及应用服务接口；数据交换引擎，用于进行多种平台、多种格式以及不同数据库之间的数据交换，提供了数据检索、数据更新以及数据删除功能，同时支持同步的应用层数据交换和异步的数据层数据交换。供电公司数据中心的数据采用集中存储方式，数据中心本身没有数据，原始数据均来自于各业务部门，因此，通过数据同步复制引擎实现提供数据的业务部门到数据中心的数据同步复制更新，通过可视化界面灵活配置和管理数据的同步策略，实现各业务部门的数据库与数据中心的公共基础数据库之间的数据同步，实现数据透明同步和更新，保证数据的一致性。数据同步复制引擎支持异地数据库、异构数据库、不同组网方式以及不同时间间隔之间的数据同步。数据同步复制引擎采用XML-DBMS中间件支持异构数据库之间的数据同步，所支持的数据库包括Oracle、SQLServer、DB2、Sybase、Informix、Access以及MySql等主流数据库和其他ODBC数据源；同时采用MQ、JMS、HTTP、FTP和WEBService等分布式处理技术，支持不同网络类型；数据同步复制引擎采用数据同步请求中转路由技术，通过设置中间服务器，采用类似路由器的方式，由中间服务器实现数据同步请求的中转，支持异地数据库数据同步；采用定时方式，实现不同时间间隔之间的数据同步，数据同步时间间隔可以从1秒到1年以上随意定义。数据同步复制引擎支持全数据同步方式和增量式同步方式；全数据同步方式，是将源数据库中的数据一次性全部同步到目标数据库中；增量式同步方式，是通过在源数据库中建立数据库触发器，读取源数据库日志，并进行全部数据比对，如果源数据库中的数据发生变化则将变化反映到目标数据库中；当数据库日志记录有数据被修改、插入或删除时，将该数据的关键字信息存储到一个关键字表中，对修改、插入或删除的记录做好分类，通过数据同步程序定时地获取关键字表中的信息；如果是插入或更新，则根据关键字表的信息到记录该数据的主表中获取数据，打包成一定的格式，送到目标数据库，插入或更新到数据库中，同时删掉关键字表中已经同步成功的记录；如果是删除，本文档来自技高网...

【技术保护点】
一种基于大数据的电力客户信息清洗装置，其特征在于：包括数据交换引擎、数据同步复制引擎、定时处理引擎、服务处理引擎、系统监控模块、管理模块、组件运行管理器以及应用服务接口；所述数据交换引擎，用于进行多种平台、多种格式以及不同数据库之间的数据交换，提供数据检索、数据更新以及数据删除功能；所述数据同步复制引擎，用于实现异地数据库、异构数据库、不同组网方式以及不同时间间隔之间的数据同步，保证数据的一致性；所述定时处理引擎，用于在电力客户信息资源交换过程中实现自动调度不同的任务，并在不同的时间执行；所述服务处理引擎，用于服务进程的创建、资源分配和进程调度，并根据用户的请求对多个服务进行组织的管理；所述系统监控模块，用于监控系统的运行，所监控的信息包括系统的操作信息和系统的线程信息；所述管理模块，用于对系统进行管理。

【技术特征摘要】
1.一种基于大数据的电力客户信息清洗装置，其特征在于：包括数据交换引擎、数据同步复制引擎、定时处理引擎、服务处理引擎、系统监控模块、管理模块、组件运行管理器以及应用服务接口；所述数据交换引擎，用于进行多种平台、多种格式以及不同数据库之间的数据交换，提供数据检索、数据更新以及数据删除功能；所述数据同步复制引擎，用于实现异地数据库、异构数据库、不同组网方式以及不同时间间隔之间的数据同步，保证数据的一致性；所述定时处理引擎，用于在电力客户信息资源交换过程中实现自动调度不同的任务，并在不同的时间执行；所述服务处理引擎，用于服务进程的创建、资源分配和进程调度，并根据用户的请求对多个服务进行组织的管理；所述系统监控模块，用于监控系统的运行，所监控的信息包括系统的操作信息和系统的线程信息；所述管理模块，用于对系统进行管理。2.如权利要求1所述的基于大数据的电力客户信息清洗装置，其特征在于：所述管理模块包括系统管理子模块、服务管理子模块、安全管理子模块、元数据管理子模块、主题管理子模块以及公共代码管理子模块；所述系统管理子模块，用于进行系统配置和界面设置；所述服务管理子模块，用于进行服务定义、服务注册以及服务注销，业务部门定义本部门的服务并发布到电力客户信息资源目录，以供其他业务部门查询和调用；所述安全管理子模块，用于进行安全管理，包括用户安全管理、元数据和主题安全管理以及信任授权管理，保证数据传输过程中的安全性和一致性；所述元数据管理子模块，用于实现元数据的管理；所述主题管理子模块，用于实现主题管理；所述公共代码管理子模块，用于进行公共代码注册、修改、注销、校验、查询以及浏览。3.如权利要求1所述的基于大数据的电力客户信息清洗装置，其特征在于：所述数据同步复制引擎支持的数据同步方式包括全数据同步方式...

【专利技术属性】
技术研发人员：吴秋莉，郭丽娟，张玉波，颜海俊，杨健，
申请(专利权)人：广西电网有限责任公司电力科学研究院，
类型：发明
国别省市：广西,45