一种大数据清洗系统及管理系统技术方案

本发明专利技术涉及数据清洗技术领域，特别涉及一种大数据清洗系统及管理系统，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括系统管理、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口，所述的系统管理包括系统配置和界面设置，所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息，所述的元数据管理和主题管理连接远程管理接口，所述的公共代码管理连接公共代码管理器。本发明专利技术的有益效果是：大数据清洗系统及管理功能多样，清洗速度快。

【技术实现步骤摘要】
一种大数据清洗系统及管理系统
本专利技术涉及数据清洗
，特别涉及一种大数据清洗系统及管理系统。
技术介绍
大数据清洗单元装置是部门业务应用系统进入电力客户信息大数据平台的接入设备，也是电力客户信息挖掘的边界。大数据清洗单元装置与部门业务应用系统进行信息交换，使用安全管理模块(数字证书技术)保证信息的安全可靠，并采用基于XML的资源交换协议，通过中心交换前置机发送信息到信息接收端。大数据清洗单元装置运行在各个业务部门，同时，把中心共享数据库，文件共享库等作为特殊的部门，在网络中心安装大数据清洗单元装置，供其它业务部门访问这些数据。现有的大数据清洗系统及管理系统功能比较单一，清洗速度比较低。
技术实现思路
为了解决现有技术的问题，本专利技术提供了一种功能齐全、清洗速度高的大数据清洗系统及管理系统。本专利技术所述技术方案如下：一种大数据清洗系统，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括系统管理、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口。所述的系统管理包括系统配置和界面设置。所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息。所述的元数据管理和主题管理连接远程管理接口。所述的公共代码管理连接公共代码管理器。所述的数据交换引擎，负责数据交换工作，包括数据检索、数据更新(数据插入)和数据删除。所述的定时处理引擎定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了系统管理人员的负担。所述的安全管理用以管理元数据和主题安全管理。所述的服务管理包括服务定义、服务注册、服务注销操作。本专利技术一种大数据管理系统，包括控制模块、数据交换模块、数据库数据传输模块、数据发布订阅模块、自定义操作模块、定时操作模块、系统管理模块、系统工具模块和安全管理模块。所述的数据交换模块包括数据检索、数据更新、数据删除和SQL数据交换。所述的数据库数据传输模块包括数据库传输和数据库同步。所述的数据发布订阅模块包括发布数据声明、订阅数据声明、发布数据和订阅数据。所述的自定义操作模块包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和自定义数据发布订阅。所述的定时操作模块包括定时数据交换、定时数据库传输、定时SQL数据交换和定时数据发布订阅。所述的系统管理模块包括系统配置、系统监控、日志管理和定时操作监控器。所述的系统工具模块包括模式定义工具、动作定义工具和过滤条件定义工具。所述的安全管理模块包括用户管理、代理安全管理和模式安全管理和SQL数据交换安全管理。本专利技术提供的技术方案带来的有益效果是：通过大数据清洗系统及管理系统能实现整个城市电力客户信息大数据平台的基础统一和功能的侧重，共同完成电力客户信息资源目录及电力客户信息大数据平台中心共享数据库的数据共享和交换工作。另外，本专利技术的大数据清洗系统及管理功能多样，清洗速度快。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术清洗系统的结构示意图。图2是本专利技术管理系统的结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。如图1-2所示，一种大数据清洗系统，包括引擎模块、管理模块、组件运行管理器1和接口模块，所述的引擎模块包括数据交换引擎2、数据同步复制引擎3、定时处理引擎4和服务处理引擎5，所述的管理模块包括系统管理6、系统监控7、服务管理8、安全管理9、元数据管理10、主题管理11和公共代码管理12，所述的接口模块包括数据交换与访问接口13、数据同步复制接口14和业务处理接口15。所述的系统管理6包括系统配置16和界面设置17。所述的系统监控7通过系统监控接口18控制系统操作信息19和系统线程信息20。所述的元数据管理10和主题管理11连接远程管理接口21。所述的公共代码管理12连接公共代码管理器22。所述的数据交换引擎2，负责数据交换工作，包括数据检索、数据更新(数据插入)和数据删除。所述的定时处理引擎4定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了系统管理人员的负担。所述的安全管理9用以管理元数据和主题安全管理。所述的服务管理8包括服务定义、服务注册、服务注销操作。本专利技术一种大数据管理系统，包括控制模块23、数据交换模块24、数据库数据传输模块25、数据发布订阅模块26、自定义操作模块27、定时操作模块28、系统管理模块29、系统工具模块30和安全管理模块31。所述的数据交换模块24包括数据检索、数据更新、数据删除和SQL数据交换。所述的数据库数据传输模块25包括数据库传输和数据库同步。所述的数据发布订阅模块26包括发布数据声明、订阅数据声明、发布数据和订阅数据。所述的自定义操作模块27包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和自定义数据发布订阅。所述的定时操作模块28包括定时数据交换、定时数据库传输、定时SQL数据交换和定时数据发布订阅。所述的系统管理模块29包括系统配置、系统监控、日志管理和定时操作监控器。所述的系统工具模块30包括模式定义工具、动作定义工具和过滤条件定义工具。所述的安全管理模块31包括用户管理、代理安全管理和模式安全管理和SQL数据交换安全管理。以上所述仅为本专利技术的较佳实施例，并不用以限制本专利技术，凡在本专利技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本专利技术的保护范围之内。本文档来自技高网...

【技术保护点】
1.一种大数据清洗系统，其特征在于，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括系统管理、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口，所述的系统管理包括系统配置和界面设置，所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息，所述的元数据管理和主题管理连接远程管理接口，所述的公共代码管理连接公共代码管理器。

【技术特征摘要】
1.一种大数据清洗系统，其特征在于，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括系统管理、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口，所述的系统管理包括系统配置和界面设置，所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息，所述的元数据管理和主题管理连接远程管理接口，所述的公共代码管理连接公共代码管理器。2.根据权利要求1所述的一种大数据清洗系统，其特征在于，所述的数据交换引擎，包括数据检索、数据更新和数据删除。3.根据权利要求1所述的一种大数据清洗系统，其特征在于，所述的安全管理用以管理元数据和主题安全管理。4.根据权利要求1所述的一种大数据清洗系统，其特征在于，所述的服务管理包括服务定义、服务注册、服务注销操作。5.一种与权利要求1-4中任一所述的大数据清洗系统对应的大数据管理系统，包括控制模块、数据交换模块、数据库数据传输模块、数据发布订阅模...

【专利技术属性】
技术研发人员：胡丽，方磊，文鸣鑫，杨连河，陈文佼，姜文，于振江，孙瑞玲，王涛，王娟娟，王琰，宋静，薛云霞，李宗璇，刘明，刘堃，房巍，林治海，石维民，张建奎，蔡涵宇，
申请(专利权)人：国网山东省电力公司潍坊供电公司，
类型：发明
国别省市：山东,37