【技术实现步骤摘要】
技术介绍
设立在许昌开普研究院的“中国电器工业继电保护及自动化设备协会”,隶属中国电气工业协会,下属有30多个行业协会分支机构,拥有一万多家行业企业会员。协会需要搜集大量的企业信息,目前对于企业信息的搜集停留在过去手工收集,手工整理,手工做报表的传统信息化水平。随着行业规模不断壮大,大量的离线业务数据零散的分布在单机PC中,形成一个个信息孤岛,使得难以对业务数据进行快速历史、横向对比、纵向研究等有效的分析和利用,削弱了服务质量,降低了工作效率,影响了研究院对协会成员的服务质量。为消除以上问题、弥补不足、建立健全统计工作网络、增加统计企业数量、缩短统计工作时间、更好服务行业企业,我们开发了行业数据采集系统。
技术实现思路
许昌开普电气研究院的数据采集主要分为结构化和半结构化数据采集和非机构化数据采集(通过网络爬虫方式获取网络数据)。在许昌开普电气研究院的数据仓库(EDW)系统中,数据由数据源系统加载到数据仓库(EDW)的各个数据层中,并通过提供数据接口给相关使用者。其实现的困难在于数据采集(数据整合)系统将面临的数据环境复杂,包括巨大的加载数据量、错综复杂的数据关系和参差不齐的数据质量,这些都使数据采集的架构和应用设计需要解决的问题。结构化和半结构化数据采集结构化和半结构化数据采集模型如图1所示。图1中:1、用系统的BPM平台可以支持多个应用,每个应用是一个运行时的实例;2、一个应用包含有一个或多个模块,在应用上可以定义角色、函数、样式、组件等技术的工件,并应用于各个业务模块;3、一个模块式一组业务功能 ...
【技术保护点】
本专利技术涉及一种信息系统服务平台用数据采集系统,其设计思想是利用硬件和软件结合,设计了数据采集架构、数据采集效率、数据采集调度、数据采集监控、数据采集开发规范化的算法,实现电工行业企业统计数据采集工作。
【技术特征摘要】
1.本发明涉及一种信息系统服务平台用数据采集系统,其设计思想是利用硬件和软件结合,设计了数据采集架构、数据采集效率、数据采集调度、数据采集监控、数据采集开发规范化的算法,实现电工行业企业统计数据采集工作。
2.根据权利要求1所述的数据采集系统,其描述数据架构以数据仓库为核心,构建与业务系统相分离但又紧密联系的、集中统一共享的、面向管理决策的、以客户为中心的数据统计分析平台系统,进行网络数据的采集和获取,本发明开发设计的算法实现了行业协会...
【专利技术属性】
技术研发人员:姚致清,胡韵华,李志勇,张喜玲,韩万林,杨慧霞,闫黎明,贠雨含,刘政,蒋冠前,陈勇,苏静,杨静,
申请(专利权)人:许昌开普电气研究院,电力系统保护与控制杂志社,
类型:发明
国别省市:河南;41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。