一种面向工业大数据的数据清洗和事件处理的云平台系统技术方案

本发明专利技术公开了一种面向工业大数据的数据清洗和事件处理的云平台系统，该系统可实现多数据源数据实时采集、数据预处理、重复记录检测和清洗、事件关系建模，从而提高数据质量，为企业优化流程、预防故障、提高生产效益和社会价值提供实时可靠的事件信息。为了实现上述目的，本发明专利技术提供一种面向工业大数据的数据清洗和事件处理的云平台系统，该系统包括：多数据源数据采集模块，用于从多个不同数据源系统采集不同格式的非结构化数据，存入消息中间件；数据预处理模块，用于数据格式标准化、规范化，属性拆分、合并，缺失值补全等操作；重复记录检测和清洗模块，用于识别相似重复记录，检测并清洗离群点数据；事件关系建模模块，用于对之前处理的一系列完整和详细的对事件描述的事件集合进行分类和关联，构建出事件关联图。构建出事件关联图。构建出事件关联图。

【技术实现步骤摘要】
一种面向工业大数据的数据清洗和事件处理的云平台系统


[0001]本专利技术涉及大数据分析应用及工业控制领域，尤其涉及一种面向工业大数据的数据清洗和事件处理的云平台系统。

技术介绍

[0002]随着工业自动化技术和大数据技术的不断更新与发展，越来越多在工业生产过程各环节中采集到的数据被实时存储到数据仓库中，这些数据数量庞大、种类繁多、关系复杂、冗余度高，无法被直接利用管理。工业过程中很多重要的关键信息隐藏在海量工业数据中，将这些有益信息用高效快捷的方式挖掘出来应用与生产过程中，将极大地提高生产效益和社会价值。
[0003]工业大数据分析有别于其它领域或行业的大数据分析。数据来源多样，工业大数据以非结构化和半结构化为主，不同数据之间存在复杂的内部关系，数据量增长快，动态的实时数据对工业过程控制的参考价值高，工业数据价值密度低。因此，对工业大数据的分析和处理需要通过采用有针对性的处理工具和计算模型来满足对数据的实时清洗和事件处理。数据清洗是为了解决数据质量的问题，通过识别工业大数据中的错误记录并对记录进行修正，能够尽最大可能确保交付数据的一致本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向工业大数据的数据清洗和事件处理的云平台系统，其特征在于该云平台系统包括数据采集模块、消息中间件、数据预处理模块、数据清洗模块、数据冲突解决模块和事件关系建模模块。数据源为工业生产系统中各子系统或其它部门系统产生的数据。数据采集模块开放了数据采集接口，通过进程调度器提供的动态进程采集数据，进程调度器可以通过数据采集接口监控的实时流量为不同数据源分配合适的进程数，及时回收空闲进程，对异常进程进行日志记录并尝试主动恢复，同时通知系统运维人员，以便在自动恢复失败的情况下人工介入恢复，避免数据丢失。数据预处理模块从消息中间件中订阅消息，获取到上述数据采集模块的数据形成数据集。根据特征选择出有代表性的属性，对属性进行拆分合并，对部分取值表现形式各异的数据进行数据格式标准化统一，用平均值填充方式对缺失的属性进行补全。选取记录的某一属性作为关键字，根据选取的关键字对数据集进行排序操作，使潜在的可能构成相...

【专利技术属性】
技术研发人员：卓琳，黄晁，方浩杰，
申请(专利权)人：宁波中科极动信息科技有限公司，
类型：发明
国别省市：