一种工业大数据平台系统及其查询方法技术方案

本发明专利技术揭示了一种工业大数据平台系统，系统由多个相互之间通信的数据平台构成，每个数据平台均包括：数据采集端、内存缓存区、初级压缩单元、核心压缩单元、数据文件队列单元、数据库备份单元，构成了一种处理高效、准确的工业大数据平台系统。

【技术实现步骤摘要】
一种工业大数据平台系统及其查询方法
本专利技术涉及工业数据采集和分析处理的技术，特别是针对水泥行业多组态、时变及大滞后工业系统的一种大数据平台建设方法。
技术介绍
随着以FCS、基于位置的服务LBS、工业物联网等为代表的新型信息发布方式的不断涌现，以及云计算、物联网等技术的兴起，数据正以前所未有的速度在不断地增长和累积，大数据时代已经来到。学术界、工业界甚至于政府机构都已经开始密切关注大数据问题，并对其产生浓厚的兴趣。工业大数据是指在工业领域中，围绕典型智能制造模式，从客户需求到销售、订单、计划、研发、设计、工艺、制造、采购、供应、库存、发货和交付、售后服务、运维、报废或回收再制造等整个产品全生命周期各个环节所产生的各类数据及相关技术和应用的总称。其以产品数据为核心，极大延展了传统工业数据范围，同时还包括工业大数据相关技术和应用。其主要来源可分为以下三类：第一类是生产经营相关业务数据。第二类是设备物联数据。第三类是外部数据。工业大数据技术是使工业大数据中所蕴含的价值得以挖掘和展现的一系列技术与方法，包括数据规划、采集、预处理、存储、分析挖掘、可视化和智能控制等。工业大数据应用，则是对特定的工业大数据集，集成应用工业大数据系列技术与方法，获得有价值信息的过程。工业大数据技术的研究与突破，其本质目标就是从复杂的数据集中发现新的模式与知识，挖掘得到有价值的新信息，从而促进制造型企业的产品创新、提升经营水平和生产运作效率以及拓展新型商业模式。
技术实现思路
本专利技术所要解决的技术问题是实现一种处理高效、准确的工业大数据平台系统。为了实现上述目的，本专利技术采用的技术方案为：一种工业大数据平台系统，系统由多个相互之间通信的数据平台构成，每个数据平台均包括：数据采集端：用于采集工业数据；内存缓存区：将所采集的工业数据进行缓存并输送至初级压缩单元；初级压缩单元：对数据序列中的强噪声点进行平滑计算，在传感器的测量误差大于设定标准时进行降低噪声干扰，并记录方式过滤根据组态信息预处理数据序列，保留下需要的数据点；核心压缩单元：进行时间戳压缩，根据设定的数据类型进行数据量过滤压缩，最后执行结果数据类型转换步骤，完成对所有过程数据的压缩；数据文件队列单元：将核心压缩单元处理的数据归档存盘；数据库备份单元：如果用户配置了定期整理策略，则会定期的对数据文件队列单元中的数据进行无损压缩并备份到该单元，同时并清理掉数据文件队列单元中的原始数据。所述数据采集端所采集的工业数据包括设备参数、采用电子标签对物料、人员、工具、工装进行标识和跟踪的数据、以及利用企业门户、企业服务总线、流程平台构成的数据集成。所述初级压缩单元，包括：数据平滑处理单元：在每个数据点的前后各取一个相邻的点，设n个时刻t1,t2,...tn-1,tn，对应的测量数据为y1,y2,...yn-1,yn，对上述数据序列采用的平滑公式为：其中，tn时刻实测数据值yn经过平滑处理后的平滑值记为α,β为加权因子，且满足α+β<1，之后为加权因子α,β选取适当的值，剔除测量数据中的噪声点；记录方式过滤单元：针对内存缓存区中统一以4字节进行暂存的历史数据，减少历史数据中数据序列中冗余数据，并将数据分类为开关量、整型量和模拟量。每个所述数据平台设有一个用于通信的通信服务器，每个通信服务器连接本域内的数据文件队列单元用于调取数据，每个通信服务器连接本域内的数据采集端并将数据输送至内存缓存区存储，通信服务器之间通信信号线连接进线通信。系统还包括分布式通讯平台，所述分布式通讯平台负责其他单元之间的通信，并负责维护平台内的可用服务列表。所述分布式通讯平台由多个Router单元构成，其中Router1单元部署有分布式实时数据库的客户应用程序，用于查询、订阅实时或者历史数据，其他Router单元内部署有多个“实时数据库服务”实例，每个“实时数据库服务”实例存储有部分数据文件队列单元内的数据。基于所述工业大数据平台系统的查询方法：步骤1、当客户程序发送接入实时数据查询服务请求；Router1单元收到服务查询请求后，判断本地是否能处理请求；不能，则向平台内其他Router单元转发服务请求；若能，则立刻返回成功消息，同时也向平台内其他Router单元转发服务请求，在设定时间内，Router1单元收到其他Routedr单元的处理返回，返回数据表明是否能提供实时数据查询服务；若能，同时提供查询服务的实例名；Router1单元内部缓存“服务实例信息”；步骤2、客户程序发送查询数据点tag1的请求，Router1单元收到后，根据步骤1保存的“服务实例信息”向特定的Router单元转发数据点查询请求；步骤3、提供实时数据查询服务的Router单元收到位号查询请求后，转发至目标实时数据服务实例的Master主节点；步骤4、Master主节点根据请求的数据点名称位号判定是否存在待查数据点，若不存在则立刻返回查询失败消息；若存在，转发请求至目标实时数据服务器。步骤5、实时数据服务器处理查询请求命令后，直接发送查询结果至客户程序；注意查询结果不经过Master主节点进行转发。步骤6、客户程序收到请求处理结果，完成本次的查询。本专利技术上述系统和方法构成了一种处理高效、准确的工业大数据平台系统。附图说明下面对本专利技术说明书中每幅附图表达的内容作简要说明：图1为数据存储流程；图2为分布式数据服务框图；图3为分布式通讯平台框图。具体实施方式工业大数据平台搭建是对组织的工业大数据管理和利用进行评估、指导和监督的体系框架。它通过制定战略方针、建立组织架构、明确职责分工等，实现工业大数据的风险可控、安全合规、绩效提升和价值创造，并提供不断创新的大数据服务。工业大数据平台建设效果对于确保工业大数据的优化、共享和安全是至关重要的。有效的工业大数据应用可通过改进决策、缩减成本、降低风险和提高安全合规等方式，将价值回馈于业务，并最终体现为增加收入和利润。工业大数据平台的作用可概括为四点：(1)有效的工业大数据治理能够促进工业大数据服务创新和价值制造；(2)科学的工业大数据治理框架有助于提升组织的工业大数据管理和决策水平；(3)有效的工业大数据治理能够产生高质量的数据，增强数据可信度，降低成本；(4)有效的工业大数据治理有助于提高合规监管和安全控制，并降低风险。1.解决DCS、能源管理、质量控制、设备运行、总降管理等工业信息系统数据，无法在同一平台中进行采集存储的问题。2.解决海量工业信息数据的清洗，存储，分析及展示的效率问题。基于物联网的数据集成技术主要包括智能装备数据集成技术和异构业务系统数据集成技术。智能装备数据集成技术：面向车间各类对象的实时监控和管理，底层采用传感器对环境和设备进行信息采集，采用电子标签对物料、人员、工具工装等进行标识和跟踪，通过数据采集和处理实现信息的可靠高效传输，实现人机料法环测等生产要素的状态监控和集成管理。异构业务系统数据集成技术：面向工厂内部ERP、PDM、MES、QIS、TDM等业务系统，利用企业门户、企业服务总线、流程平台等集成工具实现各业务系统间界面、服务、流程和数据的集成，最终达到跨业务部门和业务系统的数据融合和流程贯通。基于产品全生命周期数据管理技术，产品全生命周期管理不同于传统的PDM，它将本文档来自技高网...

【技术保护点】
1.一种工业大数据平台系统，其特征在于，系统由多个相互之间通信的数据平台构成，每个数据平台均包括：数据采集端：用于采集工业数据；内存缓存区：将所采集的工业数据进行缓存并输送至初级压缩单元；初级压缩单元：对数据序列中的强噪声点进行平滑计算，在传感器的测量误差大于设定标准时进行降低噪声干扰，并记录方式过滤根据组态信息预处理数据序列，保留下需要的数据点；核心压缩单元：进行时间戳压缩，根据设定的数据类型进行数据量过滤压缩，最后执行结果数据类型转换步骤，完成对所有过程数据的压缩；数据文件队列单元：将核心压缩单元处理的数据归档存盘；数据库备份单元：如果用户配置了定期整理策略，则会定期的对数据文件队列单元中的数据进行无损压缩并备份到该单元，同时并清理掉数据文件队列单元中的原始数据。

【技术特征摘要】
1.一种工业大数据平台系统，其特征在于，系统由多个相互之间通信的数据平台构成，每个数据平台均包括：数据采集端：用于采集工业数据；内存缓存区：将所采集的工业数据进行缓存并输送至初级压缩单元；初级压缩单元：对数据序列中的强噪声点进行平滑计算，在传感器的测量误差大于设定标准时进行降低噪声干扰，并记录方式过滤根据组态信息预处理数据序列，保留下需要的数据点；核心压缩单元：进行时间戳压缩，根据设定的数据类型进行数据量过滤压缩，最后执行结果数据类型转换步骤，完成对所有过程数据的压缩；数据文件队列单元：将核心压缩单元处理的数据归档存盘；数据库备份单元：如果用户配置了定期整理策略，则会定期的对数据文件队列单元中的数据进行无损压缩并备份到该单元，同时并清理掉数据文件队列单元中的原始数据。2.根据权利要求1所述的工业大数据平台系统，其特征在于：所述数据采集端所采集的工业数据包括设备参数、采用电子标签对物料、人员、工具、工装进行标识和跟踪的数据、以及利用企业门户、企业服务总线、流程平台构成的数据集成。3.根据权利要求1或2所述的工业大数据平台系统，其特征在于：所述初级压缩单元，包括：数据平滑处理单元：在每个数据点的前后各取一个相邻的点，设n个时刻t1,t2,...tn-1,tn，对应的测量数据为y1,y2,...yn-1,yn，对上述数据序列采用的平滑公式为：其中，tn时刻实测数据值yn经过平滑处理后的平滑值记为α,β为加权因子，且满足α+β<1，之后为加权因子α,β选取适当的值，剔除测量数据中的噪声点；记录方式过滤单元：针对内存缓存区中统一以4字节进行暂存的历史数据，减少历史数据中数据序列中冗余数据，并将数据分类为开关量、整型量和模拟量。4.根据权利要求3所述的工业大数据平台系统，其特征在于：每个所述数据平台设有一个用于通信的通信服务器，每个通信服务器连接本域内的数据文件队列单元用于调取数据，每个通信服务器连...

【专利技术属性】
技术研发人员：吴斌，宋登科，詹家干，潘伟，赵波，王恒兵，王秋旗，李晓乐，谢长卫，朱旭辉，俞康，汪阳，黄颖思，
申请(专利权)人：安徽海螺集团有限责任公司，全椒海螺水泥有限责任公司，安徽海螺信息技术工程有限责任公司，
类型：发明
国别省市：安徽,34