【技术实现步骤摘要】
支持工业数据实现流式计算方法及系统
本专利技术涉及数据解析
，具体地，涉及一种支持工业数据实现流式计算方法及系统。
技术介绍
随着国家大力发展“新基建”，以大数据为技术中心点，为传统工业企业提供智能化的生产是新的趋势。工业企业等传统型企业存在着有数据没地方用，或者有地方用，但是数据都分散在不同的企业设备或者系统。工业企业对生产质量和成本有很大的需求，而生产质量往往能够直接影响到工业企业的生产成本。工业企业现在还停留在“原始”状态，依靠大量人力。以往企业对生产工业产品质量的管控大多数以老师傅的经验进行生产设备的预设或者更改，这样的方法既浪费了大量的人力和时间，还需要实际操作者有很强的经验。并且这种经验很多时候是不可复制性，人员只能通过长时间大量的积累才能有一定的经验。专利文献CN110879820A提供一种工业数据处理方法、装置，通过采集至少一部分生产工序产生的工业数据；根据采集的各个工业数据的工序时间关联各个工业数据；对时间关联后的各个工业数据进行异常检测，通过有效的数据处理技术，将离散的生产流程拼接，...
【技术保护点】
1.一种实现工业数据的流式处理计算方法，其特征在于，包括：/n数据采集步骤：通过数据网关对设备进行数据采集，获取设备产生的bit数组，通过设定OPC协议识别出设备字段，并且将设备字段转换为JSON字符串，将JSON字符串实时发送到消息中间件；/n数据转换步骤：使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；/n指标计算步骤：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入消息中间件的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到列式存储数据库中。/n
【技术特征摘要】 【专利技术属性】
1.一种实现工业数据的流式处理计算方法，其特征在于，包括：
数据采集步骤：通过数据网关对设备进行数据采集，获取设备产生的bit数组，通过设定OPC协议识别出设备字段，并且将设备字段转换为JSON字符串，将JSON字符串实时发送到消息中间件；
数据转换步骤：使用Flink计算引擎解析消息中间件的数据信息，并进行异步匹配对应的维度信息；
指标计算步骤：令数据信息按照不同维度进行开窗计算，得到第一计算结果，将第一计算结果写入消息中间件的分析层中，进行指标计算，得到第二计算结果，将第二计算结果进行封装，存储到列式存储数据库中。
2.根据权利要求1所述的实现工业数据的流式处理计算方法，其特征在于，所述数据采集步骤包括：
获取数据步骤：获取设备在运行过程中产生的bit数组，所述bit数组中包括设备状态信息和业务数据信息；
数组转换步骤：通过OPC协议识别出设备ID、设备状态、设备运行时长、下料口、缺陷ID、生产产品ID中的任一种或任多种设备字段并转换成word数组，通过word数组解析出设备信息，所述设备信息包括设备状态和监控状态中的任一种或任多种，之后将word数组转换为字符串，并拼接成JSON字符串发送到消息中间件中。
3.根据权利要求1所述的实现工业数据的流式处理计算方法，其特征在于，所述数据转换步骤包括：
消息消费步骤：自定义连接器连接消息中间件，解析数据流中的数据，根据不同的事件进行不同的逻辑处理；
异步匹配步骤：根据事件区分出数据结构类型，解析企业ID和设备ID，使用企业ID和设备ID进行条件查询缓存中是否有对应的维度信息，若查询为空，则利用vertx框架进行异步查询维度数据库中的维度信息，令查询结果缓存，并按照不同的事件发送到消息中间件中不同的主题中。
4.根据权利要求1所述的实现工业数据的流式处理计算方法，其特征在于，所述指标计算步骤包括：
开窗计算步骤：将各个不同的设备状态数据、生产资料数据按照不同维度进行开窗计算，得到第一计算结果，所述第一计算结果中包括良品率、不良品率、缺陷率中的任一种或任多种；
结果封装步骤：令第一计算结果接入ApacheFlink进行指标计算，过滤无效数据，按照事件类型进行分割后，进行开窗计算，把流式数据转换为Table流数据，使用FlinkSql对数据按照多维度进行分组排序,分别产生不同的工业指标，形成第二计算结果并进行封装，存储到列式存储数据库中。
技术研发人员：高明明，高响，
申请(专利权)人：上海微亿智造科技有限公司，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。