一种数据处理方法、系统、计算设备及存储介质技术方案

本发明专利技术公开了一种数据处理方法，适于在计算设备中执行，方法包括步骤：从每台设备的多个数据采集模块获取设备的多项运行数据，将多项运行数据合成为第一运行数据存储到消息队列模块；通过数据对齐模块获取每台设备的第一运行数据，按照第一运行数据中运行数据的采集时间进行转换操作，得到与数据的采集时间对应的第二运行数据，将每台设备的第二运行数据输出到消息队列模块；通过数据计算模块获取每台设备的第二运行数据，对第二运行数据根据采集时间进行数据分析判断每台设备是否正常运行。本发明专利技术还一并公开了一种数据处理系统，计算设备和计算机可读存储介质。备和计算机可读存储介质。备和计算机可读存储介质。

【技术实现步骤摘要】
一种数据处理方法、系统、计算设备及存储介质


[0001]本专利技术涉及数据处理领域，特别涉及一种数据处理方法、系统、计算设备及存储介质。

技术介绍

[0002]随着行业生产数字化，智能化的进程越来越快，也对数字化监控，设备智能看护提出了更高的要求。目前对设备智能看护时，需要设备各种数据的支持。设备智能看护算法需要设备同时刻的全部采集数据，然而设备各类数据时通过各类系统采集，这些系统是相互独立的，对数据进行采集后形成各自的数据孤岛。
[0003]例如在现有技术中，不同系统数据各自独立采集并存储在数据库中，假设A 系统采集设备温度指标数据，B系统采集设备电气数据，A系统数据采集延迟优于B系统，估算评定A和B系统采集数据其中最大延迟为10分钟，数据采集对齐程序定时5分钟采集处理A和B系统中数据，通过时间条件先查询A系统数据库中距当前时间10分钟前到15分钟的数据并取出，再根据对齐规则条件到B系统中获取符合条件的数据做数据对齐整合成一个数据包，用于设备智能看护算法的数据输入。
[0004]上述方式由于是通过传统的扫数据库表的方式，而且是本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，适于在计算设备执行，所述计算设备与多台设备通信连接，所述设备部署有多个数据采集模块，每个数据采集模块采集所在设备的一项运行数据，所述计算设备包括消息队列模块，数据对齐模块和数据计算模块，所述方法包括步骤：从每台设备的多个数据采集模块获取设备的多项运行数据，将多项运行数据合成为第一运行数据存储到所述消息队列模块；通过所述数据对齐模块获取每台设备的第一运行数据，按照第一运行数据中运行数据的采集时间进行转换操作，得到与数据的采集时间对应的第二运行数据，将每台设备的第二运行数据输出到所述消息队列模块；通过所述数据计算模块获取每台设备的第二运行数据，对第二运行数据根据采集时间进行数据分析判断每台设备是否正常运行。2.如权利要求1所述的方法，其中，所述运行数据包括设备标识，所述从每台设备的多个数据采集模块获取设备的多项运行数据，将多项运行数据合成为第一运行数据存储到所述消息队列模块包括步骤：在所述消息队列模块中创建第一主题模块，所述第一主题模块下包括多个分区，每个分区的分区号均与一台设备的设备标识相匹配；根据所述运行数据的设备标识匹配与运行数据对应的分区，顺序将多项运行数据写入到对应的分区，将该分区的多项运行数据作为该设备的第一运行数据。3.如权利要求2所述的方法，其中，在所述分区中写入的运行数据包括该项运行数据在分区的写入时间，和对应于数据采集模块的数据类型，所述按照第一运行数据中运行数据的采集时间进行转换操作，得到与数据的采集时间对应的第二运行数据包括步骤：将所述分区中的运行数据生成关于写入时间的离散化流；设置所述离散化流的批次间隔，并将所述离散化流按照批次间隔分割成多个数据集，每个数据集中包括多个写入时间在当前批次间隔中的运行数据；创建所述离散化流的滑动窗口，所述滑动窗口包括多个批次间隔的数据集；对所述滑动窗口中的包括的数据集，根据所述运行数据的采集时间和数据类型进行转化操作得到第二运行数据。4.如权利要求3所述的方法，其中，所述创建所述离散化流的滑动窗口包括步骤：设置所述滑动窗口的窗口间隔和滑动间隔；根据所述窗口间隔和滑动间隔在所述离散化流的头部生成滑动窗口。5.如权利要求4所述的方法，其中，对所述滑动窗口中的包括的数据集，根据所述运行数据的采集时间和数据类型进行转化操作得到第二运行数据包括步骤：将所述滑...

【专利技术属性】
技术研发人员：吴方贵，方世康，朱非白，
申请(专利权)人：安徽容知日新科技股份有限公司，
类型：发明
国别省市：