System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种工业数据处理方法、装置、电子设备及存储介质制造方法及图纸_技高网

一种工业数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:41247329 阅读:4 留言:0更新日期:2024-05-09 23:57
本发明专利技术提供一种工业数据处理方法、装置、电子设备及存储介质,该方法包括获取窗口任务队列和窗口任务队列对应的队列窗口长度、数据聚合方式和当前工业数据,对当前工业数据进行数据转换得到待处理数据和待处理数据对应的数据窗口长度,基于队列窗口长度和数据窗口长度将各个待处理数据分发至窗口任务队列中,在每个窗口任务队列中根据数据聚合方式对待处理数据进行聚合处理得到处理后数据,通过该工业数据处理方法可以提高工业数据处理的实时性和提高工业数据的查询效率。

【技术实现步骤摘要】

本申请涉及钢铁冶炼,具体涉及一种工业数据处理方法、装置、电子设备及存储介质


技术介绍

1、当前,工业互联网平台已经成为智能制造战略的核心,在工业场景中有80%以上的监测数据都是实时的,并且是带有时间戳按照顺序产生的工业数据,这些工业数据来自传感器或监控系统并被实时的采集,通过采集这样的工业数据可以反馈出系统或作业的工作状态,传统工艺控制领域由于其自身的特殊性,在流程工业中对各生产步骤的监控要求十分严苛,需要通过监测数据实时反映系统的工作状态,以及持续产生运行时的指标数据,因此对实时数据的处理十分看重。

2、现在主流的工业数据处理计算方式主要是采用批计算,先将全部数据导入数据库中,在原有的数据库系统上基于提供的函数进行查询,这样的流程较为简单,能够处理各个工业场景中的工业数据,但是其时效性及数据查询效率不足,如今工业数据比较庞大,批计算很难响应实时的数据分析需求,不能提升时效性数据的价值,也增加了存储系统的负担。


技术实现思路

1、鉴于以上所述相关技术的缺点,本申请提供一种工业数据处理方法、装置、电子设备及存储介质,以解决现有的工业数据处理方法时效性和查询效率较低的技术问题。

2、本申请提供了一种工业数据处理方法,所述工业数据处理方法包括:获取窗口任务队列和所述窗口任务队列对应的队列窗口长度、数据聚合方式和当前工业数据;对所述当前工业数据进行数据转换得到待处理数据和所述待处理数据对应的数据窗口长度;基于所述队列窗口长度和所述数据窗口长度将各个待处理数据分发至所述窗口任务队列中;在每个所述窗口任务队列中根据所述数据聚合方式对所述待处理数据进行聚合处理得到处理后数据。

3、于本申请的一实施例中,基于固定预设时长设置所述窗口任务队列;或,基于固定预设时段设置所述窗口任务队列。

4、于本申请的一实施例中,基于所述数据处理配置将所述当前工业数据进行格式转换及异常值过滤得到待处理数据;获取所述待处理数据的窗口长度。

5、于本申请的一实施例中,基于预设匹配条件将所述待处理数据与所述窗口任务队列进行匹配,所述预设匹配条件为所述待处理数据的所述数据窗口长度与所述窗口任务队列的所述队列窗口长度一致。

6、于本申请的一实施例中,根据所述窗口任务队列中的时间点位按照时序拉取所述待处理数据;获取拉取的所述待处理数据的数据个数,并对所述待处理数据基于所述聚合方式进行聚合处理,所述聚合方式至少包括最小值聚合、最大值聚合、平均值聚合、求和聚合、标准差聚合、最大值与最小值聚合和瞬时值聚合。

7、于本申请的一实施例中,所述标准差聚合包括:

8、

9、在式(1)中,σ2为标准差,n为所述数据个数,xi为所述待处理数据。

10、于本申请的一实施例中,将所述处理后数据基于所述数据窗口长度存储至多个数据库中。

11、本申请的实施例还提供一种工业数据处理装置,所述工业数据处理装置包括:数据获取模块,用于获取多个窗口任务队列和所述窗口任务队列对应的队列窗口长度、数据聚合方式和当前工业数据;数据转换模块,用于对所述当前工业数据进行数据转换得到待处理数据和所述待处理数据对应的数据窗口长度;数据分发模块,用于基于所述队列窗口长度和所述数据窗口长度将各个待处理数据分发至所述窗口任务队列中;数据处理模块,用于在每个所述窗口任务队列中根据所述数据聚合方式对所述待处理数据进行聚合处理得到处理后数据。

12、本申请的实施例还提供一种电子设备,所述电子设备包括一个或多个处理器,存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述电子设备实现如上述各实施例任一所述的工业数据处理方法。

13、本申请的实施例还提供一种计算机可读存储介质,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行如上述各实施例任一所述的工业数据处理方法。

14、本专利技术的有益效果:本申请的实施例提供了一种工业数据处理方法、装置、电子设备及存储介质,该方法通过获取窗口任务队列和窗口任务队列对应的队列窗口长度、数据聚合方式和当前工业数据,对当前工业数据进行数据转换得到待处理数据和待处理数据对应的数据窗口长度,基于队列窗口长度和数据窗口长度将各个待处理数据分发至窗口任务队列中,通过获取了当前工业数据之后无需对数据进行存储,直接基于数据窗口长度对数据进行处理与计算,使得数据处理的延迟较短,通过多个窗口任务队列的并行,支撑多种时间窗口的数据进行计算,大幅度的提高计算效率,在每个窗口任务队列中根据数据聚合方式对待处理数据进行聚合处理得到处理后数据,通过该工业数据处理方法可以提高工业数据处理的实时性和提高工业数据的查询效率。

15、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。

本文档来自技高网...

【技术保护点】

1.一种工业数据处理方法,其特征在于,所述工业数据处理方法包括:

2.根据权利要求1所述的工业数据处理方法,其特征在于,获取所述窗口任务队列之前包括:

3.根据权利要求1所述的工业数据处理方法,其特征在于,对所述当前工业数据进行数据转换得到待处理数据和所述待处理数据对应的窗口长度包括:

4.根据权利要求1所述的工业数据处理方法,其特征在于,基于所述队列窗口长度和所述数据窗口长度将各个待处理数据分发至所述窗口任务队列中包括:

5.根据权利要求1所述的工业数据处理方法,其特征在于,在每个所述窗口任务队列中根据所述待处理数据的聚合方式对所述待处理数据进行聚合处理包括:

6.根据权利要求5所述的工业数据处理方法,其特征在于,所述标准差聚合包括:

7.根据权利要求1所述的工业数据处理方法,其特征在于,在每个所述窗口任务队列中根据所述数据聚合方式对所述待处理数据进行聚合处理得到处理后数据之后还包括:

8.一种工业数据处理装置,其特征在于,所述工业数据处理装置包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,当所述计算机程序被计算机的处理器执行时,使计算机执行如权利要求1-7中任一项所述的工业数据处理方法。

...

【技术特征摘要】

1.一种工业数据处理方法,其特征在于,所述工业数据处理方法包括:

2.根据权利要求1所述的工业数据处理方法,其特征在于,获取所述窗口任务队列之前包括:

3.根据权利要求1所述的工业数据处理方法,其特征在于,对所述当前工业数据进行数据转换得到待处理数据和所述待处理数据对应的窗口长度包括:

4.根据权利要求1所述的工业数据处理方法,其特征在于,基于所述队列窗口长度和所述数据窗口长度将各个待处理数据分发至所述窗口任务队列中包括:

5.根据权利要求1所述的工业数据处理方法,其特征在于,在每个所述窗口任务队列中根据所述待处理数据的聚合方式对所述待处理...

【专利技术属性】
技术研发人员:陶术江那蓉萃李欣李颜秀王龙鲁宏毅康西李强
申请(专利权)人:中冶赛迪信息技术重庆有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1