一种基于数字工业实时时序数据的存储计算的实现方法及装置制造方法及图纸

技术编号:40245779 阅读:29 留言:0更新日期:2024-02-02 22:42
本发明专利技术涉及一种基于数字工业实时时序数据的存储计算的实现方法及装置,使用Greenplum技术生态(Postgres/Greenplum/HashData+Madlib+Plpython)作为工业实时时序数据的存储底座与计算引擎,使用Json格式存储全量数据,将平铺的多列表结构存储变为极少列数的表结构存储(timestamp类型字段:时间戳,json类型字段:全量数据,text类型字段:属性,json类型字段:业务常用特征)。该系统主要有以下几个特点:兼容Greenplum生态的大数据处理能力及效率;Json格式实现实时时序数据的完整格式(非压缩格式)存储;完美结合了AI引擎并全面实现了机器学习等数据建模。

【技术实现步骤摘要】

本专利技术涉及数字工业,具体为一种基于数字工业实时时序数据的存储计算的实现方法及装置


技术介绍

1、随着大数据、人工智能技术的不断发展以及各行业数据的积累,越来越多的数据分析、智能决策需求应运而生。电力行业、机械行业等燃机设备、生产过程中各类传感器采集自动采集数据,通过opc协议传输、存储的技术在整个工业领域内原已相对成熟。

2、结合当前国内外工业领域现状,市场成熟的数据通过dcs系统/scada系统实时采集,存储在生产侧服务器的数据库中。在主流工业企业中,数据存储往往以关系型数据库(如oracle、mysql等)或一些专用工控数据库(力控、和利时等)存储,且通常以压缩格式或数值未变化时省略的方法来节省空间。面对简单的数据呈现能够很好支撑,但在实时分析计算、需要通过ai进行模型训练推理的业务时便乏善可陈,新的数据存储方法、通过所存数据实时进行高效率的ai计算成为需要解决的问题。传统技术的缺点:

3、1.压缩存储的数据无法使用程序直接进行数据分析,需要通过嵌套查询和转化。

4、2.传统关系型数据库并不具备ai引擎,且很难本文档来自技高网...

【技术保护点】

1.一种基于数字工业实时时序数据的存储计算的实现方法及装置,其特征在于:

2.根据权利要求1所述的一种基于数字工业实时时序数据的存储计算的实现方法及装置,其特征在于:

3.根据权利要求2所述的一种基于数字工业实时时序数据的存储计算的实现方法及装置,其特征在于:

4.根据权利要求3所述的一种基于数字工业实时时序数据的存储计算的实现方法及装置,其特征在于:

5.根据权利要求4所述的一种基于数字工业实时时序数据的存储计算的实现方法及装置,其特征在于:

【技术特征摘要】

1.一种基于数字工业实时时序数据的存储计算的实现方法及装置,其特征在于:

2.根据权利要求1所述的一种基于数字工业实时时序数据的存储计算的实现方法及装置,其特征在于:

3.根据权利要求2所述的一种基于数字工业实时时序数据的存...

【专利技术属性】
技术研发人员:袁海伦刘昊松袁超石一磬
申请(专利权)人:中国机械总院集团北京机电研究所有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1