一种时序数据存储方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种时序数据存储系统、方法、设备及介质，用于解决现有时序数据存储方法存在数据传输不稳定的技术问题。所述时序数据存储系统，用于数据采集端，包括消息缓存模块、时序数据库模块、入库管理模块和数据采集模块；其中，数据采集模块用于实时采集原始数据；消息缓存模块设置有消息缓存队列，用于从所述数据采集模块获取所述原始数据并将所述原始数据推送至所述消息缓存队列；入库管理模块用于从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据；时序数据库模块用于从所述入库管理模块获取所述标准数据，并储存于时序数据库。本申请能够实现时序数据的稳定传输，提高系统的稳定性。提高系统的稳定性。提高系统的稳定性。

【技术实现步骤摘要】
一种时序数据存储方法、装置、设备及存储介质


[0001]本申请涉及数据处理领域，尤其涉及一种时序数据存储方法、装置、设备及介质。

技术介绍

[0002]时序数据用于描述一个物体在历史的时间维度上的状态变化信息，对于大型先进制造企业而言，在生产过程中实时收集和监控相关数据，达到设备运转的透明化监控，确保生产过程数据传输的稳定性、存储的高效性是其中关键一环。在工业设备大数据的背景下，现场设备的数据量巨大，且数字化应用对数据的实时性、准确性提出了要求，而现有的时序数据存储系统存在数据传输不稳定的问题。

技术实现思路

[0003]本申请的主要目的是提供一种时序数据存储方法、装置设备及介质，旨在解决现有时序数据存储方法存在数据传输不稳定的技术问题。
[0004]为解决上述技术问题，本申请提出了：一种时序数据存储系统，用于数据采集端，包括：消息缓存模块、时序数据库模块、入库管理模块和数据采集模块；其中，
[0005]所述数据采集模块，用于实时采集原始数据；
[0006]所述消息缓存模块，所述消息缓存模块中设置有消息缓存队列，所述消息缓存模块用于从所述数据采集模块获取所述原始数据并将所述原始数据推送至所述消息缓存队列；
[0007]所述入库管理模块，用于从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据；
[0008]所述时序数据库模块，用于从所述入库管理模块获取所述标准数据，并储存于时序数据库。
[0009]作为本申请的一些可选实施例，所述时序数据存储系统还包括：接口模块，其中，所述接口模块包括与若干客户端一一对应的客户端接口，所述客户端接口用于从相应的所述客户端接收数据请求，并根据所述数据请求从所述时序数据库模块获取对应的所述标准数据。
[0010]作为本申请的一些可选实施例，所述标准数据结构包括用户层，所述数据库用户关联有若干专业厂层，所述专业厂信息关联有若干设备参数层和采集状态层，所述设备参数层关联有若干第一设备编号层，所述采集状态层关联有若干第二设备编号层，所述第一设备编号层包括采集时间节点和设备参数节点，所述第二设备编号层关联有采集服务状态层和采集异常信息层，所述采集服务状态层包括上报时间节点和采集服务状态节点，所述采集异常信息层关联有异常时间节点和异常信息节点。
[0011]作为本申请的一些可选实施例，所述时序数据模块还包括：
[0012]入库验证子模块，用于根据所述标准数据结构对所述标准数据进行验证。
[0013]作为本申请的一些可选实施例，所述时序数据存储系统还包括：查询模块，所述查
询模块用于根据所述采集设备编号和所述设备参数名称对所述时序数据库进行查询，以获取对应的所述采集参数值。
[0014]作为本申请的一些可选实施例，所述时序数据模块还包括：
[0015]分类子模块，用于根据所述采集设备编号对通过所述验证的所述标准数据进行分类，并储存于所述时序数据库对应的表格中。
[0016]为解决上述技术问题，本申请还提出了：一种时序数据存储方法，用于数据采集端，所述方法包括：
[0017]实时采集原始数据；
[0018]获取所述原始数据，并将所述原始数据推送至所述消息缓存队列；
[0019]从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据；
[0020]获取所述标准数据，并储存于时序数据库。
[0021]作为本申请的一些可选实施例，在所述获取所述标准数据，并储存于时序数据库的步骤后，所述方法还包括：
[0022]从相应的所述客户端接收数据请求，并根据所述数据请求从所述时序数据库模块获取对应的所述标准数据。
[0023]为解决上述技术问题，本申请还提出了：一种电子设备，包括：至少一个处理器、至少一个存储器以及存储在所述存储器中的计算机程序指令，当所述计算机程序指令被所述处理器执行时实现如上所述的方法。
[0024]为解决上述技术问题，本申请还提出了：一种存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如上所述的方法。
[0025]综上所述，本专利技术的有益效果如下：
[0026]本申请提供了一种时序数据存储系统，用于数据采集端，包括：消息缓存模块、时序数据库模块、入库管理模块和数据采集模块；其中，所述数据采集模块，用于实时采集原始数据，首先，通过在系统中设置数据采集模块，对现场的数据进行实时采集，此时采集的数据为原始数据；所述消息缓存模块，所述消息缓存模块中设置有消息缓存队列，所述消息缓存模块用于从所述数据采集模块获取所述原始数据并将所述原始数据推送至所述消息缓存队列，现场设备采集的数据量巨大，通过消息缓存队列的设置，在数据采集端建立具有一定数据缓存量的持续存储服务，避免了数据发布时通过本地内存进行原始数据的转发，使得数据采集端具备的缓冲能力，提升了数据传输的稳定性；所述入库管理模块，用于从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据，通过标准数据结构对原始数据进行转换，得到标准数据，实现了采集的原始数据的快速接入和存储，解决了海量数据写入高吞吐的问题，并且标准数据更方便后续的查询；所述时序数据库模块，用于从所述入库管理模块获取所述标准数据，并储存于时序数据库，由于时序数据库中储存的均是转换后的标准数据，规范化的数据使得数据冗余降低，提高了时序数据库的性能。
附图说明
[0027]图1是本申请实施例所述的时序数据存储系统的结构示意图；
[0028]图2是本申请实施例的采集端到应用端数据的数据流动的示意图；
[0029]图3是本申请实施例所述标准数据结构的结构示意图；
[0030]图4是本申请实施例所述时序数据存储方法的流程示意图；
[0031]图5是本申请实施例所述电子设备的示意图；
[0032]本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0033]应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0034]在工业设备大数据的背景下，现场设备的数据量巨大，且数字化应用对数据的实时性、准确性提出了要求，设备时序数据存储，对设备采集数据的接入、存储和管理面临着新的挑战，总体而言，设备数据在以时序格式存储管理领域的技术问题如下：
[0035]1)采集数据发布缺乏本地稳定存储
[0036]当前数据采集采用多种实现方法，最终数据在工控网工控机进行本地存储，由于受到硬件限制或服务限制，本地存储的情况不尽完善。最直接的差异表现在数据发布机制，稳定的发布需要在本地建立具有一定数据缓存量的持续存储服务，发布时一般通过本地存储进行，具备一定的缓冲能力。而通过内存转发的方式一般会表现出不稳定性。
[0037]2)数据上传过程未解耦
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据存储系统，其特征在于，用于数据采集端，包括：消息缓存模块、时序数据库模块、入库管理模块和数据采集模块；其中，所述数据采集模块，用于实时采集原始数据；所述消息缓存模块，所述消息缓存模块中设置有消息缓存队列，所述消息缓存模块用于从所述数据采集模块获取所述原始数据并将所述原始数据推送至所述消息缓存队列；所述入库管理模块，用于从所述消息缓存队列中获取所述原始数据，并根据标准数据结构对所述原始数据进行转换，以得到标准数据；所述时序数据库模块，用于从所述入库管理模块获取所述标准数据，并储存于时序数据库。2.根据权利要求1所述的时序数据存储系统，其特征在于，所述时序数据存储系统还包括：接口模块，其中，所述接口模块包括与若干客户端一一对应的客户端接口，所述客户端接口用于从相应的所述客户端接收数据请求，并根据所述数据请求从所述时序数据库模块获取对应的所述标准数据。3.根据权利要求1所述的时序数据存储系统，其特征在于，所述标准数据结构包括用户层，所述数据库用户关联有若干专业厂层，所述专业厂信息关联有若干设备参数层和采集状态层，所述设备参数层关联有若干第一设备编号层，所述采集状态层关联有若干第二设备编号层，所述第一设备编号层包括采集时间节点和设备参数节点，所述第二设备编号层关联有采集服务状态层和采集异常信息层，所述采集服务状态层包括上报时间节点和采集服务状态节点，所述采集异常信息层关联有异常时间节点和异常信息节点。4.根据权利要求1所述的时序数据存储方法，其特征在于，所述时序数据模块还包括：入库验证子模块...

【专利技术属性】
技术研发人员：罗佳丽，欧阳森山，陈琛，王尚超，刘翔锋，孙健庭，邱权，范东皖，谭丽娟，雷霭荻，张历记，赵炜煜，刘志波，
申请(专利权)人：成都飞机工业集团有限责任公司，
类型：发明
国别省市：