一种基于时序数据库的数据读取系统及数据读取方法技术方案

本发明专利技术涉及一种基于时序数据库的数据读取系统及数据读取方法，数据读取系统包括：位于服务端设备中的时序数据库和实时数据库；用于接收用户操作指令的多个客户端，客户端与时序数据库、实时数据库通信连接；实时数据需连接多个分布式工业节点，按照预设的采样周期采集每一工业节点的过程数据；时序数据库提供所述客户端用于进行数据查询访问的接口。方法包括：客户端中的订阅任务服务基于订阅任务从实时数据库中获取订阅需求关联的数据，并将获取的数据按照预设的数据存储逻辑转换并发送时序数据库；时序数据库中按照时间分类保存。本发明专利技术的系统在满足性能的情况下，支持按天或较大时间跨度的历史数据的提取，且简单易用，查询性能高。询性能高。询性能高。

【技术实现步骤摘要】
一种基于时序数据库的数据读取系统及数据读取方法


[0001]本专利技术涉及工业化数据存储技术，尤其涉及一种基于时序数据库的数据读取系统及数据读取方法。

技术介绍

[0002]工业运行设备在生产过程中会产生大量过程数据，这些数据对应的信号值大部分会被实时采集并保存到实时数据库中，且是已文件的格式存储下来，由于存在异构数据，最后产生的数据文件是非常巨大的。当上层软件对这些数据文件进行提取、分析，尤其是时间跨度大或数据量大时，读取性能非常差，而且在提取过程会影响实时数据库服务的稳定性，甚至有导致实时数据库丢点，服务崩溃的风险，进而影响位号写值，这对工业生产过程来说是不能被接受的。
[0003]另外，工业运行设备在运行或实时在线计算过程中，均会产生大量过程数据，包括输入参数、中间变量、输出参数等，这些数据大都以文件的方式存储到实时数据库，对数据进行较大时间跨度的历史数据的提取时，速度慢，性能差，且有导致实时数据库服务崩溃的风险，进而影响实时数据的采集、存储及写值。现有的技术方案，大都是在实时数据库服务端开放底层接口，外部通过接口调用，但是仅支持实时值，或在有约定限制的分钟时间跨度内进行数据的提取，但这样的时间跨度已不能完全满足现场需求，或只能消耗较长的数据提取等待时间。

技术实现思路

[0004](一)要解决的技术问题
[0005]鉴于现有技术的上述缺点、不足，本专利技术提供一种基于时序数据库的数据读取系统及数据读取方法。
[0006](二)技术方案
[0007]为了达到上述目的，本专利技术采用的主要技术方案包括：
[0008]第一方面，本专利技术实施例提供一种基于时序数据库的数据读取系统，所述数据读取系统包括：
[0009]位于服务端设备中的时序数据库和实时数据库；
[0010]用于接收用户操作指令的多个客户端，所述客户端与所述时序数据库、实时数据库通信连接；
[0011]所述实时数据需连接多个分布式工业节点，按照预设的采样周期采集每一工业节点的过程数据；
[0012]所述时序数据库提供所述客户端用于进行数据查询访问的接口；
[0013]所述时序数据库中按照时间分类保存，每一客户端从实时数据库中订阅的数据。
[0014]可选地，所述时序数据库为IoTDB；
[0015]所述IoTDB提供所述客户端进行数据查询访问的JDBC的API接口；
[0016]所述IoTDB支持异构数据的存储和提取，以及按照预设的数据存储逻辑进行数据的存储。
[0017]可选地，预设的数据存储逻辑包括：
[0018]工业节点的标识/工业节点所在回路的标识、各标识绑定的多个位号、每一位号的属性值；所述标识与位号、属性值均存在映射关系；
[0019]或者，
[0020]工业节点的标识/工业节点所在回路的标识、各标识绑定的多个位号信息，位号信息的参数信息。
[0021]可选地，所述客户端包括：APC和/或PID；
[0022]工业节点包括下述的一种或多种：
[0023]DCS1、DCSn、PLC1、PLCn；n取大于等于2的自然数。
[0024]第二方面，本专利技术实施例还提供一种基于时序数据库的数据读取方法，所述数据读取方法是基于上述第一方面任一所述的数据读取系统的方法，所述方法包括：
[0025]客户端与实时数据库连接成功后，客户端接收用户触发的对至少一个工业节点的过程数据的订阅需求；
[0026]所述客户端响应所述订阅需求，生成用于向实时数据库中获取订阅需求关联的数据的订阅任务；
[0027]所述客户端中的订阅任务服务基于所述订阅任务从实时数据库中获取订阅需求关联的数据，并将获取的数据按照预设的数据存储逻辑转换并发送时序数据库；
[0028]所述时序数据库将转换后的数据按照数据中的时间信息进行存储。
[0029]可选地，所述方法还包括：
[0030]所述IoTDB周期性维护该IoTDB内存储的数据，并将超过预设时间段的数据或超过硬盘设定值的数据进行删除。
[0031]可选地，所述方法还包括：
[0032]客户端调用时序数据库的JDBC的API接口，读取IoTDB中的时序数据。
[0033]可选地，所述方法还包括：
[0034]所述客户端中的订阅任务服务按照预设的数据更新周期向实时数据库发送所述订阅任务；所述预设的数据更新周期与所述实时数据库的采样周期相同；
[0035]所述实时数据库根据订阅任务，采用采样周期作为条件查看是否有更新的数据，若有，则向订阅任务服务发送更新的数据，并使订阅任务服务按照预设的数据存储逻辑转换更新的数据以存储在IoTDB中。
[0036]可选地，所述时序数据库和所述实时数据库位于一台物理设备中。
[0037](三)有益效果
[0038]本专利技术的方法可以利用时序数据库如IoTDB的高性能轻量级，设计针对实时数据库的同步存储策略，在满足性能的情况下，支持按天或较大时间跨度的历史数据的提取，对外通过时序数据库的查询引擎提供JDBC的外部访问API，简单易用，查询性能高；
[0039]此外，以实时方式按需订阅高频数据并同步到IoTDB，同步过程数据量小，数据按时间分类保存，完全避开因大量数据提取过程带来的实时数据库服务的数据采集、存储及参数回写等中断的风险，支持异构数据(浮点型、整型、字符串、布尔型、单值)存储及提取。
附图说明
[0040]图1为本专利技术一实施例提供的一种基于时序数据库的数据读取系统的架构图；
[0041]图2为IoTDB的数据存储的逻辑图；
[0042]图3为IoTDB存储结构对应的数据存储的表格展示的示意图；
[0043]图4和图5均为本专利技术一实施例提供的一种基于时序数据库的数据读取方法的流程图；
[0044]图6为根据条件查询结果数据流程图。
具体实施方式
[0045]为了更好的解释本专利技术，以便于理解，下面结合附图，通过具体实施方式，对本专利技术作详细描述。
[0046]本专利技术通过利用IoTDB高性能轻量级特点，并根据回路/控制器结构特性，实现一套数据预存储方案，即将设备在运行过程中产生的且已存入实时数据库中的数据，根据上层软件(如客户端的软件)的订阅需求将大量高频数据实时同步且按时间分类保存到IoTDB，并支持异构数据(浮点型、整型、字符串、布尔型、单值)存储，查询引擎提供JDBC的外部访问API，简单易用，免安装、配置和维护，为下一步进行系统集成数据的读取、分析提供了很好的数据基础，对实时数据库的读取起到冗余、削峰的作用，大幅提升上层软件读取的高效性和稳定性。
[0047]实施例一
[0048]如图1所示，本实施例提供一种基于时序数据库的数据读取系统，本实施例的数据读取系统包括：位于服务端设备中的时序数据库和实时数据库；
[0049]用于接收用户操作指令的多个客户端(如A本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序数据库的数据读取系统，其特征在于，所述数据读取系统包括：位于服务端设备中的时序数据库和实时数据库；用于接收用户操作指令的多个客户端，所述客户端与所述时序数据库、实时数据库通信连接；所述实时数据需连接多个分布式工业节点，按照预设的采样周期采集每一工业节点的过程数据；所述时序数据库提供所述客户端用于进行数据查询访问的接口；所述时序数据库中按照时间分类保存，每一客户端从实时数据库中订阅的数据。2.根据权利要求1所述的数据读取系统，其特征在于，所述时序数据库为IoTDB；所述IoTDB提供所述客户端进行数据查询访问的JDBC的API接口；所述IoTDB支持异构数据的存储和提取，以及按照预设的数据存储逻辑进行数据的存储。3.根据权利要求2所述的数据读取系统，其特征在于，预设的数据存储逻辑包括：工业节点的标识/工业节点所在回路的标识、各标识绑定的多个位号、每一位号的属性值；所述标识与位号、属性值均存在映射关系；或者，工业节点的标识/工业节点所在回路的标识、各标识绑定的多个位号信息，位号信息的参数信息。4.根据权利要求2所述的数据读取系统，其特征在于，所述客户端包括：APC和/或PID；工业节点包括下述的一种或多种：DCS1、DCSn、PLC1、PLCn；n取大于等于2的自然数。5.一种基于时序数据库的数据读取方法，其特征在于，所述数据读取方法是基于上述权利要求1至4任一所述的数据读取系统...

【专利技术属性】
技术研发人员：魏捷，庄学波，王家栋，黄章荣，薛家威，曾繁林，刘鹏，邓弘裕，张新宇，胡存，颜锟，张兴权，刘双刚，
申请(专利权)人：浙江中控技术股份有限公司，
类型：发明
国别省市：