时序数据存储的方法及终端设备技术

本发明专利技术适用于数据处理技术领域，提供了一种时序数据存储的方法及终端设备，该方法包括：采集所有传感器的测点数据，并获取所述测点数据对应的时间戳；将所述测点数据按预设规则划分为不同的类别，将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，每个数据库文件存储对应类别的测点数据以及对应的时间戳，从而可以使得数据库占用的存储空间固定，不会随着时间的增长而增长。

【技术实现步骤摘要】
时序数据存储的方法及终端设备
本专利技术属于数据处理
，尤其涉及一种时序数据存储的方法及终端设备。
技术介绍
通常对不同传感器的成千上万的数据进行收集后，将获得的大量数据采用关系型数据库进行存储。传统关系性数据库，数据以行和列的形式进行存放，行与行之间使用主键进行区分，不同表之间的数据还可以建立逻辑关键。例如，将所有传感器的不同测点数据以列的方式进行保存，时间轴则是以行的方式插入。但是伴随着数据基数的增长，数据占用的存储空间也在不断的增长，并且每次在关系型数据库中插入数据时都会更新传感器所有测点的数据，导致存储空间迅速飙升以及磁盘写入的时间也比较久。
技术实现思路
有鉴于此，本专利技术实施例提供了一种时序数据存储的方法及终端设备，以解决现有技术中存储数据时会导致存储空间迅速飙升以及磁盘写入的时间也比较久的问题。本专利技术实施例的第一方面提供了一种时序数据存储的方法，包括：采集所有传感器的测点数据，并获取所述测点数据对应的时间戳；将所述测点数据按预设规则划分为不同的类别，将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，每个数据库文件存储对应类别的测点数据以及对应的时间戳。在一实施例中，在所述采集所有传感器的测点数据之前，还包括：在首次进行测点数据存储之前，根据测点数据的存储周期以及总存储时间，将环形数据库的存储空间划分为固定数量的存储空间，不同的存储空间存储不同的数据库文件。在一实施例中，在所述将所述测点数据按预设规则划分为不同的类别之后，还包括：建立分类查询表，所述分类查询表中包括多条记录，每条记录包括测点数据类别以及对应的数据库文件。在一实施例中，所述采集所有传感器的测点数据，包括：根据待采集测点数据的不同类别，采用不同的采样频率采集传感器的测点数据。在一实施例中，所述将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，包括：采用内存映射方式，将所述不同类型的测点数据以及所述测点数据对应的时间戳中待处理数据加载到内存二维矩阵空间中；在预设时间将所述内存二维矩阵空间中存储的数据转存至磁盘中环形数据库中对应的数据库文件中。在一实施例中，所述二维矩阵空间以行为时间轴、列为传感器的不同测点数据的形式存储所述待处理数据。在一实施例中，在所述将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中之前，还包括：根据所述环形数据库中存储的时间戳建立索引，并根据所述时间戳建立时序；所述将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，包括：根据建立的索引，将对应的时序以及对应的测点数据存储到环形数据库中对应的数据库文件中；根据上述存储方式将剩余测点数据以及对应的时间戳分别存储到环形数据库中对应的数据库文件中；当测点数据失效时，仅将对应的索引标记为失效，保留所述测点数据以及对应的时序。在一实施例中，所述获取所述测点数据对应的时间戳，包括：获取采集所述测点数据的当前系统时间，并将所述当前系统时间转换为Unix时间戳，将所述Unix时间戳作为所述测点数据的时间戳；所述将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，包括：将不同类型的测点数据以及所述测点数据对应的Unix时间戳以格林威治格式分别存储到对应的数据库文件中。本专利技术实施例的第二方面提供了一种时序数据存储的装置，包括：获取模块，用于采集所有传感器的测点数据，并获取所述测点数据对应的时间戳；处理模块，用于将所述测点数据按预设规则划分为不同的类别，将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，每个数据库文件存储对应类别的测点数据以及对应的时间戳。本专利技术实施例的第三方面提供了一种终端设备，包括：存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一实施例所述的时序数据存储的方法所述的步骤。本专利技术实施例与现有技术相比存在的有益效果是：通过采集所有传感器的测点数据，并获取所述测点数据对应的时间戳；将所述测点数据按预设规则划分为不同的类别，将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，每个数据库文件存储对应类别的测点数据以及对应的时间戳，从而可以使得数据库占用的存储空间固定，不会随着时间的增长而增长。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术实施例提供的时序数据存储的方法的实现流程示意图；图2是本专利技术实施例提供的将不同类型的测点数据以及测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中的示意图；图3是本专利技术实施例提供的二维矩阵空间存储数据的示意图；图4是本专利技术实施例提供的时序数据存储的装置的示例图；图5是本专利技术实施例提供的终端设备的示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。图1为本专利技术实施例提供的时序数据存储的方法的实现流程示意图，详述如下。步骤101，采集所有传感器的测点数据，并获取所述测点数据对应的时间戳。可选的，测点数据对应的时间戳指采集测点数据的当前系统时间，例如，2017-08-02，14:00：00。可选的，通常时间戳以Unix时间戳的形式进行保存，因此需要将当前系统时间转换到Unix时间戳。Unix时间戳是一种时间表示方式，定义为从格林威治时间1970年01月01日00时00分00秒起至现在的总秒数，不考虑闰秒。可选的，获取采集所述测点数据的当前系统时间，并将所述当前系统时间转换为Unix时间戳，将所述Unix时间戳作为所述测点数据的时间戳。例如，将2017-08-02，14:00：00转换为Unix时间戳为1501682400。可选的，本申请中将采集的测点数据以及对应的时间戳存储到环形数据库中，在首次进行测点数据存储之前，根据测点数据的存储周期以及总存储时间，将环形数据库的存储空间划分为固定数量的存储空间，不同的存储空间存储不同的数据库文件。<本文档来自技高网...

【技术保护点】
1.一种时序数据存储的方法，其特征在于，包括：/n采集所有传感器的测点数据，并获取所述测点数据对应的时间戳；/n将所述测点数据按预设规则划分为不同的类别，将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，每个数据库文件存储对应类别的测点数据以及对应的时间戳。/n

【技术特征摘要】
1.一种时序数据存储的方法，其特征在于，包括：
采集所有传感器的测点数据，并获取所述测点数据对应的时间戳；
将所述测点数据按预设规则划分为不同的类别，将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，每个数据库文件存储对应类别的测点数据以及对应的时间戳。


2.如权利要求1所述的时序数据存储的方法，其特征在于，在所述采集所有传感器的测点数据之前，还包括：
在首次进行测点数据存储之前，根据测点数据的存储周期以及总存储时间，将环形数据库的存储空间划分为固定数量的存储空间，不同的存储空间存储不同的数据库文件。


3.如权利要求1所述的时序数据存储的方法，其特征在于，在所述将所述测点数据按预设规则划分为不同的类别之后，还包括：
建立分类查询表，所述分类查询表中包括多条记录，每条记录包括测点数据类别以及对应的数据库文件。


4.如权利要求1所述的时序数据存储的方法，其特征在于，所述采集所有传感器的测点数据，包括：
根据待采集测点数据的不同类别，采用不同的采样频率采集传感器的测点数据。


5.如权利要求2所述的时序数据存储的方法，其特征在于，所述将不同类型的测点数据以及所述测点数据对应的时间戳分别存储到环形数据库中对应的数据库文件中，包括：
采用内存映射方式，将所述不同类型的测点数据以及所述测点数据对应的时间戳中待处理数据加载到内存二维矩阵空间中；
在预设时间将所述内存二维矩阵空间中存储的数据转存至磁盘中环形数据库中对应的数据库文件中。


6.如权利要求5所述的时序数据存储的方法，其特征在于，所述二维矩阵空间以行为时间轴、列为传感器的不同测点数据的形式存储所述待处理数据。


7.如权利要求1所述的时序数据...

【专利技术属性】
技术研发人员：王彬，马桂旭，陈哲平，傅克文，
申请(专利权)人：厦门科灿信息技术有限公司，科华恒盛股份有限公司，
类型：发明
国别省市：福建;35