一种工业数据存储缓存的方法、装置及相关产品制造方法及图纸

本申请提供了一种工业数据存储缓存的方法、装置及相关产品。该方法包括：根据不断写入的历史数据，计算当前测点的历史数据量和每秒写入数据量。然后比较当前测点的历史数据量超过当前缓冲空间大小，或达到配置刷新时间。如果满足超过当前缓冲空间大小，或达到配置刷新时间，将当前缓冲的数据写入磁盘，并且根据当前测点的每秒写入数据量和数据类型更新当前缓冲空间。如此，通过测点的数据类型和数据流量动态调整缓冲空间大小，从而避免测点数据不变的测点一直占用缓冲空间而造成缓冲空间的浪费问题，提高了缓冲空间的资源利用率。提高了缓冲空间的资源利用率。提高了缓冲空间的资源利用率。

【技术实现步骤摘要】
一种工业数据存储缓存的方法、装置及相关产品


[0001]本申请涉及工业大型实时历史数据库领域，尤其涉及一种工业数据存储缓存的方法、装置及相关产品。

技术介绍

[0002]在大型工业实时历史数据库应用中，需要持续不断的实时采集大型工业现场的实时数据，并将其存储到历史数据库中。历史数据缓冲技术由于能够提高写入性能，且降低磁盘IO，已成为数据存储的重要组成部分。其中，历史数据缓冲是指将测点数据暂时存放在缓冲空间，当缓冲的数据达到预设阈值后，将测点数据整合写入磁盘。
[0003]现有技术往往根据数据测点的数量开辟固定大小的缓冲空间。然而，在实际应用中，并非所有测点数据都在实时变化，因此，为每个测点数据开辟固定大小的缓冲空间，会导致测点数据不变的测点一直占用缓冲空间，造成缓存空间浪费。

技术实现思路

[0004]有鉴于此，本申请提供了一种工业数据存储缓存的方法、装置及相关产品，旨在通过测点的数据类型和数据流量动态调整缓冲空间大小，从而避免测点数据不变的测点一直占用缓冲空间，提高缓冲空间的资源利用率。
[0005]第一方面，本申请提供了一种工业数据存储缓存的方法，应用于实时历史数据库，所述方法包括：
[0006]响应于不断写入的历史数据，计算当前测点缓冲的历史数据量和当前测点的每秒写入数据量；
[0007]响应于所述当前测点缓冲的历史数据量超过当前缓冲空间的大小，和/或达到配置刷新时间，将当前缓冲的数据写入磁盘，并根据当前测点的每秒写入数据量和数据类型更新当前缓冲空间；所述当前缓冲空间用于缓冲当前测点的数据。
[0008]可选的，所述根据当前测点的每秒写入数据量和数据类型更新缓冲空间，包括：
[0009]根据所述当前测点的每秒写入数据量和数据类型，确定每秒写入字节数；
[0010]根据所述每秒写入字节数，以及预设的缓冲空间与每秒写入字节数的映射关系，更新缓冲空间。
[0011]可选的，所述预设的缓冲空间与每秒写入字节数的映射关系，具体包括：
[0012]缓冲空间＝缓存切换时间*每秒写入字节数*第一随机数系数。
[0013]可选的，在响应于不断写入的历史数据之前，所述方法还包括：
[0014]响应于历史存档服务第一次启动，根据测点的数据类型和预设的缓冲空间和数据类型的映射关系，创建固定大小的缓冲空间；
[0015]将创建的所述固定大小的缓冲空间，确定当前缓冲空间。
[0016]可选的，所述预设的缓冲空间和数据类型的映射关系，具体包括：
[0017]缓冲空间＝数据类型*第二随机数系数。
[0018]第二方面，本申请提供了一种工业数据存储缓存的装置，应用于实时历史数据库，该装置包括：
[0019]计算单元，用于响应于不断写入的历史数据，计算当前测点缓冲的历史数据量和当前测点的每秒写入数据量；
[0020]写入单元，用于响应于前测点缓冲的历史数据量超过当前缓冲空间的大小，和/或达到配置刷新时间，将当前缓冲的数据写入磁盘，并根据当前测点的每秒写入数据量和数据类型更新当前缓冲空间；所述当前缓冲空间用于缓冲当前测点的数据。
[0021]可选的，所述写入单元，包括：
[0022]字节数确定模块，用于根据所述当前测点的每秒写入数据量和数据类型，确定每秒写入字节数；
[0023]更新模块，用于根据所述每秒写入字节数，以及预设的缓冲空间与每秒写入字节数的映射关系，更新缓冲空间。
[0024]可选的，所述预设的缓冲空间与每秒写入字节数的映射关系，具体包括：
[0025]缓冲空间＝缓存切换时间*每秒写入字节数*第一随机数系数
[0026]第三方面，本申请实施例提供了一种电子设备。该设备包括：存储器和处理器。
[0027]存储器用于用于存储程序代码，并将程序代码传输给处理器。
[0028]处理器：用于根据程序代码中的指令执行第一方面中任一项所述工业数据存储缓存的方法步骤。
[0029]第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储代码，所述代码被处理器执行时实现如第一方面中任一项所述工业数据存储缓存的方法的步骤。
[0030]本申请提供了一种工业数据存储缓存的方法、装置及相关产品。在执行所述方法时，首先根据不断写入的历史数据，计算当前测点的历史数据量和每秒写入数据量。然后比较当前测点的历史数据量超过当前缓冲空间大小，或达到配置刷新时间。如果满足超过当前缓冲空间大小，或达到配置刷新时间，将当前缓冲的数据写入磁盘，并且根据当前测点的每秒写入数据量和数据类型更新当前缓冲空间。如此，通过测点的数据类型和数据流量动态调整缓冲空间大小，从而避免测点数据不变的测点一直占用缓冲空间而造成缓冲空间的浪费问题，进而提高了缓冲空间的资源利用率。
附图说明
[0031]为更清楚地说明本实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0032]图1为根据数据测点的数量开辟固定大小缓冲空间的示意图；
[0033]图2为本申请实施例提供的一种工业数据存储缓冲的方法流程图；
[0034]图3为本申请实施例提供的另一种工业数据存储缓存的方法流程图；
[0035]图4为本申请实施例提供的一种缓存管理示意图；
[0036]图5为本申请实施例提供的第三种工业数据存储缓存的方法流程图；
[0037]图6为本申请实施例提供的一种工业数据存储缓存的装置结构示意图。
具体实施方式
[0038]本申请说明书和权利要求书及附图说明中的术语“第一”、“第二”“第三”、和“第四”等是用于区别不同对象，而不是用于限定特定顺序。
[0039]在本申请实施例中，“作为示例”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“作为示例”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“作为示例”或者“例如”等词旨在以具体方式呈现相关概念。
[0040]本申请的实施方式部分使用的术语仅用于对本申请的具体实施例进行解释，而非旨在限定本申请。
[0041]正如前文所述，现有技术往往根据数据测点的数量开辟固定大小的缓冲空间。参见图1，为根据数据测点的数量开辟固定大小缓冲空间的示意图。实时数据服务向历史存储服务推送的数据，先进行存档缓冲。当缓冲达到一定的阈值，将缓冲的数据写入磁盘至存档文件，进行存储。其中，存档缓冲的缓冲空间为根据推送数据的数量开辟的固定大小的缓冲空间。显而易见，这些缓冲空间中包括大量的空位置，用于存放测点数据长时间不变的测点。这导致在实际存储时，缓存空间会存在空间资源的浪费。
[0042]基于此，本申请提出了通过测点的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种工业数据存储缓存的方法，其特征在于，应用于实时历史数据库，所述方法包括：响应于不断写入的历史数据，计算当前测点缓冲的历史数据量和当前测点的每秒写入数据量；响应于缓冲的所述历史数据量超过当前缓冲空间的大小，和/或达到配置刷新时间，将当前缓冲的数据写入磁盘，并根据当前测点的每秒写入数据量和数据类型更新当前缓冲空间；所述当前缓冲空间用于缓冲当前测点的数据。2.根据权利要求1所述方法，其特征在于，所述根据当前测点的每秒写入数据量和数据类型更新缓冲空间，包括：根据所述当前测点每秒写入的数据量和数据类型，确定每秒写入字节数；根据所述每秒写入字节数，以及预设的缓冲空间与每秒写入字节数的映射关系，更新缓冲空间。3.根据权利要求2所述方法，其特征在于，所述预设的缓冲空间与每秒写入字节数的映射关系，具体包括：缓冲空间＝缓存切换时间*每秒写入字节数*第一随机数系数。4.根据权利要求1所述方法，其特征在于，在响应于不断写入的历史数据之前，所述方法还包括：响应于历史存档服务第一次启动，根据测点的数据类型和预设的缓冲空间和数据类型的映射关系，创建固定大小的缓冲空间；将创建的所述固定大小的缓冲空间，确定当前缓冲空间。5.根据权利要求4所述方法，其特征在于，所述预设的缓冲空间和数据类型的映射关系，具体包括：缓冲空间＝数据类型*第二随机数系数。6.一种工业数据存储缓存的装置，其...

【专利技术属性】
技术研发人员：姚杰，严翎通，方洪祥，王洪原，汪方方，
申请(专利权)人：浙江中控技术股份有限公司，
类型：发明
国别省市：