一种时序数据库快照数据归档方法及系统技术方案

本发明专利技术公开了一种时序数据库快照数据归档方法及系统，归档方法包括快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。本发明专利技术的时序数据库快照数据归档方法，简化了在历史服务中直接归档历史内存中的数据页的步骤，使得数据处理存储简单化。此外，采用在必要时进行数据页拆分的方式，可以将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，按照存档文件时间范围进行数据归档，便于后期数据的高效检索。本发明专利技术能够解决快照数据与补录数据同时入库时在内存中产生的冲突，简化了快照服务对补录数据在内存中的处理流程，使数据处理归档简单和高效。理归档简单和高效。理归档简单和高效。

【技术实现步骤摘要】
一种时序数据库快照数据归档方法及系统


[0001]本专利技术属于计算机数据处理领域，具体涉及一种时序数据库快照数据归档方法及系统。

技术介绍

[0002]数据归档(data archiving)是将不再经常使用的数据移到一个单独的存储设备来进行长期保存的过程。数据存档由历史数据组成，为方便后期的数据查询检索，其数据必须遵从一定的规则来存储。
[0003]在时序数据库中，快照服务完成数据在内存中的处理和管理，历史服务完成数据在磁盘中的处理和管理。时序数据一般是按照时间顺序入库的，时序数据从入库到归档存储需要经由快照在内存中的排序、整理、批量整合后再通知历史服务接管，并按照顺序落盘存档。
[0004]现有的数据存档由快照服务按照时间顺序写满内存中的各个数据页，满足归档条件时通知历史服务直接归档内存中的数据页，但如果此时要求执行补录一批历史数据，正好这批数据需要插入到正在归档的数据页中，插入数据会由于数据页写满造成数据溢出，这必将导致此数据页之后的数据页都将发生数据移动，产生大量的插入和拷贝操作，这种处理方式不仅复杂而且势必会影响数据归档效率。

技术实现思路

[0005]本专利技术的目的在于针对上述现有技术中的问题，提供一种时序数据库快照数据归档方法及系统，避免快照数据与补录数据同时入库时在内存中产生冲突，简化快照服务对补录数据在内存中的处理流程，使得数据处理归档简单和高效。
[0006]为了实现上述目的，本专利技术有如下的技术方案：
[0007]第一方面，提供一种时序数据库快照数据归档方法，包括以下步骤：
[0008]快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；
[0009]调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。
[0010]作为本专利技术时序数据库快照数据归档方法的一种优选方案，所述快照服务从归档队列中取出内存页，拷贝到交换内存中具体包括以下步骤：
[0011]所述的归档队列为历史内存页信息队列，快照服务从历史内存页信息队列中取出数据页的页码，通过页码在历史数据内存共享内存池中获取数据页；然后进行数据页有效性判断，将无效的数据页写入内存文件，将有效的数据页拷贝到交换内存共享内存中。
[0012]作为本专利技术时序数据库快照数据归档方法的一种优选方案，所述快照服务从归档队列中取出内存页时每次取出M个页进行批量归档，如果不足M页则等待S秒，若队列中仍没有内存页，则直接将当前的所有数据拷贝到交换内存中，并通知历史服务；
[0013]所述的M、S为设定值，且M、S的取值由快照服务进行设定。
[0014]作为本专利技术时序数据库快照数据归档方法的一种优选方案，所述调用历史服务相
应接口归档时，当历史服务收到接口调用的通知后，遍历存档文件以及归档数据页，将存档文件与归档数据页的时间范围逐个进行比较，将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，最终写入存档文件中，然后遍历下一个存档文件。
[0015]作为本专利技术时序数据库快照数据归档方法的一种优选方案，所述将存档文件与归档数据页的时间范围逐个进行比较时，若归档数据页的时间范围和存档文件的时间范围出现交叉，则根据归档数据页和存档文件的起始时间以及结束时间进行数据页分割。
[0016]作为本专利技术时序数据库快照数据归档方法的一种优选方案，当归档数据页的起始时间>存档文件的起始时间，且归档数据页的结束时间>存档文件的结束时间，则表示存档文件不是时间最新的存档文件，对存档文件进行数据页拆分，并将落在存档时间范围内的拆分数据页写入存档文件进行归档；将没有对应时间的存档文件写入未存档数据内存文件中。
[0017]作为本专利技术时序数据库快照数据归档方法的一种优选方案，当归档数据页的起始时间>存档文件的起始时间，且归档数据页的结束时间≤存档文件的结束时间，则不能判断存档文件是不是时间最新的存档文件，该归档数据页时间全部落在存档文件时间范围内，整个数据页写入存档文件进行归档。
[0018]作为本专利技术时序数据库快照数据归档方法的一种优选方案，当归档数据页的结束时间≤存档文件的起始时间，表示归档数据页时间未落在存档文件时间范围内，则等待与下一个存档文件进行比较。
[0019]作为本专利技术时序数据库快照数据归档方法的一种优选方案，当归档数据页的起始时间<存档文件的起始时间，且归档数据页的结束时间>存档文件的起始时间，则对存档文件进行数据页拆分，将没有落在存档文件时间范围内的拆分数据页，等待与下一个存档文件进行比较；将落在存档文件时间范围内的拆分数据页，写入存档文件归档。
[0020]第二方面，提供一种时序数据库快照数据归档系统，包括：
[0021]内存页释放模块，用于快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；
[0022]归档模块，用于调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。
[0023]相较于现有技术，本专利技术至少具有如下的有益效果：
[0024]本专利技术采用快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页。通过调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。本专利技术的时序数据库快照数据归档方法，简化了在历史服务中直接归档历史内存中的数据页的步骤，能够解决快照数据与补录数据同时入库时在内存中产生的冲突，使得数据处理存储简单化。
[0025]进一步的，当历史服务收到接口调用的通知后，先遍历存档文件，然后再遍历归档数据页，将存档文件与归档数据页的时间范围逐个进行比较，必要时进行数据页分割，将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，最终写入到存档文件中，然后遍历下一个存档文件，通过将存档文件与归档数据页的时间范围逐个进行比较，且在必要时进行数据页拆分的方式，使得可以将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，按照存档文件时间范围进行数据归档，便于后期数据的提取与检索。
附图说明
[0026]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0027]图1为本专利技术时序数据库快照数据归档方法的流程示意图；
[0028]图2为本专利技术数据页归档过程情况1的流程示意图；
[0029]图3为本专利技术数据页归档过程情况2的流程示意图；
[0030]图4为本专利技术数据页归档过程情况3的流程示意图；
[0031]图5为本专利技术数据页归档过程情况4的流程示意图；
[0032]图6为本专利技术数据页归档过程情况5的流程示意图。
具体实施方式
[0033]为使本专利技术的目的、技术方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种时序数据库快照数据归档方法，其特征在于，包括以下步骤：快照服务从归档队列中取出内存页，拷贝到交换内存中，并释放当前内存页；调用历史服务相应接口归档，在归档结束后，返回处理结果至快照服务。2.根据权利要求1所述的时序数据库快照数据归档方法，其特征在于，所述快照服务从归档队列中取出内存页，拷贝到交换内存中具体包括以下步骤：所述的归档队列为历史内存页信息队列，快照服务从历史内存页信息队列中取出数据页的页码，通过页码在历史数据内存共享内存池中获取数据页；然后进行数据页有效性判断，将无效的数据页写入内存文件，将有效的数据页拷贝到交换内存共享内存中。3.根据权利要求1所述的时序数据库快照数据归档方法，其特征在于，所述快照服务从归档队列中取出内存页时每次取出M个页进行批量归档，如果不足M页则等待S秒，若队列中仍没有内存页，则直接将当前的所有数据拷贝到交换内存中，并通知历史服务；所述的M、S为设定值，且M、S的取值由快照服务进行设定。4.根据权利要求1所述的时序数据库快照数据归档方法，其特征在于：所述调用历史服务相应接口归档时，当历史服务收到接口调用的通知后，遍历存档文件以及归档数据页，将存档文件与归档数据页的时间范围逐个进行比较，将归档数据页中所有落在当前存档文件时间范围内的数据进行汇总，最终写入存档文件中，然后遍历下一个存档文件。5.根据权利要求4所述的时序数据库快照数据归档方法，其特征在于：所述将存档文件与归档数据页的时间范围逐个进行比较时，若归档数据页的时间范围和存档文件的时间范围出现交叉，则根据归档数据页和存档文件的起始时间以及结束时间进行数据页分割。6.根据...

【专利技术属性】
技术研发人员：王毅，仇璐珂，谢贝贝，王奕飞，何清，何新，
申请(专利权)人：西安西热电站信息技术有限公司，
类型：发明
国别省市：