高可靠性的实时/历史数据库数据保护方法技术

本发明专利技术公开了一种高可靠性的实时/历史数据库数据保护方法，包括如下内容：A、写数据请求处理过程；B、从一个或者多个实时/历史数据库在压缩文件中建立子索引系统的处理过程；C、从一个或者多个实时/历史数据库在压缩文件中建立受限访问子索引系统的处理过程。本方法能够保护实时/历史数据库系统中数据的安全，降低由于数据丢失或者所以系统损坏带来的损失，提升了实时/历史数据库系统中管理的常年在线数据的安全性、可靠性和完整性。

【技术实现步骤摘要】

本专利技术涉及一种数据库数据的处理方法，具体来说涉及一种。
技术介绍
实时/历史数据库系统在国内很多基础行业有着十分广泛的应用，比如电力、典型、化工、钢铁和高铁等对流程状态数据要求较高的行业内，实时/历史数据库都担负着十分重要的角色。受传统数据库管理系统的影响，目前大多数实时/历史数据库系统遵循传统的数据管理模式为大量的最终数据建立索引系统并将数据压缩存储到数据文件中；而数据查询和回取时都按照如下一系列过程客户端提交查询请求、服务软件从索引系统中找到对应数据的位置(数据文件、偏移、数据类型和数据大小)、从对应的位置中读取压缩数据、解压读取到的压缩数据、筛选并将满足请求的数据记录发送给提交请求的客户端。因此，目前大多数实时/历史数据库的数据写入和查询都是先修改或者查询索引信息系统，然后一次性访问目标数据。这其中就存在一个问题，如果一个存储了大量数据的索引系统由于某种原因被损坏，一种可能是存储了很久的在线数据变成了孤立的数据文件，无法访问；另外，即便现行的一些实时/历史数据库产品能够找回孤立的数据文件中的数据，但是操作的过程十分冗长缓慢，有的甚至需要原软件开发人员进行耗时的测试尝试。可以看到，在实时/历史数据库系统应用越来越广泛的今天，如何提升规模量庞大的实时/历史数据库的数据安全问题变得十分迫切。本技术的重点就是涉及和提供一种高可靠性的实时/历史数据库数据保护技术。
技术实现思路
本专利技术的目的在于提供一种，本方法能够保护实时/历史数据库系统中数据的安全，降低由于数据丢失或者索引系统损坏带来的损失，提升了实时/历史数据库系统中管理的常年在线数据的安全性、可靠性和完整性。本专利技术的目的可通过以下的技术措施来实现一种，包括如下内容A、写数据请求处理过程Al)、根据数据库配置指定的点标签容量总数，初始化数据库子索引系统、数据库受限访问子索引系统，为这两个子索引系统申请相应的存储空间，根据点标签构造相应的哈希结构树，为每个点标签的时间记录建立检索索引；A2)、由数据提交客户端对数据库发起提交实时数据的请求；A3)、数据库接收到提交实时数据请求的请求包后，首先对请求包进行解析，分离出实时数据记录数组，然后对该记录数组进行数据压缩并得到压缩数据，另外同时从请求包中解析出数据关联的点标签ID，根据点标签ID获取该ID最新的记录在子索引系统中写入索引信息，所述索引信息的内容包括该点标签ID最新记录存储所在的目标压缩文件的文件ID ；A4)、在压缩文件中分别进行三个操作首先，第一个操作是在压缩文件内建立压缩文件内部索引信息；第二个操作是将步骤A3)得到的压缩数据写入到压缩数据段空间的最新写入位置；第三个操作是在元文件信息空间建立提供给数据库子索引系统进行反向构建的元文件信息，所述元文件信息的信息项包括写入点标签，写入压缩文件ID，写入文件偏移，写入文件数据大小；三个步骤全部被成功后进入下一步，否则宣告失败，退出本方法的处理过程；A5)、根据步骤A4)产生的内部元文件信息来构造数据库系统受限访问子索引系统中需要的索引项；如果数据库中配置了不需要数据库提供应用受限访问功能，则结束本方法处理过程；否则，进入下一步；A6)、判断当前写入的数据时间范围是否在受限访问的允许访问时间范围列表内， 如果是，则将当前写入数据的索引信息加入到受限访问子索引系统中，并结束本方法处理过程；否则，直接结束本方法处理过程；B、从一个或者多个实时/历史数据库在压缩文件中建立子索引系统的处理过程Bi)、备份现有数据库子索引系统相应的物理索引文件；B2)、根据数据库配置指定的点标签容量总数，初始化数据库子索引系统，为子索引系统申请相应的存储空间，根据点标签构造相应的哈希结构树，为每个点标签的时间记录建立检索索引；B3)、枚举检索归档的压缩文件所在的文件夹，按照压缩文件的序号从小到大，枚举出全部的压缩文件的列表，依次读取每个压缩文件的内部信息进行反向建立索引处理；B4)、对步骤B3)枚举出来的每个压缩文件，首先装载压缩文件的内部索引信息和元文件信息到内存，根据内部索引信息中的压缩数据块文件偏移和压缩数据块大小，遍历当前压缩文件中所有的压缩数据块；B5)、解压缩每个压缩块，得到压缩块中的时间范围信息，同时读取相应元文件信息，构造出相应的索引项，把索引项加入到子索引系统中进行重建索引；B6)、以此类推，直到所有压缩文件中所有的压缩数据块被处理完毕；B7)、以此类推，直到归档压缩文件列表中所有压缩文件被处理完毕；C、从一个或者多个实时/历史数据库在压缩文件中建立受限访问子索引系统的处理过程Cl)、备份现有数据库受限访问子索引系统相应的物理索引文件，所述备份的方式为重命名方式；C2)、根据数据库配置指定的点标签容量总数，初始化数据库受限访问子索引系统，为受限访问子索引系统申请相应的存储空间，根据点标签构造相应的哈希结构树，为每个点标签的时间记录建立检索索引；C3)、枚举检索归档的压缩文件所在的文件夹，按照压缩文件的序号从小到大枚举出现有的压缩归档文件列表，依次读取每个压缩文件的内部信息进行反向建立索引处理；C4)、对步骤C3)枚举出来的每个压缩文件，首先装载压缩文件的内部索引信息和元文件信息到内存，根据内部索引信息中的压缩数据块文件偏移和压缩数据块大小，遍历当前压缩文件中所有的压缩数据块；C5)、解压缩每个压缩块，得到压缩块的时间范围信息，根据时间范围信息，判断该时间范围是否在受限访问允许列表中，如果是，则根据元文件信息把详细数据块信息加入到子索引系统中进行重建索引，如果不是，则跳过该压缩数据块的处理；C6)、以此类推，直到所有压缩文件中所有的压缩数据块被处理完毕；C7)、以此类推，直到归档的压缩文件列表中所有压缩文件被处理完毕。所述步骤Bi)和Cl)的备份的方式为重命名方式。所述步骤A4)中，当遇到其中某些步骤执行成功而后续的步骤执行失败的情况下，实时/历史数据库系统的事务管理系统会进行必要的回滚操作，以确保实时/历史数据库系统事务的原子性。本专利技术对比现有技术，有如下优点1、本方法实现能够适用于任何对数据安全性要求较高的领域内，强化了目前实时 /历史数据库系统中海量数据的可靠性；2、本方法使的数据库的索引系统被损坏的情况下，依然可以提供对压缩数据的正常访问；3、本方法使的数据库的索引系统被损坏的情况下，可以通过存在的压缩数据文件反向建立索引系统，最终实现在线恢复；4、本方法可以将特殊时间段的生产数据信息更安全地保护起来，提供离线访问或者在线的局部数据访问；5、本方法可以将特殊压缩文件的生产数据信息更安全地保护起来，提供离线访问或者在线的局部数据访问。附图说明图1是本方法的系统组成模块示意图；图2是本方法写数据请求处理过程的流程图；图3是本方法的数据库的压缩文件的内部逻辑结构组成示意图。具体实施例方式下面结合附图对本专利技术做进一步的详细说明，以令本领域技术人员参照说明书文字能够进行实施。一种，包括如下内容如图1所示，该实时/历史数据库系统逻辑组成模块为正常情况下的数据读写客户端(100)；故障恢复情况下的读写客户端(200)；受限访问条件下的读写客户端(300)； 实时/历史数据库系统全局索引系统(400)；实时/历史数据库系统压缩文件(500)，其中包含该本文档来自技高网...

【技术保护点】

【技术特征摘要】

【专利技术属性】
技术研发人员：周伊琳，陈炯聪，简怀兵，黄缙华，孙建伟，胡亚平，陈扬，
申请(专利权)人：广东电网公司电力科学研究院，广州执舟软件有限公司，
类型：发明
国别省市：