混合存储架构下的数据访问方法技术

本发明专利技术公开了混合存储架构下的数据访问方法，克服混合存储架构下数据库管理和数据访问复杂性及数据库系统变更和故障缺乏统一管理的问题，混合存储架构下的数据访问方法步骤如下：1)数据请求处理：(1)验证用户的访问请求:请求验证模块通过查询元数据信息项的缓存完成验证；给验证模块分配一个元数据信息的针对数据库或集群状态标志位以及代理模块的激活位的一个部分缓存，利用缓存即加快验证速度；(2)数据访问请求添加至访问缓存；(3)请求的路由处理；(4)转换代理的处理；(5)请求的执行；(6)产生统一格式的结果或者报告；2)软件变更与故障处理：(1)元数据信息的周期性检测与响应；(2)软件变更处理；(3)故障处理。

【技术实现步骤摘要】

本专利技术涉及一种数据的访问方法，更确切地说，本专利技术涉及一种基于非关系型数据库系统与关系型数据库系统混合存储架构下的数据访问方法。
技术介绍
近年来，许多公司根据实际场景，使用了多种更适于在集群上运行的数据存储技术，这些技术基本上不使用SQL(结构化查询语言)，而是开源的数据库技术称之为非关系型数据库技术(NoSQL技术)。然而，关系型数据库系统在联机事务处理方面的能力仍是非关系型数据库系统难以企及的，特别是在特定的银行以及电信等行业领域，数据的存储离不开关系型数据库。因此，混合非关系型数据库系统与关系型数据库系统的数据存储解决方案，利用二者各自的优势，使利益最大化是企业的一个明智的选择，也是目前的发展趋势。非关系型数据库系统所采用的数据模型(有键值对模型，列族模型，文档模型，图数据库模型)与关系型数据库系统的数据模型(关系模型)不同，从本质上讲导致它们诸多不同之处的主因是两个系统在用户请求上的不同或者说是数据访问的方式的不同，而非关系型数据库系统的引入和关系型数据库系统的继续使用，也导致混合存储架构下数据的访问仍存在一定的问题：1.参阅图1，数据库管理和数据访问的复杂性，不同的数据库要使用不用的数据库管理工具或者访问接口访问，缺乏一个统一的数据库管理的平台和数据访问途径。2.非关系型数据库系统和关系型数据库系统的增加、删除和故障缺乏统一的监控管理，缺乏统一的应对策略。3.若使用数据仓库技术，可使用的用于收集非关系型数据库系统数据的工具有限，缺乏一个可以统一使用的工具。4.数据库管理员将不同的数据库封装为服务，不同存储系统引入的复杂性容易导致出现缺乏对服务进行有效管理的情况。
技术实现思路
本专利技术所要解决的技术问题是克服了混合存储架构下面临的数据库管理和数据访问的复杂性问题，以及克服了数据库系统变更和故障缺乏统一管理的问题，提供了一种混合存储架构下的数据访问方法。为解决上述技术问题，本专利技术是采用如下技术方案实现的：所述的混合存储架构下的数据访问方法步骤如下：1)数据请求处理：(1)验证用户的访问请求:(2)数据访问请求添加至访问缓存；(3)请求的路由处理；(4)转换代理的处理；(5)请求的执行；(6)产生统一格式的结果或者报告；2)软件变更与故障处理：(1)元数据信息的周期性检测与响应；(2)软件变更处理；(3)故障处理。技术方案中所述的验证用户的访问请求是指：1)验证用户请求的合法性用户的每一个请求将带有所请求的NoSql集群系统或者RDBMS系统的唯一标识ID，这里主要验证的合法性是用户请求的ID代表的系统元数据项Ii是否存在以及该项的状态位标记是否为正常Normal，同时代理可用，即标记为Activated；用户授权等检测任务为非关系型数据库系统或者关系型数据库系统自带的任务功能，本技术方案则将不涉及，而是直接传递给响应的非关系型数据库系统或者关系型数据库系统让其内部自行进行处理，并将处理结果反馈给用户；2)加快验证速度为了加快验证速度，请求验证模块通过查询元数据信息项的缓存完成验证；这里给验证模块分配一个元数据信息的针对数据库或集群状态标志位以及代理模块的激活位的一个部分缓存；这样利用缓存即可加快验证速度。技术方案中所述的请求的路由处理是指：1)视用户访问模块为用户请求的生产者，路由模块为用户请求的消费者，从而使用生产者消费者问题的解决策略来处理访问缓存中的用户请求；2)路由模块检测访问缓存中存在待处理的访问请求，就根据路由信息，将请求发送给相应的非关系型数据库系统或者关系型数据库系统的请求转换模块Ai；3)Ai设有第二级缓存，请求放入其缓存其中路由信息需要按照一定周期T进行维护，路由信息的维护通过周期性查询元数据信息项来完成，需要注意的是，这里的请求的路由类似一种内容的路由策略，只是将具有某个非关系型数据库系统或者关系型数据库系统的标识ID的请求发送给与这个ID代表的非关系型数据库系统或者关系型数据库系统相
应的代理模块Ai。技术方案中所述的转换代理的处理是指：1)代理模块Ai对相应二级缓存中的请求进行解析，编译，得到可以被非关系型数据库系统或者关系型数据库系统处理的请求，主要实现的是用户请求形式的转换，即由统一封装的请求转换为各个非关系型数据库系统或者关系型数据库系统能够处理的的具体的请求格式；2)代理模块Ai将处理过的结果发送给相应的非关系型数据库系统或者关系型数据库系统系统。技术方案中所述的请求的执行是指：1)非关系型数据库系统或者关系型数据库系统执行请求后，如果产生需要返回给用户的数据结果，或者产生请求执行报告，将返回结果或者报告返回给结果接受模块Ai；2)Ai将结果封装为统一的格式，并发送封装后的结果封装模块。技术方案中所述的元数据信息的周期性检测与响应是指：1)R非关系型数据库系统或者关系型数据库系统每间隔一个查询周期T2向元数据信息列表中的每一项所代表的非关系型数据库系统或者关系型数据库系统发送一个检测消息M1；2)收到M1的非关系型数据库系统或者关系型数据库系统发送相应的响应消息M2；3)非关系型数据库系统或者关系型数据库系统在一个预计的得到响应的时间T3内没有收到M2，则在响应列表项Ii的状态处标记为故障F；4)记录发生故障的时间等情况的存储系统故障管理日志这里的查询周期T2取值可以根据预测或者根据经验选取一个的平均可能发生故障或变更的时间，这个时间和非关系型数据库系统或者关系型数据库系统的总数目有关。另一方面，预计得到响应的时间T3与实际非关系型数据库系统或者关系型数据库系统的分布等因素有关，它是一个可以经过若干次反复的测试得到的平均响应时间，反映了正常状态下的非关系型数据库系统或者关系型数据库系统响应能力。技术方案中所述的软件变更处理是指：1)每新增一个非关系型数据库系统或者关系型数据库系统就向数据库&集群信息注册管理模块注册该非关系型数据库系统或者关系型数据库系统的元数据信息，元数据信息项设置故障标识位，并且新加入的元数据信息项Yi的故障标记位标记为正常Normal；记录存储系统变更管理日志，将增加系统成功与否的结果写入日志；2)每减少一个非关系型数据库系统或者关系型数据库系统在非关系型数据
库系统或者关系型数据库系统中删除对应的元数据信息；记录存储系统变更管理日志，将删除系统成功与否的结果写入日志；其中，不同类型的非关系型数据库系统或者关系型数据库系统元数据信息都以统一的形式进行存储和管理；3)请求转换模块的处理与维护：(1)每有新响应列表项Ii增加，就集成或者调用一个请求转换代理模块，并标记为激活Activated；(2)每有响应列表项Ii被标记为故障F，则其代理模块Ai被标记为失效Not Activated；这里的代理模块Ai是为相应的非关系型数据库系统或者关系型数据库系统专有的。技术方案中所述的故障处理是指：1)如果为非关系型数据库系统或者关系型数据库系统临时故障则：(1)每个发生故障的N非关系型数据库系统或者关系型数据库系统设有一个相应的故障恢复时间T4，若某个发生故障的非关系型数据库系统或者关系型数据库系统在其恢复时间T4内恢复正常，则向非关系型数据库系统或者关系型数据库系统发送一个故障恢复消息M3；(2)非关系型数据库本文档来自技高网...

【技术保护点】
一种混合存储架构下的数据访问方法,其特征在于，所述的混合存储架构下的数据访问方法步骤如下：1)数据请求处理：(1)验证用户的访问请求；(2)数据访问请求添加至访问缓存；(3)请求的路由处理；(4)转换代理的处理；(5)请求的执行；(6)产生统一格式的结果或者报告；2)软件变更与故障处理：(1)元数据信息的周期性检测与响应；(2)软件变更处理；(3)故障处理。

【技术特征摘要】
1.一种混合存储架构下的数据访问方法,其特征在于，所述的混合存储架构下的数据访问方法步骤如下：1)数据请求处理：(1)验证用户的访问请求；(2)数据访问请求添加至访问缓存；(3)请求的路由处理；(4)转换代理的处理；(5)请求的执行；(6)产生统一格式的结果或者报告；2)软件变更与故障处理：(1)元数据信息的周期性检测与响应；(2)软件变更处理；(3)故障处理。2.按照权利要求1所述的混合存储架构下的数据访问方法,其特征在于，所述的验证用户的访问请求是指：1)验证用户请求的合法性用户的每一个请求将带有所请求的NoSql集群系统或者RDBMS系统的唯一标识ID，这里主要验证的合法性是用户请求的ID代表的系统元数据项Ii是否存在以及该项的状态位标记是否为正常Normal，同时代理可用，即标记为Activated；用户授权等检测任务为非关系型数据库系统或者关系型数据库系统自带的任务功能，本技术方案则将不涉及，而是直接传递给响应的非关系型数据库系统或者关系型数据库系统让其内部自行进行处理，并将处理结果反馈给用户；2)加快验证速度为了加快验证速度，请求验证模块通过查询元数据信息项的缓存完成验证；这里给验证模块分配一个元数据信息的针对数据库或集群状态标志位以及代理模块的激活位的一个部分缓存；这样利用缓存即可加快验证速度。3.按照权利要求1所述的混合存储架构下的数据访问方法,其特征在于，所述的请求的路由处理是指：1)视用户访问模块为用户请求的生产者，路由模块为用户请求的消费者，从而使用生产者消费者问题的解决策略来处理访问缓存中的用户请求；2)路由模块检测访问缓存中存在待处理的访问请求，就根据路由信息，将请求发送给相应的非关系型数据库系统或者关系型数据库系统的请求转换模块Ai；3)Ai设有第二级缓存，请求放入其缓存其中路由信息需要按照一定周期T进行维护，路由信息的维护通过周期性查询元数据信息项来完成，需要注意的是，这里的请求的路由类似一种内容的路由策略，只是将具有某个非关系型数据库系统或者关系型数据库系统的标识ID的请求发送给与这个ID代表的非关系型数据库系统或者关系型数据库系统相应的代理模块Ai。4.按照权利要求1所述的混合存储架构下的数据访问方法,其特征在于，所述的转换代理的处理是指：1)代理模块Ai对相应二级缓存中的请求进行解析，编译，得到可以被非关系型数据库系统或者关系型数据库系统处理的请求，主要实现的是用户请求形式的转换，即由统一封装的请求转换为各个非关系型数据库系统或者关系型数据库系统能够处理的的具体的请求格式；2)代理模块Ai将处理过的结果发送给相应的非关系型数据库系统或者关系型数据库系统系统。5.按照权利要求1所述的混合存储架构下的数据访问方法,其特征在于，所述的请求的执行是指：1)非关系型数据库系统或者关系型数据库系统执行请求后，如果产生需要返回给用户的数据结果，或者产生请求执行报告，将返回结果或者报告返回给结果接受模块Ai；2)Ai将结果封装为统一的格式，并发送封装后的结果封装模块。6.按照权利要求1所述的混合存储架构下的数据访问方法,其特征在于，所述的元数据信息的周期性检测与响应是指：1)R非关系型数据库系统或者关系型数据库系统每间隔一个查询周期T2向元数据信息列表中的每...

【专利技术属性】
技术研发人员：康辉，包涵，余大洲，王凯，于跃，魏达，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22