基于两种交互场景的分布式数据访问及存储系统技术方案

技术编号:23161661 阅读:26 留言:0更新日期:2020-01-21 21:58
本发明专利技术公开了基于两种交互场景的分布式数据访问及存储系统,包括以下组成:访问者,数据访问接口,远程数据服务,数据访问路由,可用节点管理,路由配置管理器,命令日志,本地数据访问接口,本地数据库访问实现,本地文件访问实现,SQL日志,事务管理器,远程数据服务代理。本发明专利技术的目的在于提供基于两种交互场景的分布式数据访问及存储系统,主要解决产业互联网下企业自身应用和企业间协同作业两种不同模式的系统研发底层可扩展的分布式数据库访问及文件存储问题。

【技术实现步骤摘要】
基于两种交互场景的分布式数据访问及存储系统
本专利技术涉及云计算和工业业互联网
,具体为基于两种交互场景的分布式数据访问及存储系统。
技术介绍
通过检索得知,在现有开发体系下,存在一些现有的数据库访问框架,例如ADO.Net,JDBC,Hibernate,EF,LinqSQL.等,这些技术或者框架虽然都实现了访问数据库的功能。但都是基本的数据库访问,无法实现可横向扩展的分布式数据库或文件的访问,虽然微服务等模式的提出可以解决部分问题(主要是纵向扩展),但要同时方便的适用产业互联网这种双交易模型(内部交易和外部协同交易)还是不行的。ADO.Net,JDBC等是访问数据库的基本组件,EF,Hiberlate,Mybatis等都是构架在之上的对象关系映射技术(ORM),但这些框架本身都仅支持单节点数据库的访问,当一个数据库节点的存储能力不足时,要增加数据库节点时就支持不足。(无法方便的同时访问多个数据库,也无法同时访问多个不同类型的数据库),只能进行单一的数据库访问,因此并不适合在云计算模式下构建具有横向扩展能力的系统。同时这些框架在系统业务实现纵向和横向扩展时没有统一的方法,对开发人员的要求非常高。这些组件都无法提供对两种交易模型(内部交易和外部协同交易)的支撑,这就使得人们在开发云应用平台困难重重。
技术实现思路
本专利技术的目的在于提供基于两种交互场景的分布式数据访问及存储系统,主要解决产业互联网下企业自身应用和企业间协同作业两种不同模式的系统研发底层可扩展的分布式数据库访问及文件存储问题。为实现上述目的,本专利技术提供如下技术方案:基于两种交互场景的分布式数据访问及存储系统,其特征在于:包括以下组成:访问者:指业务调用层;数据访问接口:用于对路由访问接口的结果进行处理,包括结果合并、实体转换;远程数据服务:用于提供跨网络跨地域数据访问的能力;数据访问路由:用于根据调用所带的路由参数和当前应用节点的路由配置进行数据访问的路由分发和调用;可用节点管理:用于节点的可用性;路由配置管理器:用于路由配置信息的管理;命令日志:用于数据访问的命令进行日志记载;本地数据访问接口:用于提供统一的本地数据访问的接口;本地数据库访问实现:用于提供数据库数据服务接口的实现;本地文件访问实现:用于提供本地文件读写服务实现;SQL日志:最终数据库的访问都会以SQL的形式存在,因此会做SQL日志;事务管理器:用于对启动事务的调用,维持分布式跨数据库的简单事务处理功能;远程数据服务代理:用于对不在本地应用中心的数据访问需要进行远程调用。优选的,所述节点包括了管理应用节点、数据库节点和文件服务节点。优选的,所述路由配置信息包括了分布式标识和交易模式。优选的,所述命令包括了命令SQL参数信息。与现有技术相比,本专利技术的有益效果如下:1)可实现数据存储的跨机器,跨地域分布式访问(多个应用中心,多个数据库节点能力),增加了路由机制,多线程并行访问机制以及数据服务节点)。2)同时支持企业内部交易和企业间协同两种主要业务场景,解决了产业互联网(或者工业互联网)平台研发的底层框架,大大降低了平台的开发难度。3)对上层应用开发透明,并提供对象关系映射能力(在底层数据格式的基础上实现自动映射功能)。附图说明图1为本专利技术数据访问及存储系统部署的示意图;图2为本专利技术一个应用中心可以部署N个应用节点的示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。请参阅图1至图2,本专利技术提供一种技术方案:基于两种交互场景的分布式数据访问及存储系统,包括以下组成:访问者:这里的访问者一般指业务调用层;数据访问接口:这个接口主要用于对路由访问接口的结果进行处理,包括结果合并,实体转换等;远程数据服务:提供跨网络跨地域数据访问的能力;数据访问路由:根据调用所带的路由参数和当前应用节点的路由配置进行数据访问的路由分发和调用;可用节点管理:这里的节点主要包括应用节点、数据库节点和文件服务节点;主要管理这些节点的可用性;路由配置管理器:主要是路由配置信息的管理,路由信息包括了分布式标识和交易模式等信息;命令日志:对于数据访问的命令进行日志记载,这个命令包括命令SQL,参数等信息;本地数据访问接口:主要提供统一的本地数据访问的接口;本地数据库访问实现:主要提供数据库数据服务接口的实现,会涉及到具体的数据库,每个数据库节点都可以设置数据库类型,不同的数据库类型的实现代码是有差异的,但接口保持一致,这样对于上层来说数据库访问就是透明的;本地文件访问实现:主要提供本地文件读写服务实现;SQL日志:最终数据库的访问都会以SQL的形式存在,因此会做SQL日志,这也是本结点数据库恢复的一个方面;事务管理器:对于启动事务的调用,维持分布式跨数据库的简单事务处理功能。注意本方案中数据库事务是简单的,不可靠的;远程数据服务代理:对于不在本地应用中心的数据访问需要进行远程调用,这个功能就是远程调用的一个代理实现。本解决方案的路由是根据企业或者协同业务ID(当然这个路由ID的具体含义可根据实际需要进行赋值。这个ID也是分布式中的分区ID)加上交易模式(目前主要是企业级和协同级两种)。关键点是针对企业应用主要的两种业务模式(内部交易业务和企业间协同)研发的分布式数据存储访问的路由算法,并行访问算法和底层的读写分离技术。现有的技术方案不具有这种能力。在云计算的多用户、多租户、多层次服务的模式下,要实现企业SaaS应用的横向扩展能力,提高可靠性,支持两种内外交易模式,同时又对上层应用透明的底层数据访问能力,就需要对数据的存储(包括数据库和文件)进行分布式计算改造,提供统一的访问接口,并在这个接口下实现不同类型的数据库访问能力,从而屏蔽异构数据库的访问差异,支持内外交易模式下的底层支撑。首先该访问接口根据用户提供的路由信息(路由标识,交易模式)自动选择访问数据库的路径(一个或者多个),其次在底层提供一个不同的数据库访问的抽象接口,在此基础上实现具体类型数据库的访问实现,从而达到整个体系支持内外两种交易模式下的多数据库类型访问的能力。该接口与现有技术实现的接口不同的地方在于该接口提供了路由功能和分布式事务及并发访问能力,同时也为开发者提供了云计算下SaaS应用业务开发的分布式解决方案。该技术方案不仅可以在DotNet体系下可以,也同样适合Java等其它语言体系。工作原理:该基于两种交互场景的分布式数据访问及存储系统,可实现数据存储的跨机器本文档来自技高网...

【技术保护点】
1.基于两种交互场景的分布式数据访问及存储系统,其特征在于:包括以下组成:/n访问者:指业务调用层;/n数据访问接口:用于对路由访问接口的结果进行处理,包括结果合并、实体转换;/n远程数据服务:用于提供跨网络跨地域数据访问的能力;/n数据访问路由:用于根据调用所带的路由参数和当前应用节点的路由配置进行数据访问的路由分发和调用;/n可用节点管理:用于节点的可用性;/n路由配置管理器:用于路由配置信息的管理;/n命令日志:用于数据访问的命令进行日志记载;/n本地数据访问接口:用于提供统一的本地数据访问的接口;/n本地数据库访问实现:用于提供数据库数据服务接口的实现;/n本地文件访问实现:用于提供本地文件读写服务实现;/nSQL日志:最终数据库的访问都会以SQL的形式存在,因此会做SQL日志;/n事务管理器:用于对启动事务的调用,维持分布式跨数据库的简单事务处理功能;/n远程数据服务代理:用于对不在本地应用中心的数据访问需要进行远程调用。/n

【技术特征摘要】
1.基于两种交互场景的分布式数据访问及存储系统,其特征在于:包括以下组成:
访问者:指业务调用层;
数据访问接口:用于对路由访问接口的结果进行处理,包括结果合并、实体转换;
远程数据服务:用于提供跨网络跨地域数据访问的能力;
数据访问路由:用于根据调用所带的路由参数和当前应用节点的路由配置进行数据访问的路由分发和调用;
可用节点管理:用于节点的可用性;
路由配置管理器:用于路由配置信息的管理;
命令日志:用于数据访问的命令进行日志记载;
本地数据访问接口:用于提供统一的本地数据访问的接口;
本地数据库访问实现:用于提供数据库数据服务接口的实现;
本地文件访问实现:用于提供本地文件读写服务实现;
S...

【专利技术属性】
技术研发人员:田世权
申请(专利权)人:广州接入信息科技有限公司
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1