多级部署系统的海量数据共享的方法和装置制造方法及图纸

技术编号:8657612 阅读:179 留言:0更新日期:2013-05-02 01:32
本发明专利技术公开了一种多级部署系统的海量数据共享的方法和装置。本发明专利技术中,根据数据属性对数据进行预分类;为每一种属性的数据配置一个分系统,并将分类后的具有相同属性的数据存储在为该属性数据配置的相应分系统中以使具有相同属性的每一分类的数据只存储在一个分系统中。本发明专利技术通过建立不同的分系统,每个分系统存储某一属性的数据,通过建立系统路由表以及访问权限实现各分系统互联。在任何一个分系统中查询某一属性的数据时,将根据查询类型查询系统路由表,找到存储该数据的分系统进行查询从而实现异地查询。

【技术实现步骤摘要】

本专利技术涉及数据存储
,特别涉及一种多级部署系统的海量数据共享的方法、装置。
技术介绍
随着互联网技术的发展,很多需要采集海量数据的大型系统都采用了多级部署的方式,且采集到的数据也大多采取先分块存储后再通过同步等机制汇总到一起的方式。这种方式的优点是可以生成一个拥有全部数据的全量,同时又有各个分量,且分量和全量互为备份。这样,通过访问全量的一个接口即可访问全部数据,在后期的查询操作上节省了大量资源。但是,这种方式同样存在着一个缺点:如果对数据进行修改操作,就需要在修改了全量数据或分量数据后,然后再通过同步等机制对全量数据和分量数据进行同步。对于一个数据需要经常发生变化,或是需要不断采集大量数据的系统来说,这一缺点会导致系统的性能急剧下降。特别是在将大量数据同步到全量数据库时会严重影响全量数据库的性能,从而影响系统的正常使用。另外,由于是海量数据,全量数据库的存储空间也是一个不能忽视的问题。
技术实现思路
本专利技术要解决的技术问题是提出了一种针对多级部署系统的海量数据共享的方法和装置,能够克服现有技术中频繁同步对系统性能造成的影响,并节省大量的数据库服务器的存储资源以及网络资源本文档来自技高网...

【技术保护点】
一种多级部署系统的海量数据共享的方法,其特征在于,包括:根据数据属性对数据进行预分类;为每一种属性的数据配置一个分系统,并将分类后的具有相同属性的数据存储在为该属性数据配置的相应分系统中以使具有相同属性的每一分类的数据只存储在一个分系统中。

【技术特征摘要】
1.一种多级部署系统的海量数据共享的方法,其特征在于,包括:根据数据属性对数据进行预分类;为每一种属性的数据配置一个分系统,并将分类后的具有相同属性的数据存储在为该属性数据配置的相应分系统中以使具有相同属性的每一分类的数据只存储在一个分系统中。2.根据权利要求1所述的方法,其特征在于,为每一种属性的数据配置一个分系统还包括:为每一个分系统设置一个特征标签以标识出该分系统的类别。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:根据数据库的特征生成系统路由表,所述系统路由表中包括每一数据库的特征与该数据库的映射关系;将所述系统路由表存储在每个分系统中。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:为每一分系统设置访问其他分系统的访问权限。5.根据权利要求4所述的方法,其特征在于,所述方法还包括:当接收到查询指令时,判断是否能根据待查数据的属性判断该待查数据存储在那个分系统中,如果能则直接根据所述系统路由表匿名访问到存储待查数据的分系统进行查询;否则遍历存储在查询所述系统路由表进行查询。6.一种多级部署系统的海量数据共享的...

【专利技术属性】
技术研发人员:苏超李淑惠宁江郑扬飞何岩贾晓霞王志坚胡春波郭彦义刘毅
申请(专利权)人:中国电子科技集团公司第十五研究所
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1