数据库空间分片复制方法及系统技术方案

技术编号:15450762 阅读:208 留言:0更新日期:2017-05-31 15:01
本发明专利技术涉及空间数据库技术领域,公开了一种数据库空间分片复制方法及系统。该方法包括步骤:将目标分布式数据库按指定的空间分片方案进行部署;在目标分布式数据库的源数据库空间表中捕获空间对象记录所发生的变化;将变化后空间对象记录的空间位置信息与空间分片规则进行空间关系判断,如满足划分的空间位置关系,则判定当前变化后空间对象记录需复制到对应空间分片所在的目的数据库;根据数据传播定义,将变化后空间对象记录复制给目的数据库。本发明专利技术将空间数据按空间位置特征进行分片存储,并按指定的空间关系规则实现复制,从而提高了分布式环境下空间数据的更新同步效率,支撑维护空间对象的全局一致性,并简化空间分布式应用。

Method and system for replicating slice of database space

The invention relates to the technical field of spatial database, and discloses a spatial partition and replication method and system for a database. The method comprises the following steps: the goal of distributed database according to the designated space deployment scheme; capture changes in spatial objects recorded in the target database source spatial database table; will change after the spatial position information and space object record slice rules for spatial relation judgment, such as meeting the space position relations division the current is determined after the change of spatial objects to the corresponding records need to copy the space slicing to the database; according to the definition of data transmission, the change of spatial objects is copied into the destination database records. In the invention, the spatial data according to the spatial characteristics of slice storage, and copy the specified spatial relationship rules, so as to improve the efficiency of spatial data synchronization in distributed environment update, support global consistency of spatial objects, and simplify the spatial distributed application.

【技术实现步骤摘要】
数据库空间分片复制方法及系统
本专利技术涉及空间数据库
,特别涉及一种数据库空间分片复制方法及系统。
技术介绍
随着地理信息系统(GIS)、遥感(RS)和全球卫星导航系统(GNSS)技术的快速发展,地理信息应用逐渐广泛,涉及市政管理、应急反应、健康医疗、交通、能源、通信、商业应用等各大领域。作为地理信息应用的核心基础,地理空间数据主要记录道路、房屋、河流等各类地理实体的空间位置信息以及相关属性信息。与常规通用关系型数据不同,地理空间数据区域特征明显、结构复杂(非结构化)且空间多维(x,y,z),因此,传统关系型数据库技术尤其是分布式数据处理技术面临诸多挑战。分布式数据库系统的存储主要有两种方式——分片和复制。分片(fragmentation)就是系统把数据划分为几个片(或几个部分),各片存储在不同的节点上,以实现各片数据的分布式存取。所谓复制(replication),广义上是指将数据和数据库对象从一个数据库复制和分发到另一个数据库的过程,而狭义上主要用于将同一数据的多个副本存放到多个节点上,这样,在其中一个节点出现故障时,可以通过访问存放在另外节点上的副本,使系统可以正常工作。在实际应用中,通常是将两者结合在一起,先对数据进行分片,然后将分片进行复制。传统的数据库分片由于处理的是通用关系型数据,因此主要根据键值的子集进行数据划分,一个基本原则是分片不相交原则,即各分片中的记录不存在交集(这里主要指水平分片),以避免数据同步的复杂度给系统更新或使用带来隐患。基于该原则,传统的复制方式也只是简单地将源数据或源分片数据按副本方式备份存储/更新,即使通过指定键值子集实现非副本方式复制,也不存在分片数据间的复杂关系和同步问题。但是,传统数据库分片和复制方式并不适合存储和处理地理空间数据。鉴于地理信息与身俱来的按空间区域分布特性,在分布式应用中,地理空间数据更多需要按空间位置特征进行分片存储,例如,节点a地图库包含全国范围数据,节点b地图库包含北京区域数据,节点c地图库包含河北区域数据,且b和c相邻区域数据可能需要部分重叠并能够更新后同步共享(出于数据采集边界的模糊性或周边缓冲出图的需要等)。此类空间分片存储模式具有以下特殊性:(1)需要按空间位置特征进行分片存储而不是按某一键值的划分;(2)非副本复制,即a\b\c数据均不同。(3)分片存在空间意义上的“交集”,即a空间上包含(b、c),b空间相交c。(4)非传统的键值子集复制,即a\b\c数据由于保存的是空间对象记录,不存在直接的键值子集关系。因此,要实现abc三个节点的分片部署和数据更新同步,如采用传统的数据库分片与复制技术,要进行空间多维向属性一维的编码转换,不但维护、实现难度较大、且数据一致性和性能无法保证。
技术实现思路
针对传统数据库系统复制技术主要针对通用关系型数据,只能按副本复制或按键值子集复制而不支持按空间位置关系进行复制问题,提出了一种数据库空间分片复制方法及系统,将空间数据按空间位置特征进行分片存储,并按指定的空间关系规则实现复制,从而有效提高了分布式环境下空间数据的更新同步效率,支撑维护空间对象的全局一致性,并简化空间分布式应用。根据本专利技术的第一方面,提供了一种数据库空间分片复制方法,包括步骤:S1,将目标分布式数据库的分布式空间表按指定的空间分片方案进行部署,其中,根据空间分片规则按空间位置特征进行分片划分,根据映射关系将划分后的空间分片对应存储到各节点数据库;S2,在所述目标分布式数据库的源数据库空间表中捕获空间对象记录所发生的变化,提取变化后空间对象记录的空间位置信息;S3,将提取到的所述变化后空间对象记录的空间位置信息与所述空间分片规则进行空间关系判断,如满足与特定空间分片的空间位置关系,则判定当前所述变化后空间对象记录需复制到对应空间分片所在的目的数据库;S4,根据所述源数据库到所述目的数据库所定义的数据传播规则,将所述变化后空间对象记录复制给目的数据库。优选地,所述空间分片规则包括:用于界定各空间分片范围的空间分界对象集合;以及与空间分界对象集合中每一个空间分界对象对应的、空间对象记录划归所述空间分界对象所需满足的空间位置关系信息。优选地,所述数据传播规则包括:数据传播路径、数据传播周期、冲突解决策略以及本数据传播规则的激活状态。优选地,所述冲突解决策略包括:a)根据优先级判断,优先采纳优先级较高的空间对象记录;和/或b)根据时间戳判断,优先采纳时间戳为最新的空间对象记录。优选地,步骤S3具体包括步骤:S31顺序地从空间分片规则中读取一个空间分界对象;S32将当前读取到的空间分界对象与所述提取到的变化后空间对象记录的空间位置信息进行指定空间位置关系的空间关系判断;S33如符合所述指定空间位置关系,则判定当前变化后空间对象记录需复制到包含有当前空间分界对象所对应空间分片的目的数据库中;S34循环执行步骤S31-S33,直至遍历所述空间分片规则中所有的空间分界对象。优选地,步骤S4中将所述变化后空间对象记录复制给目的数据库具体为:首先判断当前数据传播规则的激活状态,如果处于激活状态,则进一步获取数据传播路径和数据传播周期,并以数据传播路径决定数据传输路由、以数据传播周期决定数据同步时间,将空间表中的空间对象记录复制给目的数据库。另一方面,本专利技术还同时提供了一种数据库空间分片复制系统,包括:分片部署模块,用于将目标分布式数据库的分布式空间表按指定的空间分片方案进行部署,其中,根据空间分片规则按空间位置特征进行分片划分,根据映射关系将划分后的空间分片对应存储到各节点数据库;变化捕获模块,用于在所述目标分布式数据库的源数据库空间表中捕获空间对象记录所发生的变化,提取变化后空间对象记录的空间位置信息;分片导航模块,用于将所述变化捕获模块所提取到的变化后空间对象记录的空间位置信息与所述分片部署模块所定义的空间分片规则进行空间关系判断,如满足与特定空间分片的空间位置关系,则判定当前所述变化后空间对象记录需复制到对应空间分片所在的目的数据库;传播应用模块,用于根据所述分片导航模块所判定的目的数据库以及所述分片部署模块所定义的所述源数据库到所述目的数据库的数据传播规则,将所述变化后空间对象记录复制给目的数据库。优选地,所述空间分片规则包括:用于界定各空间分片范围的空间分界对象集合;以及与空间分界对象集合中每一个空间分界对象对应的、空间对象记录划归所述空间分界对象所需满足的空间位置关系信息。优选地,所述数据传播规则包括:数据传播路径、数据传播周期、冲突解决策略以及本数据传播规则的激活状态。优选地,所述分片导航模块进一步包括:读取模块,用于顺序地从分片部署模块所定义的空间分片规则中读取一个空间分界对象;判断模块,用于将当前读取到的空间分界对象与所述变化捕获模块提取到的变化后空间对象记录的空间位置信息进行指定空间位置关系的空间关系判断;定向模块,用于在所述判断模块的结果符合所述指定空间位置关系时,判定当前变化后空间对象记录需复制到包含有当前空间分界对象所对应空间分片的目的数据库中;循环模块,用于控制上述三个模块循环执行,直至遍历所述空间分片规则中所有的空间分界对象。优选地,所述传播应用模块将所述变化后空间对象记录复制给目的数据库具体为:首本文档来自技高网
...
数据库空间分片复制方法及系统

【技术保护点】
一种数据库空间分片复制方法,其特征在于,所述方法包括步骤:S1,将目标分布式数据库的分布式空间表按指定的空间分片方案进行部署,其中,根据空间分片规则按空间位置特征进行分片划分,根据映射关系将划分后的空间分片对应存储到各节点数据库;由于分片划分通过定义空间分片规则实现,因此分片间允许存在交集;S2,在所述目标分布式数据库的源数据库空间表中捕获空间对象记录所发生的变化,提取变化后空间对象记录的空间位置信息;S3,将提取到的所述变化后空间对象记录的空间位置信息与所述空间分片规则进行空间关系判断,如满足与特定空间分片的空间位置关系,则判定当前所述变化后空间对象记录需复制到对应空间分片所在的目的数据库;S4,根据所述源数据库到所述目的数据库所定义的数据传播规则,将所述变化后空间对象记录复制给目的数据库。

【技术特征摘要】
1.一种数据库空间分片复制方法,其特征在于,所述方法包括步骤:S1,将目标分布式数据库的分布式空间表按指定的空间分片方案进行部署,其中,根据空间分片规则按空间位置特征进行分片划分,根据映射关系将划分后的空间分片对应存储到各节点数据库;由于分片划分通过定义空间分片规则实现,因此分片间允许存在交集;S2,在所述目标分布式数据库的源数据库空间表中捕获空间对象记录所发生的变化,提取变化后空间对象记录的空间位置信息;S3,将提取到的所述变化后空间对象记录的空间位置信息与所述空间分片规则进行空间关系判断,如满足与特定空间分片的空间位置关系,则判定当前所述变化后空间对象记录需复制到对应空间分片所在的目的数据库;S4,根据所述源数据库到所述目的数据库所定义的数据传播规则,将所述变化后空间对象记录复制给目的数据库。2.根据权利要求1所述的方法,其特征在于,所述空间分片规则包括:用于界定各空间分片范围的空间分界对象集合;以及与空间分界对象集合中每一个空间分界对象对应的、空间对象记录划归所述空间分界对象所需满足的空间位置关系信息。3.根据权利要求1所述的方法,其特征在于,所述数据传播规则包括:数据传播路径、数据传播周期、冲突解决策略以及本数据传播规则的激活状态。4.根据权利要求3所述的方法,其特征在于,所述冲突解决策略包括:a)根据优先级判断,优先采纳优先级较高的空间对象记录;和/或b)根据时间戳判断,优先采纳时间戳为最新的空间对象记录。5.根据权利要求1或2所述的方法,其特征在于,步骤S3具体包括步骤:S31顺序地从空间分片规则中读取一个空间分界对象;S32将当前读取到的空间分界对象与所述提取到的变化后空间对象记录的空间位置信息进行指定空间位置关系的空间关系判断;S33如符合所述指定空间位置关系,则判定当前变化后空间对象记录需复制到包含有当前空间分界对象所对应空间分片的目的数据库中;S34循环执行步骤S31-S33,直至遍历所述空间分片规则中所有的空间分界对象。6.根据权利要求1或3所述的方法,其特征在于,步骤S4中将所述变化后空间对象记录复制给目的数据库具体为:首先判断当前数据传播规则的激活状态,如果处于激活状态,则进一步获取数据传播路径和数据传播周期,并以数据传播路径决定数据传输路由、以数据传播周期决定数据同步时间,将空间表中的空间对象记录复制给目的数据库。7.一种数据库空间分片复...

【专利技术属性】
技术研发人员:谢炯王方陈振张明波陈荣国陈应东万庆
申请(专利权)人:中国科学院地理科学与资源研究所北京博阳世通信息技术有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1