The invention discloses a distributed parallel processing database system and its data processing method, which provides reliable data support for data recovery by formulating data fragmentation distribution rules, redundant backup rules and redundant log mechanism. According to the type of data operation, the redo log recovery or consistency recovery between nodes are selected for automatic data recovery. The invention supports distributed deployment, realizes automatic data recovery and provides stable storage and computing services.
【技术实现步骤摘要】
分布式并行处理数据库系统及其数据处理方法
本专利技术属于分布式并行数据库在信息化系统应用领域，特别是涉及一种分布式并行处理数据库系统及其数据处理方法。
技术介绍
数据库技术产生于20世纪年代后期，其理论与技术发展极为迅速，应用也日益广泛。随着微型计算机的广泛应用，为加强和扩大微型计算机处理数据的功能，要求将许多分布在不同地点上的微型计算机互连起来参与共同工作。这样数据库进入了分布式数据库时代。20世纪90年代以来，分布式数据库系统进入商品化应用阶段，传统的关系数据库产品发展成以计算机网络及多任务操作系统为核心的分布式数据库产品。随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充，数据库应用已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足：数据按实际需要已在网络上分布存储，再采用集中式处理，势必造成通信开销大；应用程序集中在一台计算机上运行，一旦该计算机发生故障，则整个系统受到影响，可靠性不高；集中式处理引起系统的规模和配置都不够灵活，系统的可扩充性差。在这种形势下，集中式数据库的“集中计算”概念向“分布计算”概念发展，以分布式为...
【技术保护点】
1.一种分布式并行处理数据库系统，其特征在于：采用联邦构架，通过并行使用多个节点来装载数据和执行查询操作，所述节点根据功能划分为数据节点和调度节点，各所述数据节点之间互相连接协同计算，多个数据节点形成数据集群，多个调度节点形成调度集群；所述调度集群，负责数据库的访问、数据发布和数据收集、对来自数据集群的计算结果的收集和任务调度；所述数据集群，负责数据库的数据存储和数据计算，接收经调度集群分解的任务并将该任务在指定的数据节点上进行相应计算；还包括管理集群，存储有数据分片规则，并根据数据分片规则生成分片映射表，插入数据时，根据分片映射表到对应的数据节点上存储，实现数据分布式存储...
【技术特征摘要】
1.一种分布式并行处理数据库系统，其特征在于：采用联邦构架，通过并行使用多个节点来装载数据和执行查询操作，所述节点根据功能划分为数据节点和调度节点，各所述数据节点之间互相连接协同计算，多个数据节点形成数据集群，多个调度节点形成调度集群；所述调度集群，负责数据库的访问、数据发布和数据收集、对来自数据集群的计算结果的收集和任务调度；所述数据集群，负责数据库的数据存储和数据计算，接收经调度集群分解的任务并将该任务在指定的数据节点上进行相应计算；还包括管理集群，存储有数据分片规则，并根据数据分片规则生成分片映射表，插入数据时，根据分片映射表到对应的数据节点上存储，实现数据分布式存储；所述数据分片规则包括制定一个节点生成多少用于数据存储的主分片和一个主分片对应多少用以备份的备份分片。2.根据权利要求1所述的数据库系统，其特征在于：所述管理集群内置数据冗余备份算法；所述数据冗余备份算法为：每个所述数据节点内包括1个或多个独立的用来存储数据的主分片和1个或多个独立的用来备份其他数据节点上的主分片数据的备份分片，数据插入时根据分片映射表存储到相应的主分片上，并在其他备份分片上进行冗余备份。3.根据权利要求2所述的数据库系统，其特征在于：在进行数据查询操作时，存储有该数据的主分片的数据节点作为主节点，存储有该数据的备份数据的数据节点作为备份节点，若当主节点不可用时，选择备节点分担执行任务，否则，选择主节点执行任务。4.根据权利要求3所述的数据库系统，其特征在于：所述管理集群还包括节点状态服务，所述节点状态服务用于定期检测各节点的状态是否正常提供服务并将各节点的状态交由管理集群记录，所述管理集群通过调用节点状态服务来定位当前可用节点，判断节点资源是否可用和选取合适的节点去处理数据处理请求。5.根据权利要求4所述的数据库系统，其特征在于：所述管理集群存储有节点状态信息，所述节点状态信息包括节点状态和各节点内的数据状态信息。6.根据权利要求5所述的数据库系统，其特征在于：还包括数据自动恢复工具，所述管理集群调用数据自动恢复工具对故障排除后的标记数据错误状态的节点进行数据恢复。7.根据权利要求6所述的数据库系统，其特征在于：所述数据自动恢复工具根据需恢复数据量选择重做日志恢复或节点间一致性恢复。8.根据权利要求7所述的数据库系统，其特征在于：所述管理集群还存储有主备节点一致性状态信息；当数据自动恢复工具采用节点间一致性恢复时，根据主备节点一致性状态信息进行数据恢复。9.根据权利要求7所述的数据库系统，其特征在于：所述重做日志恢复为：将相关性的重做日志进行顺序处理，将无相关性的重做日志进行并行处理。10.根据权利要求8所述的数据库系统，其特征在于：所述节点间一致性恢复为：在节点上引入存储单元编号和操作号，异常节点首先比对是否存在正常节点...
【专利技术属性】
技术研发人员：乔斌，粟勇，
申请(专利权)人：江苏瑞中数据股份有限公司，南瑞集团有限公司，国家电网有限公司，
类型：发明
国别省市：江苏,32
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。