双节点高可用的分布式存储系统技术方案

本发明专利技术公开了一种双节点高可用的分布式存储系统，该系统包括：由主节点和从节点构成的分布式存储集群，每个节点上均部署WEB服务、数据库、Zookeeper服务和存储服务；数据库用于为WEB服务提供数据存储服务，存储服务用于对外提供数据存储服务；系统中某一节点故障时，整个系统的管理服务和存储服务由另一个节点接管，实现高可用。通过WEB服务部署方式、主从数据库复制机制、虚拟IP机制、虚拟Zookeeper服务机制和双副本冗余存储策略实现WEB管理服务、集群管理服务和存储数据等高可用。本发明专利技术通过双节点即可实现WEB管理服务、集群管理服务和存储数据等的高可用性。系统结构简单，能够适用于对应用规模和空间有限制的应用场景，满足各个场景的需求，适用性广。

【技术实现步骤摘要】
双节点高可用的分布式存储系统
本专利技术属于分布式存储高可用设计
，特别涉及一种双节点高可用的分布式存储系统。
技术介绍
国外基于SDS技术的数据存储中心已经得到了广泛的研究和应用，如谷歌、亚马逊、微软等公司后端的数据分析都是建立在分布式存储系统的基础上。实际用于工业环境的SDS存储系统软件方面，主要是在开源软件，如Swift、HDFS、Ceph、FastDFS、MongoDB等基础上进行的稳定性、功能性的完善和改进，且越来越多的中小型信息公司也在进行存储基础设施向SDS架构的转变。现有的分布式存储软件如果要实现高可用性，需要至少3个节点的部署方案，而对于一些应用场景由于应用规模和空间限制希望采用两个节点的高可用集群方案，现有技术无法实现。
技术实现思路
本专利技术的目的在于提供一种双节点高可用的分布式存储系统，可以实现两个节点的数据相互备份的同时对外提供不间断的存储服务。实现本专利技术目的的技术解决方案为：双节点高可用的分布式存储系统，所述系统包括：由主节点和从节点构成的分布式存储集群，每个节点上均部署WEB服务、数据库、Zookeeper服务和存储服务；所述数据库用于为WEB服务提供数据存储服务，所述存储服务用于对外提供数据存储服务；系统中某一节点故障时，整个系统的管理服务和存储服务由另一个节点接管，实现高可用；其中，管理服务高可用包括：WEB管理服务高可用，通过WEB服务部署方式、主从数据库复制机制以及虚拟IP机制实现；其中，存储服务高可用包括：存储集群管理服务高可用，通过虚拟Zookeeper服务机制和虚拟IP机制实现；数据存储服务高可用，通过双副本冗余存储策略和iSCSI多路径实现。进一步地，所述系统上的WEB服务为无状态并部署为多活模式。进一步地，所述主从数据库复制机制具体为：主节点开启日志功能将数据库的变更写入二进制日志中，从节点的IO线程同步主节点的二进制日志并写入自身的中继日志中，同时从节点数据库主线程重放中继日志，实现与主节点数据同步。进一步地，所述虚拟IP机制通过部署于集群节点间的虚拟IP实现；所述虚拟Zookeeper服务机制通过部署于集群节点间的虚拟Zookeeper服务实现，形成伪三节点Zookeeper集群。进一步地，所述虚拟IP、虚拟Zookeeper服务均根据主、从节点的运行状态运行于其中一个节点上，且在当前节点故障时，虚拟IP、虚拟Zookeeper服务会自动漂移到另一个节点。进一步地，所述虚拟IP、虚拟Zookeeper服务均通过Pacemaker方法进行管理，主、从节点通过该方法检测对方是否故障并与之协商决定在其中一个节点上运行虚拟IP和虚拟Zookeeper服务，实现虚拟IP、虚拟Zookeeper服务漂移。进一步地，所述虚拟Zookeeper服务和虚拟IP这两种资源放置于Pacemaker的同一个group中，实现虚拟IP和虚拟Zookeeper的同步漂移，两者始终运行于同一节点上。本专利技术与现有技术相比，其显著优点为：1)首次提出通过两个节点即可实现分布式存储，能够适用于对应用规模和空间有限制的应用场景，适用性广；2)通过Pacemaker方法对集群资源进行管理，实现虚拟IP、虚拟Zookeeper服务的漂移，实现存储集群管理服务高可用；3)通过将虚拟Zookeeper服务和虚拟IP这两种资源放置于Pacemaker的同一个group中，实现虚拟IP和虚拟Zookeeper同步漂移，始终运行于同一节点上，使得该虚拟IP被WEB服务使用的同时，也被虚拟Zookeeper服务复用，从而简化系统设计。下面结合附图对本专利技术作进一步详细描述。附图说明图1为一个实施例中双节点高可用的分布式存储系统总体框图。图2为一个实施例中数据库同步过程示意图。图3为一个实施例中WEB服务高可用原理示意图。图4为一个实施例中集群管理高可用原理示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。分布式存储通常对高可用性要求较高，当某一个节点发生故障时，分布式存储集群中的其他节点可以在短时间内接管故障节点的业务，从而实现存储的高可用性。而为了实现高可用性，分布式存储至少需要3个节点来组建集群，对于一些应用场景由于应用规模和空间的限制，希望实现两个节点的分布式存储高可用方案。在一个实施例中，结合图1，提供了一种双节点高可用的分布式存储系统，该系统包括：由主节点和从节点构成的分布式存储集群，每个节点上均部署WEB服务、数据库、Zookeeper服务和存储服务；其中，数据库用于为WEB服务提供数据存储服务，存储服务用于对外提供数据存储服务；系统中某一节点故障时，整个系统的管理服务和存储服务由另一个节点接管，实现高可用；这里，主、从节点为两台服务器。其中，管理服务高可用包括：WEB管理服务高可用，通过WEB服务部署方式、主从数据库复制机制以及虚拟IP机制实现；其中，存储服务高可用包括：存储集群管理服务高可用，通过虚拟Zookeeper服务机制和虚拟IP机制实现；数据存储服务高可用，通过双副本冗余存储策略和iSCSI多路径实现。这里，双副本冗余存储策略为：存储系统对客户端存入的数据通过镜像的方式在两个节点同时存储，从而避免某个节点发生故障导致的全部或者部分数据丢失。iSCSI多路径是指外部客户端与两个节点均建立连接。进一步地，在其中一个实施例中，系统上的WEB服务为无状态并部署为多活模式。本实施例的方案，结合上述的虚拟IP机制，能保证某一节点发生故障后WEB服务和承载该服务的IP的高可用性，同时避免正常模式下节点数据不一致的问题。进一步地，在其中一个实施例中，结合图2，上述主从数据库复制机制具体为：主节点开启日志功能将数据库的变更写入二进制日志中，从节点的IO线程同步主节点的二进制日志并写入自身的中继日志中，同时从节点数据库主线程重放中继日志，实现与主节点数据同步。进一步地，在其中一个实施例中，上述虚拟IP机制通过部署于集群节点间的虚拟IP实现；上述虚拟Zookeeper服务机制通过部署于集群节点间的虚拟Zookeeper服务实现，形成伪三节点Zookeeper集群。这里，虚拟IP机制被WEB服务使用。这里，部署伪三节点Zookeeper集群能实现分布式存储集群元数据的高可用。进一步地，在其中一个实施例中，结合图3和图4，上述虚拟IP、虚拟Zookeeper服务均根据主、从节点的运行状态运行于其中一个节点上，且在当前节点故障时，虚拟IP、虚拟Zookeeper服务会自动漂移到另一个节点。采用本实施例的方案，虚拟IP、虚拟Zookeeper服务根据节点状态自动漂移，不会因节点故障导致管理等服务中断，实现了WEB管理服务、存储集本文档来自技高网...

【技术保护点】
1.双节点高可用的分布式存储系统，其特征在于，所述系统包括：由主节点和从节点构成的分布式存储集群，每个节点上均部署WEB服务、数据库、Zookeeper服务和存储服务；所述数据库用于为WEB服务提供数据存储服务，所述存储服务用于对外提供数据存储服务；系统中某一节点故障时，整个系统的管理服务和存储服务由另一个节点接管，实现高可用；/n其中，管理服务高可用包括：WEB管理服务高可用，通过WEB服务部署方式、主从数据库复制机制以及虚拟IP机制实现；/n其中，存储服务高可用包括：存储集群管理服务高可用，通过虚拟Zookeeper服务机制和虚拟IP机制实现；数据存储服务高可用，通过双副本冗余存储策略和iSCSI多路径实现。/n

【技术特征摘要】
1.双节点高可用的分布式存储系统，其特征在于，所述系统包括：由主节点和从节点构成的分布式存储集群，每个节点上均部署WEB服务、数据库、Zookeeper服务和存储服务；所述数据库用于为WEB服务提供数据存储服务，所述存储服务用于对外提供数据存储服务；系统中某一节点故障时，整个系统的管理服务和存储服务由另一个节点接管，实现高可用；
其中，管理服务高可用包括：WEB管理服务高可用，通过WEB服务部署方式、主从数据库复制机制以及虚拟IP机制实现；
其中，存储服务高可用包括：存储集群管理服务高可用，通过虚拟Zookeeper服务机制和虚拟IP机制实现；数据存储服务高可用，通过双副本冗余存储策略和iSCSI多路径实现。


2.根据权利要求1所述的双节点高可用的分布式存储系统，其特征在于，所述系统上的WEB服务为无状态并部署为多活模式。


3.根据权利要求1或2所述的双节点高可用的分布式存储系统，其特征在于，所述主从数据库复制机制具体为：主节点开启日志功能将数据库的变更写入二进制日志中，从节点的IO线程同步主节点的二进制日志并写入自身的中继日志中，同时从节点数据库主线程重放中继日志，实现与主节点数据同步。

【专利技术属性】
技术研发人员：方新茂，王伟强，邓超，路朗，杨鸿斌，祁德昊，马若飞，张延超，王文坛，李梦南，
申请(专利权)人：中国船舶重工集团公司第七一六研究所，
类型：发明
国别省市：江苏;32