一种跨网络实时双向同步的磁盘存储系统技术方案

本发明专利技术公开了一种跨网络实时双向同步的磁盘存储系统，涉及数据处理技术领域，包括：DRBD虚拟盘创建模块：用于对各存储服务节点安装和配置DRBD服务，并创建DRBD虚拟盘；节点角色定义模块：用于对各存储服务节点安装和配置Keepalived服务，并标记存储服务节点为主节点或从节点，还用于根据节点角色定义DRBD虚拟盘的角色为主DRBD虚拟盘和从DRBD虚拟盘；数据同步模块：用于将存储至主DRBD虚拟盘的数据备份至从DRBD虚拟盘中；虚拟IP管理模块：用于为主节点分配虚拟IP地址，通过Keepalived管理虚拟IP地址，保持虚拟IP地址始终位于存活的主节点，当主节点不可访问时，自动将从节点定义为主节点。本发明专利技术解决了现有的存储方法出现主从数据存储不同步、价格昂贵以及提升系统复杂度的问题。

【技术实现步骤摘要】
一种跨网络实时双向同步的磁盘存储系统
本专利技术涉及数据处理
，特别涉及一种跨网络实时双向同步的磁盘存储系统。
技术介绍
随着线上用户的日益增多，以及跨地域之间网络的差异，越来越多的企业通过建设多个机房来为不同区域的用户提供服务，通过这种方式，不仅减少了用户响应时间，也减轻了线上服务的压力。目前跨机房架构多采用为主备机房的部署方式对外提供服务，在正常工作时，主机房对外提供服务，备机房处于待机状态，主机房周期性将业务数据同步至备机房。当主机房出现故障，无法继续对外提供服务后，备机房则进入运行状态，以继续提供相关服务。目前的跨机房的数据同步存储主要有以下三种思路：一、应用层实现：将数据向多个目标地址写入，采用这种方式会涉及到对应用层的改造，提升系统的复杂度。二、后端系统层中间件实现：采用操作系统层文件同步工具实现对数据的同步存储，例如采用linux系统下的数据镜像备份工具rsync来实现，但是这种方式最常遇到的问题是文件延迟同步，并且会出现主从并不同步的情况。三、基于硬件设备实现：采用独立存储实现的基于块设备的镜像复制，这种方式的可靠性比较有保障，但价格较为昂贵，而且对外部环境比如网络宽带等依赖较高。
技术实现思路
本专利技术意在提供一种跨网络实时双向同步的磁盘存储系统，以解决现有的存储方法出现主从数据存储不同步以及提升系统复杂度的问题。为解决上述技术问题，本专利技术提供的基础方案如下：一种跨网络实时双向同步的磁盘存储系统，包括：DRBD虚拟盘创建模块：用于对各存储服务节点安装和配置DRBD服务，并创建DRBD虚拟盘；节点角色定义模块：用于对各存储服务节点安装和配置Keepalived服务，并标记存储服务节点为主节点或从节点，还用于根据节点角色定义DRBD虚拟盘的角色为主DRBD虚拟盘或从DRBD虚拟盘；数据同步模块：用于将存储至主DRBD虚拟盘的数据备份至从DRBD虚拟盘中；虚拟IP管理模块：用于为主节点分配虚拟IP地址，通过Keepalived管理虚拟IP地址，保持虚拟IP地址始终位于存活的主节点，当主节点不可访问时，自动将从节点定义为主节点；异常情况监听模块：用于监听各个存储服务节点存储的数据是否存在异常情况，并将是否存在异常情况的信息发信给处理模块；处理模块：当接收到存在异常情况的信息时，启动节点角色判断模块判断当前存储服务节点的角色；节点角色判断模块：判断当前存储服务节点的角色，若当前存储服务节点为主节点时，则启动虚拟IP漂移模块和加密模块；若当前存储服务节点为从节点时，则不启动虚拟IP漂移模块，直接启动加密模块；虚拟IP漂移模块，用于将虚拟IP漂移至从节点，并将从节点切换为主节点；加密模块，用于对该存储服务节点中存储的数据进行加密。名词解释：存储服务节点：代表存储服务器。基础方案的工作原理：通过对各存储服务器安装和配置DRBD软件，来获得DRBD在系统层的服务，主要是对底层的物理磁盘设备进行封装，虚拟出DRBD虚拟盘供文件系统访问，再对各存储服务节点安装和配置Keepalived软件，并选择一个存储服务节点标记为主节点，其余的存储服务节点为从节点。通过数据同步模块能够让主节点的数据备份至从节点中，让一台存储服务器的DRBD虚拟盘中的数据能够镜像到网络中另外一台存储服务器的DRBD虚拟盘中，也就实现了网络间不同节点的存储服务器数据的备份。虚拟IP管理模块为主节点分配虚拟IP地址，通过Keepalived软件管理虚拟IP地址，保持虚拟IP地址始终位于主节点，当主节点不可访问时，自动将从节点定义为主节点，主节点和从节点身份的切换，实现了主节点和从节点之间数据的双向同步存储，从而应用服务器可通过该虚拟IP地址访问到主节点或者从节点存储的数据。基础方案的有益效果为：通过DRBD结合Keepalived服务的方案，能够实现跨网络的存储服务器之间的数据的备份，保障了数据的有效存储，并且通过Keepalived实现了主从节点间身份的切换，让虚拟IP地址始终绑定在存活的主节点上，保障了数据主从双向同步存储，当主节点出现故障不可访问时，由于从节点切换为主节点，所以应用服务器还是能够通过虚拟IP访问数据，并且整个过程对应用系统来说是透明和无感知的，所以不需要对应用系统做任何切换或改造，降低了应用系统实现的复杂度；在同一时间，只有一个节点执行读写操作，另外的节点处于冷备状态，降低了设备投资的成本，节省了通信费用，降低了对通信环境的要求。通过异常情况监听模块来判断是否有盗取数据的行为，实现了对存储在服务器中的数据的保护，当有异常情况或入侵者时，处理模块启动节点角色判断模块判断当前存储服务器的角色，若为主节点，处理模块启动IP漂移模块、加密模块，IP漂移模块是为了将该主节点的身份转移至其他从节点，从而仅对该存储服务器中存储的数据加密，新的主节点和其他从节点不会对数据进行加密，不会影响到其他从节点，应用服务器可正常通过虚拟IP访问数据，从而保证了其他存储服务器的正常运转；当为从节点时，则直接启动加密模块，加密模块进对当前从节点进行加密处理，不会影响到主节点和其他从节点，从而也保证了数据的正常存储和访问；无论当前存储服务器是主节点还是从节点，都要启动加密模块，加密模块是为了扰乱数据，避免非法人员盗取数据，应急防御模块是为了警告入侵者或者提醒相关工作人员有偷盗数据的非法行为，以避免损失的进一步扩大。进一步，所述DRBD虚拟盘创建模块包括：磁盘分区子模块：用于对各存储服务节点安装和配置DRBD服务，还用于对物理磁盘进行分区，并对磁盘分区进行初始化；封装子模块：用于将初始化的磁盘分区进行封装；创建子模块：用于对封装后的磁盘分区创建DRBD虚拟盘，还用于对各个DRBD虚拟盘创建文件系统。文件系统用于管理存储在DRBD虚拟盘中的文件，当需要读写数据时，文件系统对封装后的DRBD虚拟盘进行读写，而不直接读写磁盘分区，从而当操作者需要向作为主节点的存储服务器中的主DRBD虚拟盘写入数据时，能够同步地将数据写入作为从节点的从DRBD虚拟盘中，通过对磁盘分区进行封装，能够让DRBD虚拟盘实现更多的功能。进一步，所述节点角色定义模块包括：安装配置子模块：用于对各存储服务节点安装和配置Keepalived服务；标记子模块：用于通过Keepalived服务的竞选机制来确定主节点和从节点，并对主节点和从节点进行标记；DRBD虚拟盘角色定义模块：用于根据节点角色定义DRBD虚拟盘的角色为主DRBD虚拟盘和从DRBD虚拟盘。Keepalived高可用对之间是通过VRRP进行通信，VRRP是通过竞选协议机制来确定主节点和从节点，主节点的优先级高于从节点，因此，工作时主节点会优先获得所有的资源，从节点则处于等待状态，降低了设备投资的成本。进一步，所述数据同步模块根据内置的C型完全同步协议保持主DRBD虚拟盘和从DRBD虚拟盘数据的一致性。C型完全同步协议是DRBD的一种工作模式，只有在主DRBD虚拟盘和从DRBD虚拟盘已经确认了写操作完成时，写才被认为完成。采用该种模式可以防止本地和远端数据丢失和不一致。进一步，所述虚拟IP管理模块包括：虚拟IP分配子模块：用于为主节点分配虚拟IP地址；心跳检测子模块：用于对各存储服务节点进行心跳检测，判断主节点是否存活本文档来自技高网...

【技术保护点】
1.一种跨网络实时双向同步的磁盘存储系统，其特征在于，包括：DRBD虚拟盘创建模块：用于对各存储服务节点安装和配置DRBD服务，并创建DRBD虚拟盘；节点角色定义模块：用于对各存储服务节点安装和配置Keepalived服务，并标记存储服务节点为主节点或从节点，还用于根据节点角色定义DRBD虚拟盘的角色为主DRBD虚拟盘或从DRBD虚拟盘；数据同步模块：用于将存储至主DRBD虚拟盘的数据备份至从DRBD虚拟盘中；虚拟IP管理模块：用于为主节点分配虚拟IP地址，通过Keepalived管理虚拟IP地址，保持虚拟IP地址始终位于存活的主节点，当主节点不可访问时，自动将从节点定义为主节点；异常情况监听模块：用于监听各个存储服务节点存储的数据是否存在异常情况，并将是否存在异常情况的信息发信给处理模块；处理模块：当接收到存在异常情况的信息时，启动节点角色判断模块判断当前存储服务节点的角色；节点角色判断模块：判断当前存储服务节点的角色，若当前存储服务节点为主节点时，则启动虚拟IP漂移模块和加密模块；若当前存储服务节点为从节点时，则不启动虚拟IP漂移模块，直接启动加密模块；虚拟IP漂移模块，用于将虚拟IP漂移至从节点，并将从节点切换为主节点；加密模块，用于对该存储服务节点中存储的数据进行加密。...

【技术特征摘要】
1.一种跨网络实时双向同步的磁盘存储系统，其特征在于，包括：DRBD虚拟盘创建模块：用于对各存储服务节点安装和配置DRBD服务，并创建DRBD虚拟盘；节点角色定义模块：用于对各存储服务节点安装和配置Keepalived服务，并标记存储服务节点为主节点或从节点，还用于根据节点角色定义DRBD虚拟盘的角色为主DRBD虚拟盘或从DRBD虚拟盘；数据同步模块：用于将存储至主DRBD虚拟盘的数据备份至从DRBD虚拟盘中；虚拟IP管理模块：用于为主节点分配虚拟IP地址，通过Keepalived管理虚拟IP地址，保持虚拟IP地址始终位于存活的主节点，当主节点不可访问时，自动将从节点定义为主节点；异常情况监听模块：用于监听各个存储服务节点存储的数据是否存在异常情况，并将是否存在异常情况的信息发信给处理模块；处理模块：当接收到存在异常情况的信息时，启动节点角色判断模块判断当前存储服务节点的角色；节点角色判断模块：判断当前存储服务节点的角色，若当前存储服务节点为主节点时，则启动虚拟IP漂移模块和加密模块；若当前存储服务节点为从节点时，则不启动虚拟IP漂移模块，直接启动加密模块；虚拟IP漂移模块，用于将虚拟IP漂移至从节点，并将从节点切换为主节点；加密模块，用于对该存储服务节点中存储的数据进行加密。2.根据权利要求1所述的跨网络实时双向同步的磁盘存储系统，其...

【专利技术属性】
技术研发人员：李丙洋，
申请(专利权)人：重庆富民银行股份有限公司，
类型：发明
国别省市：重庆,50