一种新型集群存储缓存数据同步实现方法技术

本发明专利技术涉及一种新型集群存储缓存数据同步实现方法，该方法通过在集群存储间部署用于缓存数据同步的节点间同步网络，以建立集群存储节点间缓存数据同步的链路通道，而各集群存储节点内的写缓存又依据创建的集群卷或文件系统来划分缓存空间，使得每个集群存储节点上都会集群卷或文件系统的写缓存和写镜像缓存，且随着集群卷或文件系统的数量增加，集群卷或文件系统的写缓存和写镜像缓存会通过统一缓存管理算法均匀的分布于各们集群存储节点内。

A new method for data synchronization of cluster memory cache

The invention relates to a new method to realize the synchronization of cluster storage cache data, by means of the method of deployment in cluster storage for caching data synchronization between nodes to establish synchronization network, cluster storage nodes cache data synchronization channel link, and write cache storage node in each cluster based on cluster file system to create a volume or dividing the cache space, so that each cluster node will cluster storage volume or file system write cache and write image cache, and with the number of cluster volume or file system increases, cluster volume or file system write cache and write image cache through distributed unified cache management algorithm in each cluster storage uniform node.

【技术实现步骤摘要】
一种新型集群存储缓存数据同步实现方法
本专利技术专利涉及计算机集群存储领域。
技术介绍
集群存储是有别于传统的SAN和NAS的一种新的存储架构。传统的SAN与NAS分别提供的是数据块与文件两个不同级别的存储架构，而集群存储是主要面向文件级别的存储系统。集群存储是将多台存储设备中的存储空间聚合成一个能够给应用服务器提供统一访问接口和管理界面的存储池，应用可以通过该访问接口透明地访问和利用所有存储设备上的磁盘，可以充分发挥存储设备的性能和磁盘利用率。数据将会按照一定的规则从多台存储设备上存储和读取，以获得更高的并发访问性能。一旦遇到存储系统的瓶颈，就会有两种选择：一是：采用硬件更加强大的单个存储系统；二是：采用若干个普通性能的存储系统来组成“存储的集群”。“集群”作为一项已被广泛使用的体系结构，如果采用到存储上组成“集群存储”，就可提供按比例增加的存储资源的性能、容量、可靠性及可用性，突破了单机设备的种种限制。一般集群存储扩展起来非常方便，像搭积木一样进行存储的扩展。特别是对于那些对数据增长趋势较难预测的用户，可以先购买一部分存储，当有需求的时候，随时添加，而不会影响现有存储的使用。集群存储的操作都经由分布式操作系统统一调度和分发，分散到集群存储各个存储节点上完成。使用分布式操作系统带来的好处是各节点之间没有任何区别，没有主次、功能上的区别，所有存储节点功能完全一致，这样才能真正做到性能最优。集群存储通过分布式操作系统的作用，会在前端和后端都实现负载均衡。前端访问集群存储的操作，通过几种负载均衡策略，将访问分散到集群存储的各个存储节点上。后端访问数据，通过开放式的架构和后端网络，数据会分布在所有节点上进行存放和读取。专利技术专利内容本专利技术专利涉及一种新型集群存储缓存数据同步实现方法，该方法通过在集群存储间部署用于缓存数据同步的节点间同步网络，以建立集群存储节点间缓存数据同步的链路通道，而各集群存储节点内的写缓存又依据创建的集群卷或文件系统来划分缓存空间，使得每个集群存储节点上都会集群卷或文件系统的写缓存和写镜像缓存，且随着集群卷或文件系统的数量增加，集群卷或文件系统的写缓存和写镜像缓存会通过统一缓存管理算法均匀的分布于各们集群存储节点内。该方法集群存储节点的写缓存和写镜像缓存是按512KB为大小进行划分，集群卷或文件系统的写缓存数据会依据业务访问数据大小进行实时同步至相应的写镜像缓存内，如集群卷或文件系统的写缓存数据超过512KB未完成同步，则集群存储系统会检测该集群卷或文件系统的副本集群存储节点的状态是否正常，如状态正常则会先同步完512KB的写缓存数据再进行业务访问数据下发至写缓存，如状态不正常则会踢掉副本集群存储节点进行单集群存储节点使用，集群存储管理系统进行报警，以修复副本集群存储节点。附图说明图1为本专利技术专利的一种新型集群存储缓存数据同步实现方法结构示意图。具体实施方式为了使本专利技术专利的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术专利进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术专利，并不用于限定本专利技术专利。请参阅图1，图1为本专利技术专利的一种新型集群存储缓存数据同步实现方法结构示意图。一种新型集群存储缓存数据同步实现方法，其特征在于，所述方法包含集群存储节点间同步网络设备（10）、集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）、集群存储节点间同步网络线缆c（11c）、集群存储节点a（12a）、集群存储节点b（12b）、集群存储节点c（12c）、集群存储节点a缓存（15a）、集群存储节点b缓存（15b）、集群存储节点c缓存（15c）、集群存储节点a写缓存（13a）、集群存储节点b写缓存（13b）、集群存储节点c写缓存（13c）、集群存储节点a写镜像缓存（14a）、集群存储节点b写镜像缓存（14b）、集群存储节点c写镜像缓存（14c），集群存储节点a（12a）、集群存储节点b（12b）和集群存储节点c（12c）通过集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）和集群存储节点间同步网络线缆c（11c）连接至集群存储节点间同步网络设备（10）以建立缓存同步链路通道，集群存储节点a缓存（15a）划分为集群存储节点a写缓存（13a）和集群存储节点a写镜像缓存（14a）、集群存储节点b缓存（15b）划分为集群存储节点b写缓存（13b）和集群存储节点b写镜像缓存（14b）、集群存储节点c缓存（15c）划分为集群存储节点c写缓存（13c）和集群存储节点c写镜像缓存（14c）。一种新型集群存储缓存数据同步实现方法，其特征在于，该方法将集群存储节点a（12a）、集群存储节点b（12b）和集群存储节点c（12c）共3个集群存储节点组成的一个集群存储管理系统，而集群存储管理系统支持的集群存储节点为3~31个的奇数个数。一种新型集群存储缓存数据同步实现方法，其特征在于，该方法集群存储管理系统创建的集群卷或文件系统如副本数为2，则缓存由集群存储节点a写缓存（13a）和集群存储节点b写镜像缓存（14b）组成，集群卷或文件系统的业务访问数据缓存到集群存储节点a写缓存（13a）的时候，同时会将集群存储节点a写缓存（13a）的缓存数据镜像一份至集群存储节点b写镜像缓存（14b）中，同时集群存储管理系统创建的集群卷或文件系统支持副本数2和3两种可选。一种新型集群存储缓存数据同步实现方法，其特征在于，该方法集群存储节点a（12a）的集群存储节点a写缓存（13a）和集群存储节点a写镜像缓存（14a）是按512KB为大小进行划分，如集群存储管理系统创建的集群卷或文件系统的集群存储节点a写缓存（13a）数据超过512KB未完成同步，则集群存储系统会检测该集群卷或文件系统的集群存储节点b（12b）的状态是否正常，如状态正常则会先同步完512KB的集群存储节点a写缓存（13a）数据再进行业务访问数据下发至集群存储节点a写缓存（13a），如状态不正常则会踢掉集群存储节点b（12b）进行集群存储节点a（12a）单集群存储节点使用，集群存储管理系统进行报警，以修复集群存储节点b（12b）。以上所述仅为本专利技术专利的较佳实施例而已，并不用以限制本专利技术专利，凡在本专利技术专利的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本专利技术专利的保护范围之内。本文档来自技高网...

【技术保护点】
一种新型集群存储缓存数据同步实现方法，其特征在于，所述方法包含集群存储节点间同步网络设备（10）、集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）、集群存储节点间同步网络线缆c（11c）、集群存储节点a（12a）、集群存储节点b（12b）、集群存储节点c（12c）、集群存储节点a缓存（15a）、集群存储节点b缓存（15b）、集群存储节点c缓存（15c）、集群存储节点a写缓存（13a）、集群存储节点b写缓存（13b）、集群存储节点c写缓存（13c）、集群存储节点a写镜像缓存（14a）、集群存储节点b写镜像缓存（14b）、集群存储节点c写镜像缓存（14c），集群存储节点a（12a）、集群存储节点b（12b）和集群存储节点c（12c）通过集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）和集群存储节点间同步网络线缆c（11c）连接至集群存储节点间同步网络设备（10）以建立缓存同步链路通道，集群存储节点a缓存（15a）划分为集群存储节点a写缓存（13a）和集群存储节点a写镜像缓存（14a）、集群存储节点b缓存（15b）划分为集群存储节点b写缓存（13b）和集群存储节点b写镜像缓存（14b）、集群存储节点c缓存（15c）划分为集群存储节点c写缓存（13c）和集群存储节点c写镜像缓存（14c）。...

【技术特征摘要】
1.一种新型集群存储缓存数据同步实现方法，其特征在于，所述方法包含集群存储节点间同步网络设备（10）、集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）、集群存储节点间同步网络线缆c（11c）、集群存储节点a（12a）、集群存储节点b（12b）、集群存储节点c（12c）、集群存储节点a缓存（15a）、集群存储节点b缓存（15b）、集群存储节点c缓存（15c）、集群存储节点a写缓存（13a）、集群存储节点b写缓存（13b）、集群存储节点c写缓存（13c）、集群存储节点a写镜像缓存（14a）、集群存储节点b写镜像缓存（14b）、集群存储节点c写镜像缓存（14c），集群存储节点a（12a）、集群存储节点b（12b）和集群存储节点c（12c）通过集群存储节点间同步网络线缆a（11a）、集群存储节点间同步网络线缆b（11b）和集群存储节点间同步网络线缆c（11c）连接至集群存储节点间同步网络设备（10）以建立缓存同步链路通道，集群存储节点a缓存（15a）划分为集群存储节点a写缓存（13a）和集群存储节点a写镜像缓存（14a）、集群存储节点b缓存（15b）划分为集群存储节点b写缓存（13b）和集群存储节点b写镜像缓存（14b）、集群存储节点c缓存（15c）划分为集群存储节点c写缓存（13c）和集群存储节点c写镜像缓存（14c）。2.根据权利要求1所述的一种新型集群存储缓存数据同步实现方法，其特征在于，该方法将集群存储节点a（12a...

【专利技术属性】
技术研发人员：不公告发明人，
申请(专利权)人：长沙开雅电子科技有限公司，
类型：发明
国别省市：湖南,43