基于分布式对称文件系统的数据中心架构技术方案

本发明专利技术涉及一种数据中心架构。本发明专利技术的一种基于分布式对称文件系统的数据中心架构，包括若干组服务节点，服务节点包括云存储阵列组、服务器组、存储网络交换机，云存储阵列组、服务器组连接至存储网络交换机；若干组服务节点的存储网络交换机之间依次连接。其通讯过程如下：过程1：服务器向任一云存储阵列发送文件读写请求；过程2：第一云存储阵列接收该请求，并计算该文件所在的目标云存储阵列地址；过程3：第一云存储阵列查询本地缓存，如果已有该文件,则将结果返回给服务器；如果没有该文件,则将所述文件操作请求转发至目标云存储阵列；过程4：目标云存储阵列向第一云存储阵列发送所需要的结果,并由第一云存储阵列将结果返回给服务器。

【技术实现步骤摘要】

本专利技术涉及一种数据中心架构，具体涉及一种基于分布式对称文件系统的数据中心架构。
技术介绍
云计算是网格计算、分布式计算、并行计算、效用计算、网络存储、虚拟化、负载均衡等传统计算机和网络技术发展融合的产物。事实上，许多云计算部署依赖于计算机集群(但与网格的组成、体系机构、目的、工作方式大相径庭)，也吸收了自主计算和效用计算的特点。通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。目前,云计算在中国的实现通常分三步走,首先是IDCXInternet Data Center,互联网数据中心)服务器托管，然后是服务虚拟化，在操作客户端安装虚拟机来远程登录托管中心的服务器，最后用后端云计算实现云服务。其中，作为实现云计算的第一步，IDC服务器托管是非常重要的一个环节。IDC服务器托管中，由于用户的需求不断提高，使得IDC机房机柜不断增加并扩容，目前全国IDC机房机柜数量超过百万，仅上海一市，IDC机柜就超过3万个，托管服务器超过30万台。现有IDC服务器托管的方式中，一般采用的是存储阵列统一放在一个机柜上，该机柜上还设有存储网络交换机，该存储网络交换机与每一个存储阵列通过有线的方式连接；服务器放在另外的机柜上，所有的服务器均通过有线的方式连接到存储网络交换机。上述方式中，如果是小流量的数据，其布线相对较为容易，如图1所示。但是对于大流量的数据，一般采用如2所示的布线，其麻花式的布线非常复杂，除了给施工和维护人员带来极大的不方便意外，也给大流量数据的读取和存储也带来了速度方面的困扰，如果服务器I需要服务器2上的数据，其数据流向如图2所示，服务器I先通过存储网络交换机连接到服务器2，然后服务器2通过存储网络交换机找到相应的存储阵列，然后再将该存储阵列上存储的信息通过存储网络交换机发送至服务器I。上述过程需要经过三级的过程才能实现数据的传输，当传输的数据量大时，在现有的带宽条件下，其传输速度非常受到影响。另外，现有的存储阵列上一般使用非对称式文件系统。其架构如图3所示，非对称式文件系统的一般包括计算节点client、独立的集中式元数据服务模块MDS以及至少两个对象存储节点。使用非对称式文件系统时，计算节点client首先询问元数据服务模块MDS所需要的数据在哪个对象存储节点上，元数据服务模块MDS查询后进行回复，例如回复该数据在对象存储节点I上，然后计算节点client访问对象存储节点I并获得数据。上述过程需要元数据服务模块MDS的应答和回复，给元数据服务模块MDS带来一定的负担，且限制了存储阵列的可靠性。另外，由于非对称式文件系统的性质，使得扩展对象存储节点时，必须成对的扩展，而不能任意扩展。
技术实现思路
本专利技术所要解决的技术问题是，提供一种基于分布式对称文件系统的数据中心架构，对现有托管服务器的架构进行改进，采用小流量布线方法实现大流量服务，去除了麻花布线，提高服务器之间的数据传输速度。为了解决上述技术问题，本专利技术所采用的技术方案是，一种基于分布式对称文件系统的数据中心架构，其包括若干组服务节点，服务节点包括设有分布式元数据服务模块DMDS的云存储阵列组、作为计算节点的服务器组、用于通讯的存储网络交换机，所述云存储阵列组、服务器组连接至存储网络交换机；若干组服务节点的存储网络交换机之间依次连接；所述云存储阵列组包括至少一个云存储阵列，所述服务器组包括至少一台服务器。其中，其通讯过程如下: 过程1:服务器向任一云存储阵列发送文件读写请求(基于NFS，CIFS，FTP等协议)，将该云存储阵列记为第一云存储阵列；所述数据操作请求包括文件目录、文件名称和具体操作； 过程2:第一云存储阵列的分布式元数据服务模块DMDS接收所述文件操作请求，根据文件目录和文件名称计算出该文件所在的目标云存储阵列地址； 过程3:第一云存储阵列查询本地缓存，如果本地缓存中已有该文件，则对该缓存进行操作后将结果返回给服务器，同时缓存模块异步将数据与目标存储阵列进行同步；如果第一云存储阵列没有该文件的本地缓存，则第一云存储阵列将所述文件操作请求通过标准网络协议(如RPC / TCP / IP)转发至目标云存储阵列； 过程4:目标云存储阵列对本地存储进行操作后向第一云存储阵列发送所需要的结果，并由第一云存储阵列将结果返回给服务器。进一步的，所述过程2中，具体是采用HASH算法根据文件目录和文件名称的字符码计算出该文件的数码特征值，并用该数码特征值对存储服务器数量取模，得到所在的目标云存储阵列地址；同时记录其计算出来的HASH值。更进一步的，过程3中，第一云存储阵列用过程2中计算的HASH值查询本地缓存，该缓存用过程2中计算的HASH值做分类，并用目录名和文件名做标记。更进一步的，过程3中，缓存模块异步将数据与目标存储阵列进行同步时，首先缓存模块将被同步文件分块锁定，并对其进行标识；然后分块对比被同步文件是否有更改；如果有更改，则将最新的更改发到目标存储阵列，目标存储阵列确认操作完成后将被同步文件解锁；如果没有更改，则目标存储阵列直接将被同步文件解锁。上述架构中，为了方便使用，对应连接的一云存储阵列组、一服务器组以及一存储网络交换机放置于同一个机架上，相邻机架之间通过存储网络交换机进行通讯。本专利技术通过上述架构，采用了基于分布式对称文件系统的云存储阵列，实现采用小流量布线方法即可实现大流量服务，从而去除了麻花布线；同时，分布式元数据服务模块DMDS根据文件目录和文件名称采用HASH算法自动计算出服务器所操作的目标云存储阵列，在第一次操作时自动将服务转接给该目标云存储阵列并建立本地缓存，从而实现了文件透明分布式存放和服务器就近访问的统一，不仅大大提高了服务器与存储阵列之间的数据传输速度，还实现了数据流向的分散化，进而提供最大限度的聚合数据带宽。还有，缓存模块异步将数据与目标存储阵列进行同步时，首先缓存模块将被同步文件分块锁定，并对其进行标识，然后分块对比被同步文件是否有更改，如果有更改则进行同步操作，没有更改则不需要再进行同步操作，上述操作不仅大大节约了数据带宽，还节约了操作时间。另夕卜，由于采用了分布式对称文件系统，在扩展存储容量时，不再需要进行成对的扩展，而可以任意数量的扩展。附图说明图1是现有技术的服务器托管中的小流量的数据中心架构； 图2是现有技术的服务器托管中的大流量的数据中心架构； 图3是非对称式文件系统的架构示意 图4是本专利技术的服务器托管的数据中心架构。具体实施例方式现结合附图和具体实施方式对本专利技术进一步说明。本专利技术的一种基于分布式对称文件系统的数据中心架构，其包括若干组服务节点，服务节点包括设有分布式元数据服务模块DMDS的云存储阵列组、作为计算节点的服务器组、用于通讯的存储网络交换机，所述云存储阵列组、服务器组连接至存储网络交换机；若干组服务节点的存储网络交换机之间依次连接；所述云存储阵列组包括至少一个云存储阵列，所述服务器组包括至少一台服务器。通常，每个服务节点设于一个机架上。其通讯过程如下: 过程1:服务器向任一云存储阵列发送文件读写请求(基于NFS，CIFS，FTP等协议)，将该云存本文档来自技高网...

【技术保护点】
一种基于分布式对称文件系统的数据中心架构，其特征在于：其包括若干组服务节点，服务节点包括设有分布式元数据服务模块DMDS的云存储阵列组、作为计算节点的服务器组、用于通讯的存储网络交换机，所述云存储阵列组、服务器组连接至存储网络交换机；若干组服务节点的存储网络交换机之间依次连接；所述云存储阵列组包括至少一个云存储阵列，所述服务器组包括至少一台服务器；其通讯过程如下：过程1：服务器向任一云存储阵列发送文件读写请求，将该云存储阵列记为第一云存储阵列；所述数据操作请求包括文件目录、文件名称和具体操作；?过程2：第一云存储阵列的分布式元数据服务模块DMDS接收所述文件操作请求，根据文件目录和文件名称计算出该文件所在的目标云存储阵列地址；过程3：第一云存储阵列查询本地缓存，如果本地缓存中已有该文件,则将结果返回给服务器，同时缓存模块异步将数据与目标存储阵列进行同步；如果第一云存储阵列没有该文件的本地缓存,则第一云存储阵列将所述文件操作请求通过标准网络协议转发至目标云存储阵列；过程4：目标云存储阵列对本地存储进行操作后向第一云存储阵列发送所需要的结果,并由第一云存储阵列将结果返回给服务器。

【技术特征摘要】
1.一种基于分布式对称文件系统的数据中心架构，其特征在于: 其包括若干组服务节点，服务节点包括设有分布式元数据服务模块DMDS的云存储阵列组、作为计算节点的服务器组、用于通讯的存储网络交换机，所述云存储阵列组、服务器组连接至存储网络交换机； 若干组服务节点的存储网络交换机之间依次连接； 所述云存储阵列组包括至少一个云存储阵列，所述服务器组包括至少一台服务器； 其通讯过程如下: 过程1:服务器向任一云存储阵列发送文件读写请求，将该云存储阵列记为第一云存储阵列；所述数据操作请求包括文件目录、文件名称和具体操作； 过程2:第一云存储阵列的分布式元数据服务模块DMDS接收所述文件操作请求，根据文件目录和文件名称计算出该文件所在的目标云存储阵列地址； 过程3:第一云存储阵列查询本地缓存，如果本地缓存中已有该文件，则将结果返回给服务器，同时缓存模块异步将数据与目标存储阵列进行同步；如果第一云存储阵列没有该文件的本地缓存，则第一云存储阵列将所述文件操作请求通过标准网络协议转发至目标云存储阵列； 过程4:目标云存储阵列对本地存储进行操作后向第一云存储阵列发送所需要的结果，并由第一云存储阵列将结果返回...

【专利技术属性】
技术研发人员：黄剑，吴江，
申请(专利权)人：赛凡信息科技厦门有限公司，
类型：发明
国别省市：