分布式硬盘系统及在其中进行数据迁移的方法技术方案

本发明专利技术涉及一种分布式硬盘系统，其包括，一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；多硬盘上各自接口数据控制器，用于连接服务器外置I\O接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系；一硬盘阵列主控器系统，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。本发明专利技术的分布式硬盘系统及在其中进行数据迁移的方法可以有效加快数据文件及目录传输速率以及提高其使用效率。

【技术实现步骤摘要】
【专利摘要】本专利技术涉及一种分布式硬盘系统，其包括，一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；多硬盘上各自接口数据控制器，用于连接服务器外置I\O接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系；一硬盘阵列主控器系统，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。本专利技术的可以有效加快数据文件及目录传输速率以及提高其使用效率。【专利说明】【
】本专利技术涉及大数据存储领域，尤其涉及一种端对端。【
技术介绍
】在超算服务中，数据传输效率是带有普遍性的瓶颈因素。目前的分布式系统中的大数据传输，无论上传还是下载，一般通过单点复制的方式进行。即首先通过某台服务器，以全局拷贝的方式，将原业务系统中分布在各服务器硬盘或硬盘阵列上的相关数据传输到存贮介质上，而在超算端，则需要由另一台数据服务器，完成大数据的读取、上载并分配到超算指定区域。这种多对一、一对多的大规模数据汇聚、处理及复制过程，完全依赖于单台服务器的运算性能及1\0水平，在数据传输过程中，其他运算节点的计算及1\0能力则完全闲置。本专利技术将改变上述传输模式，通过改变数据传输模式，以同步、并行、多对多的数据复制模式，充分利用系统整体的处理能力，使数据的下载及上传效率获得几何增长。【
技术实现思路
】本专利技术要解决的技术问题在于数据库的数据传输速率慢及使用效率低，为此，本专利技术一方面提供一种分布式硬盘系统，其包括，一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；多硬盘上各自接口数据控制器，用于连接服务器外置1\0接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系；一硬盘阵列主控器系统，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。本专利技术还提供一种在所述分布式硬盘系统中进行数据迁移的方法，其特征在于，其包括以下步骤:(一)、将分布式硬盘系统中各硬盘分别连接到源服务器群各服务器数据接口上，由源服务器操作系统进行识别、连接后，通过发布命令将源文件及源目录进行拷贝，过程中由接口数据控制器记录源文件及源目录的名称、大小、数量及其逻辑关系；(二)、将源文件及源目录的名称、大小、数量及逻辑关系向所述硬盘阵列主控器系统汇集，形成完整的源数据描述系统；(三)、将分布式硬盘系统各硬盘并行连接到目标服务器群服务器上，由目标服务器操作系统进行识别、连接后，发布命令对其所携带的源文件及源目录进行拷贝；(四)、读取移动硬盘阵列中的数据特征记录，与源数据系统进行完整性及关系性检验，通过文件目录扫描，并根据数据逻辑关系重建源数据系统。本专利技术的，通过设计多接口的移动式硬盘阵列及其硬盘阵列主控器系统，实现了从分布式文件系统中同步上传、下载数据，从而避免了大数据传输中在上传、下载时单点拷贝的瓶颈因素，可以有效加快数据传输及其使用效率。【【专利附图】【附图说明】】图1为本专利技术一实施例分布式硬盘系统的系统架构示意图。【【具体实施方式】】参考图1所示，本实施例公开的一种分布式硬盘系统，其包括，一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；多硬盘上各自接口数据控制器，用于连接服务器外置1\0接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系；一硬盘阵列主控器系统，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。本专利技术还提供一种在所述分布式硬盘系统中进行数据迁移的方法，其特征在于，其包括以下步骤:(一)、将分布式硬盘系统中各硬盘分别连接到源服务器群各服务器数据接口上，由源服务器操作系统进行识别、连接后，通过发布命令将源文件及源目录进行拷贝，过程中由接口数据控制器记录源文件及源目录的名称、大小、数量及其逻辑关系；(二)、将源文件及源目录的名称、大小、数量及逻辑关系向所述硬盘阵列主控器系统汇集，形成完整的源数据描述系统；(三)、将分布式硬盘系统各硬盘并行连接到目标服务器群服务器上，由目标服务器操作系统进行识别、连接后，发布命令对其所携带的源文件及源目录进行拷贝；(四)、读取移动硬盘阵列中的数据特征记录，与源数据系统进行完整性及关系性检验，通过文件目录扫描，并根据数据逻辑关系重建源数据系统。本专利技术的，通过设计多接口的移动式硬盘阵列及其硬盘阵列主控器系统，实现了从分布式文件系统中同步上传、下载数据，从而避免了大数据传输中在上传、下载时单点拷贝的瓶颈因素，可以有效加快数据传输及其使用效率。以上所述本专利技术的【具体实施方式】，并不构成对本专利技术保护范围的限定。任何根据本专利技术的技术构思所作出的各种其他相应的改变与变形，均应包含在本专利技术权利要求的保护范围内。【权利要求】1.一种分布式硬盘系统,其特征在于:其包括， 一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据； 多硬盘上各自接口数据控制器，用于连接服务器外置1\0接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系； 一硬盘阵列主控器系统，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。2.一种于如权利要求1所述的分布式硬盘系统中进行数据迁移的方法，其特征在于，其包括以下步骤: (一)、将分布式硬盘系统中各硬盘分别连接到源服务器群各服务器数据接口上，由源服务器操作系统进行识别、连接后，通过发布命令将源文件及源目录进行拷贝，过程中由接口数据控制器记录源文件及源目录的名称、大小、数量及其逻辑关系； (二)、将源文件及源目录的名称、大小、数量及逻辑关系向所述硬盘阵列主控器系统汇集，形成完整的源数据描述系统； (三)、将分布式硬盘系统各硬盘并行连接到目标服务器群服务器上，由目标服务器操作系统进行识别、连接后，发布命令对其所携带的源文件及源目录进行拷贝； (四)、读取移动硬盘阵列中的数据特征记录，与源数据系统进行完整性及关系性检验，通过文件目录扫描，并根据数据逻辑关系重建源数据系统。【文档编号】G06F13/16GK104166520SQ201310187468【公开日】2014年11月26日 申请日期:2013年5月20日 优先权日:2013年5月20日 【专利技术者】修文群 申请人:深圳先进技术研究院本文档来自技高网...

【技术保护点】
一种分布式硬盘系统，其特征在于：其包括，一移动式硬盘阵列，拥有多硬盘及其各自并行数据接口连接线，用于存储拷贝数据；多硬盘上各自接口数据控制器，用于连接服务器外置I\O接口，记录拷贝文件及目录的名称、大小、数量及逻辑关系；一硬盘阵列主控器系统，用于控制接口数据控制器，实现数据文件的同步并行上传、下载并记录各硬盘复制文件及目录的名称、大小、数量的总数及其逻辑关系。

【技术特征摘要】

【专利技术属性】
技术研发人员：修文群，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：广东;44