访问云数据的方法、服务器、传统存储设备、系统技术方案

本申请公开了一种分布式文件系统中访问云数据的方法，所述分布式文件系统包括服务端和客户端，服务端采集传统存储设备所存储数据对应的元数据并记录；所采集的元数据包括所述传统存储设备所存储的数据的存放路径信息；当客户端请求读取目标云数据时，服务端查找元数据中所述目标云数据的存放路径信息，并将所述目标云数据的存放路径信息返回给所述客户端；如果所述目标云数据的存放路径信息指向所述传统存储设备，则所述客户端从所述传统存储设备获取所述目标云数据。本申请还公开了元数据服务器、传统存储设备及兼容传统数据的云存储架构。利用本发明专利技术，很好地解决了因上传数据而导致的数据访问问题。

【技术实现步骤摘要】
访问云数据的方法、服务器、传统存储设备、系统
本申请涉及云存储技术，尤其涉及分布式文件系统访问云数据的方法、元数据服务器、传统存储设备及兼容传统数据的云存储系统。
技术介绍
企业业务正快速转向云的存储方式。以分布式文件系统(一种云存储系统，所存储的数据非本地直连，需要通过网络协议对其进行访问)为例，图1是系统架构，云存储系统通常包括应用端和服务端，云数据存储于服务端的存储集群中，通过服务端将存储集群的各个不同类型的存储设备集合起来协同工作，共同对外提供数据存储，位于应用端的客户端软件实现业务访问功能。目前，不管是公有云、私有云或者混合云，为了保存云数据，需要将传统存储设备(LegacyStorage)中的数据导入到云存储系统。在企业迁移大量数据时，云服务提供商需要将企业内部存储在传统存储设备上的传统数据上传到云存储系统中。将大量传统数据上传到云存储系统中通常通过以下方式实现：客户端与传统存储设备通信，读取传统存储设备中的传统数据并写入存储集群中，之后当用户访问云数据时，客户端从存储集群中读取目标云数据提供给用户。通常一个4TB硬盘大小的传统存储设备中的数据，以100MB/s的速度拷贝，需要11个小时左右。图2为Amazon列出的一张表，表中列举了不同网络连接速度上传1TB文件所用的时间。可见现有技术数据云存储的方法耗时很长，导致在数据上传到云存储系统的漫长过程中，企业无法对云数据进行访问。
技术实现思路
本申请提供一种分布式文件系统访问云数据的方法、元数据服务器、传统存储设备及兼容传统数据的云存储系统，解决因上传数据而导致的数据访问问题。根据本申请实施例的第一方面，提供一种分布式文件系统中访问云数据的方法，所述分布式文件系统包括服务端和客户端，包括步骤：服务端采集传统存储设备所存储数据对应的元数据并记录；所采集的元数据包括所述传统存储设备所存储的数据的存放路径信息；当客户端请求读取目标云数据时，服务端查找元数据中所述目标云数据的存放路径信息，并将所述目标云数据的存放路径信息返回给所述客户端；如果所述目标云数据的存放路径信息指向所述传统存储设备，则所述客户端从所述传统存储设备获取所述目标云数据。本申请还提供一种元数据服务器，位于分布式文件系统的服务端，包括：数据采集模块，用于采集传统存储设备所存储数据对应的元数据，所采集的元数据包括所述传统存储设备所存储的数据的存放路径信息；元数据存储模块，用于存储所采集的元数据；存储路径路由模块，用于当客户端读取目标云数据时，将所述元数据中目标云数据的存放路径信息发给所述客户端。本申请还提供一种传统存储设备，包括：数据扫描模块，用于扫描并生成所存储的数据的元数据，将所述元数据发给分布式文件系统的服务端；所述元数据包括数据的存放路径信息；传统数据存储模块，用于存储数据；通信模块，用于当收到分布式文件系统的客户端访问云数据的请求时，根据所述请求中的存放路径信息获取相关的数据发给所述客户端。本申请还提供一种兼容传统数据的云存储系统，包括：分布式文件系统和传统存储设备，所述分布式文件系统包括：元数据服务器，用于采集传统存储设备所存储数据对应的元数据并记录，所采集的元数据包括所述传统存储设备所存储的数据的存放路径信息；以及当客户端请求读取目标云数据时，查找所述目标云数据的存放路径信息，并将所读取的云数据的存放路径信息返回给所述客户端；客户端，用于向所述元数据服务器请求读取目标云数据，以及当所述元数据服务器所返回的存放路径信息指向所述传统存储设备时，从所述传统存储设备获取所述云数据；所述传统存储设备包括：数据扫描模块，用于扫描并生成所存储的数据的元数据，将所述元数据发给分布式文件系统的元数据服务器；所述元数据包括数据的存放路径信息；传统数据存储模块，用于存储数据；通信模块，用于当收到分布式文件系统的客户端访问云数据的请求时，根据所述请求中的存放路径信息获取相关的数据发给所述客户端。现有技术中，存储在传统存储设备上的传统数据需要上传到云存储系统中的存储集群中方能在云存储系统提供云服务时被访问，而传统数据上传时间漫长且上传过程会妨碍用户对数据的访问，本申请通过云服务系统采集传统存储设备的元数据并记录，无需将传统存储设备中的数据上传到云服务系统，当客户端请求读取云数据时，如果访问的云数据被存储于传统存储设备中，则直接从传统存储设备中获取数据，可见本申请突破性的将传统存储设备伪装成云存储系统中的一个存储设备，将传统数据成功的变成了可以通过客户端访问的云数据，成功解决了因上传数据而导致的数据访问问题。附图说明图1为现有技术中传统数据上传云存储系统的示意图；图2为现有技术上传数据的耗时统计表；图3为本申请实施例中兼容传统数据的云存储系统下访问数据的示意图；图4为本申请实施例中访问云存储数据的流程图；图5为本申请实施例中写入云数据的流程图；图6为本申请实施例中一个应用场景下兼容传统数据的云存储系统下访问数据的示意图；图7为本申请实施例中元数据服务器的硬件结构图；图8为本申请实施例中元数据服务器的结构逻辑框图；图9为本申请实施例中传统存储设备的工作原理流程图；图10为本申请实施例中传统存储设备的硬件结构图；图11为本申请实施例中传统存储设备的内部结构逻辑框图；图12为一应用实例中向传统存储设备采集元数据的流程图；图13为一应用实例中读取云数据的流程图；图14为一应用实例中写入云数据的流程图。具体实施方式这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。图3是一个兼容传统数据的云存储架构示意，通常此架构下的云存储系统包括位于应用端的客户端301和服务端302，另外，该网络中还包括位于云存储系统之外的传统存储设备303。通常通过应用端的客户端301软件来实现访问服务端的设备的功能以及访问传统存储设备的功能。现有技术中，云服务提供商需要通过客户端301去访问传统存储设备，将传统数据上传至服务端302，而用户需要通过客户端访问服务端获取所存储的云数据。在图3所示的本申请实施例实现的访问云数据的应用场景中，可以将传统存储设备看作是云存储系统中的一个存储设备，用户可以通过云存储系统的客户端直接访问传统存储设备中的数据，实现此方案的流程图如图4所示。结合图3和图4对本申请中分布式文件系统的工作原理以及本申请分布式文件系统访问云数据的方法进行阐述。S401，本申请实施例中的云存储系统可以是具有分布式元数据服务模型的分布式文件系统，服务端采集传统存储设备所存储的传统数据所对应的元数据，并将所采集的元数据记录在云存储系统的服务端。在本实施例中，在云存储系统中可以存储从传统存储设备采集的元数据，而所采集的元数据所对应的传统数据依然存储于传统存储设备中。元数据(metadata)为描述本文档来自技高网...

【技术保护点】
一种分布式文件系统中访问云数据的方法，所述分布式文件系统包括服务端和客户端，其特征在于，包括步骤：服务端采集传统存储设备所存储数据对应的元数据并记录；所采集的元数据包括所述传统存储设备所存储的数据的存放路径信息；当客户端请求读取目标云数据时，服务端查找元数据中所述目标云数据的存放路径信息，并将所述目标云数据的存放路径信息返回给所述客户端；如果所述目标云数据的存放路径信息指向所述传统存储设备，则所述客户端从所述传统存储设备获取所述目标云数据。

【技术特征摘要】
1.一种分布式文件系统中访问云数据的方法，所述分布式文件系统包括服务端和客户端，其特征在于，包括步骤：服务端采集传统存储设备所存储数据对应的元数据并记录；所采集的元数据包括所述传统存储设备所存储的数据的存放路径信息；当客户端请求读取目标云数据时，服务端查找元数据中所述目标云数据的存放路径信息，并将所述目标云数据的存放路径信息返回给所述客户端；如果所述目标云数据的存放路径信息指向所述传统存储设备，则所述客户端从所述传统存储设备获取所述目标云数据，如果目标云数据的存放路径信息是指向云存储系统的存储集群，则从存储集群中获取所述云数据；其中，存储在传统存储设备上的传统数据无需上传到云存储系统中的存储集群中也能在云存储系统提供云服务时被访问。2.根据权利要求1所述的方法，其特征在于，所采集的元数据还包括文件的MD5值和文件名，服务端记录所采集的元数据之前还包括步骤：根据所述文件的MD5值和文件名判断所采集的元数据是否已存在，如果不存在，则执行记录所采集元数据的步骤。3.根据权利要求2所述的方法，其特征在于，所述方法还包括步骤：所采集的元数据还包括存储位置标识，用于表示元数据所对应的数据存储于传统存储设备或服务端，以供客户端按照所对应存储设备的存储策略写入云数据；当所述客户端请求写入云数据时，判断所述请求中携带的文件名是否已存在；如果所述文件名不存在，则所述服务端分配存放路径，将所述客户端写入的云数据在所述服务端进行存储；如果所述文件名已存在，则所述服务端根据所述存储位置标识将所述文件名所对应的存放路径信息发给所述客户端；所述客户端收到继续写入云数据的指令时，所述客户端根据所述文件名所对应的存放路径信息向所述传统存储设备或所述服务端按照所述存储策略写入云数据。4.一种元数据服务器，位于分布式文件系统的服务端，其特征在于，包括：数据采集模块，用于采集传统存储设备所存储数据对应的元数据，所采集的元数据包括所述传统存储设备所存储的数据的存放路径信息；元数据存储模块，用于存储所采集的元数据；存储路径路由模块，用于当客户端读取目标云数据时，将所述元数据中目标云数据的存放路径信息发给所述客户端，其中，如果所述目标云数据的存放路径信息指向所述传统存储设备，则所述客户端从所述传统存储设备获取所述目标云数据，如果目标云数据的存放路径信息是指向云存储系统的存储集群，则从存储集群中获取所述云数据；其中，存储在传统存储设备上的传统数据无需上传到云存储系统中的存储集群中也能在云存储系统提供云服务时被访问。5.根据权利要求4所述的元数据服务器，其特征在于，所采集的元数据还包括文件的MD5值和文件名，所述数据采集模块进一步用于根据所述文件的MD5值和文件名判断所采集的元数据是否已存在，如果不存在，则将所采集的元数据发给所述元数据存储模块。6.根据权利要求5所述的元数据服务器，其特征在于，所述数据采集模块所采集的元数据还包括存储位置标识，用于表示元数据所对应的数据存储于传统存储设备或所述服务端的存储集群，以供客户端按照所对应存储设备的存储策略写入云数据；当所述客户端请求写入云数据时，所述存储路径路由模块判断所述请求中携带的文件名是否已存在；如果所述文件名不存在，则分配存放路径，将所述客户端写入的云数据在所述服务端的存储集群中进行存储；如果所述文件名已存在，则所述存储路径路由模块根据所述存储位置标识将所述文件名所对应的存放路径信息发给所述客户端。7.一种...

【专利技术属性】
技术研发人员：张期莲，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33