【技术实现步骤摘要】
一种读数据方法、写数据方法及服务器
本申请实施例涉存储领域，尤其涉及一种读数据方法、写数据方法及服务器。
技术介绍
当今企业大数据平台承载的数据量及业务数量越来越大，企业的Hadoop集群的规模也越来越大，企业更倾向于采用单集群模式建设Hadoop集群。此外，还可以Hadoop集群部署多个数据中心(datacenter，DC)以承载大规模的数据和业务。现有Hadoop集群中一个数据的所有副本，只存储在某一个DC内。例如，文件1的所有副本只存储在DC1，文件2的所有副本只均存储在DC2。此外，为保证数据本地化，避免跨DC访问副本，为客户端的读数据请求分配的另一种资源协调者(yetanotherresourcenegotiator，YARN)应用程序(application)只同一个DC上运行。如果Hadoop集群中某个DC发生故障后，该DC上正在运行YARNapplicatio终断，客户端的请求得不到响应。此外，该DC上的数据不可读写，等该DC完全恢复后，大部分数据均丢失，可靠性难以保证。专利技...
【技术保护点】
1.一种读数据方法，其特征在于，包括：/n资源管理服务器从客户端接收读数据请求，所述读数据请求用于请求多个文件；/n所述资源管理服务器从第一数据中心读取目标数据的副本，所述目标数据包括所述多个文件中不同文件的数据；其中，所述第一数据中心为存储所述目标数据的副本的多个数据中心中数据本地化最高的数据中心，所述数据本地化用于指示数据中心存储的目标数据的副本与所述目标数据的接近程度；/n所述资源管理服务器向所述客户端发送从所述第一数据中心读取的所述目标数据的副本。/n
【技术特征摘要】
1.一种读数据方法，其特征在于，包括：
资源管理服务器从客户端接收读数据请求，所述读数据请求用于请求多个文件；
所述资源管理服务器从第一数据中心读取目标数据的副本，所述目标数据包括所述多个文件中不同文件的数据；其中，所述第一数据中心为存储所述目标数据的副本的多个数据中心中数据本地化最高的数据中心，所述数据本地化用于指示数据中心存储的目标数据的副本与所述目标数据的接近程度；
所述资源管理服务器向所述客户端发送从所述第一数据中心读取的所述目标数据的副本。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述资源管理服务器根据所述多个文件的目录信息确定存储所述目标数据的副本的所述多个数据中心，所述读数据请求携带所述目标数据的目录信息；
所述资源管理服务器计算所述多个数据中心存储的目标数据的副本分别与所述目标数据的接近程度，将存储的目标数据的副本最接近所述目标数据的数据中心确定为所述第一数据中心。
3.根据权利要求1或2所述的方法，其特征在于，所述方法还包括：
在所述第一数据中心出现故障时，所述资源管理服务器从第二数据中心读取所述目标数据的副本，其中，所述第二数据中心为所述多个数据中心中除所述第一数据中心外数据本地化最高的数据中心；
所述资源管理服务器向所述客户端发送从所述第二数据中心读取的所述目标数据的副本。
4.根据权利要求1-3任一项所述的方法，其特征在于，所述目标数据的副本为存储在所述客户端所在的数据中心的副本。
5.一种写数据方法，其特征在于，包括：
名称管理服务器从客户端接收写数据请求，所述写数据请求携带目标数据；
所述名称管理服务器根据所述目标数据将所述目标数据的副本写入多个数据中心。
6.根据权利要求5所述的方法，其特征在于，所述名称管理服务器根据所述目标数据将所述目标数据的副本写入多个数据中心，包括：
所述名称管理服务器在所述客户端所在的数据中心写入第一个所述目标数据的副本。
7.根据权利要求5或6所述的方法，其特征在于，所述方法还包括：
在所述目标数据的副本实际分布的数据中心与副本放置策略指示的所述多个数据中心不一致时，所述名称管理服务器将所述目标数据的副本调整到所述副本放置策略指示的所述多个数据中心。
8.一种资源管理服务器，其特征在于，包括：
收发单元，用于从客户端接收读数据请求，所述读数据请求用于请求多个文件；
处理单元，用于从第一数据中心读取目标数据的副本，所述目标数据包括所述多个文件中不同文件的数据；其中，所述第一数据中心为存储所述目标数据的副本的多个数据中心中数据本地化最高的数据中心，所述数据本地化用于...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。