存算分离方法、系统、设备及介质技术方案

本申请公开了存算分离方法、系统、设备及介质，包括：获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件系统，以便所述分布式文件系统处理所述文件请求，并返回相应的处理结果；将所述处理结果返回给所述原生HDFS客户端。这样，兼容HDFS原生协议，在大数据存储服务中实现HDFS原生协议进行文件请求处理，替换Hadoop大数据生态中计算平台的本地HDFS，支持存算分离，能够降低部署复杂度，无需在计算平台安装插件，提升系统可维护性。提升系统可维护性。提升系统可维护性。

【技术实现步骤摘要】
存算分离方法、系统、设备及介质


[0001]本申请涉及存储
，特别涉及存算分离方法、系统、设备及介质。

技术介绍

[0002]近年来，随着大数据存储业务的持续发展，出于弹性扩容，成本考虑，大数据存储分离成为主要发展方向。并且随着应用需求的不断演变，控制成本、按需索取成为大数据基础技术发展的主要方向。同时面对海量非结构化数据，大数据存储系统，实现原生HDFS（即Hadoop Distributed File System，即海杜普分布式文件系统）协议支持、非结构化多协议存储统一、突破原有元数据单命名空间缺陷、兼容大数据安全生态是大数据存储分离中的主要挑战。
[0003]现有技术中，主要采用以下两种方式实现存算分离：（1）HDFS分布式存储系统与计算平台进行分离。这种方式部署复杂度高。（2）通过在计算节点安装插件实际计算平台与分布式存储系统的对接，这种方式系统可维护性差。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供存算分离方法、系统、设备及介质，能够降低部署复杂度，无需在计算平台安装插件，提升系统可维护性本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种存算分离方法，其特征在于，应用于存储节点中部署的大数据存储服务，包括：获取原生HDFS客户端发送的文件请求；所述原生HDFS客户端为计算平台中的HDFS客户端；基于HDFS原生协议解析所述文件请求，并将解析后的文件请求发送至分布式文件系统，以便所述分布式文件系统处理所述文件请求，并返回相应的处理结果；将所述处理结果返回给所述原生HDFS客户端。2.根据权利要求1所述的存算分离方法，其特征在于，所述将解析后的文件请求发送至分布式文件系统，包括：调用DFS客户端将解析后的文件请求发送至分布式文件系统。3.根据权利要求1所述的存算分离方法，其特征在于，所述将解析后的文件请求发送至分布式文件系统，包括：对所述解析后的文件请求中的位置块关键字段进行重定义，将重定义后的文件请求发送至分布式文件系统。4.根据权利要求3所述的存算分离方法，其特征在于，所述对所述解析后的文件请求中的位置块关键字段进行重定义，包括：将位置块关键字段中的块标识重定义为文件标识、numBytes重定义为块大小，块生成时间重定义为块在文件中的偏移量。5.根据权利要求1所述的存算分离方法，其特征在于，所述获取原生HDFS客户端发送的文件请求之前，还包括：获取所述原生HDFS客户端发送的建链请求；基于HDFS原生协议处理所述建链请求，与所述原生HDFS客户端建立链接。6.根据权利要求5所述的存算分离方法，其特征在于，所述与所述原生HDFS客户端建立链接之后，还包括：获取所述原生HDFS客户端发送的元数据请求；向所述原生HDFS客户端返回本节点的IP信息，以便所述原生HDFS客户端基于所述IP信息发送所述文件请求。7.根据权利要求6所述存算分离方法，其特征在于，还包括：启动一个进程，以通过该进程监听所述元数据请求以及所述文件请求。8.根据权利要求6所述的存算分离方法，其特征在于，所述向所述原生HDFS客户端返回本节点的IP信息，包括：向所述原生HDFS客户端返回本节点的IP信息以及预设数量个其他存储节点的IP信息。9.根据权利要求5所述的存算分离方法，其特征在于，所述基于HDFS原生协议处理所述建链请求，包括：基于HDFS ClientProtocol协议处理所述建链请求。10.根据权利要求1所述的存算分离方法，其特征在于，所述基于HDFS原生协议解析所述文件请求，包括：基于HDFS ClientDatanodeProtocol、DataTransferProtocol协议解析所述文件请求。11.根据权利要求5所述的...

【专利技术属性】
技术研发人员：王帅阳，肖国栋，李旭东，张在贵，
申请(专利权)人：浪潮电子信息产业股份有限公司，
类型：发明
国别省市：