实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统技术方案

本发明专利技术公开了一种实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统，其中该方法包括步骤：配置含有文件系统hdfs的hadoop大数据环境，及含有对象存储s3的分布式存储软件ceph环境；所述hadoop大数据环境和分布式存储软件ceph环境双方通过namenode节点与ceph‑mon节点通信；通过namenode节点对接文件系统hdfs，通过ceph‑mon节点对接对象存储s3；获取外部数据访问指令；根据所述数据访问指令进行相应的文件系统hdfs和对象存储s3之间的数据访问。本发明专利技术打破这种不同文件系统之间的文件互相读取访问的隔离壁垒，实现hadoop文件系统hdfs与对象存储s3数据互相访问读取并共存，让hdfs和对象存储s3优势互补共同促进大数据的发展，扩大大数据应用领域范围。

【技术实现步骤摘要】
实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统
本专利技术涉及计算机数据交互领域，尤其涉及一种实现hadoop文件系统hdfs与对象存储s3数据互访方法及系统。
技术介绍
Hadoop是一个开源的由apache基金会所开发的大数据框架，是一个开发与运行处理大规模数据的软件平台。它的三大核心组件分别是分布式文件系统hdfs、作业调度和集群资源管理框架yarn、分布式运算编程框架MapReduce。他们分别解决hadoop大数据框架这三大核心问题，如何解决海量数据存储，如何解决计算资源任务的调度，如何解决海量数据的计算任务。其中hdfs是基于流式数据访问和处理海量大文件而专门设计的一个并没有严格遵守posix标准协议的分布式文件系统。由于其高度容错性以及提供高带宽等特点，其非常适合部署在大量廉价硬件设备上，也非常适合大规模的hadoop大数据运算应用。由于hdfs的本身特性使其放宽了对posix的完全兼容性，已达到流式读取海量大文件的目的，且支持通过移动计算，支持大数据规模，大文件并发，大规模节点数等特性，保证了起在大数据本文档来自技高网...

【技术保护点】
1.一种实现hadoop文件系统hdfs与对象存储s3数据互访方法，其特征在于，包括步骤：/n配置含有文件系统hdfs的hadoop大数据环境，及含有对象存储s3的分布式存储软件ceph环境；所述hadoop大数据环境和分布式存储软件ceph环境双方通过namenode节点与ceph-mon节点通信；/n通过namenode节点对接文件系统hdfs，通过ceph-mon节点对接对象存储s3；/n获取外部数据访问指令；/n根据所述数据访问指令进行相应的文件系统hdfs和对象存储s3之间的数据访问。/n

【技术特征摘要】
1.一种实现hadoop文件系统hdfs与对象存储s3数据互访方法，其特征在于，包括步骤：
配置含有文件系统hdfs的hadoop大数据环境，及含有对象存储s3的分布式存储软件ceph环境；所述hadoop大数据环境和分布式存储软件ceph环境双方通过namenode节点与ceph-mon节点通信；
通过namenode节点对接文件系统hdfs，通过ceph-mon节点对接对象存储s3；
获取外部数据访问指令；
根据所述数据访问指令进行相应的文件系统hdfs和对象存储s3之间的数据访问。


2.根据权利要求1所述的实现hadoop文件系统hdfs与对象存储s3数据互访方法，其特征在于，所述获取外部数据访问指令，包括：
hadoop大数据环境的客户端hadoop-client写入大文件时，通过namenode节点计算后算出写到datanode节点中，然后存入hdfs文件系统。


3.根据权利要求1所述的实现hadoop文件系统hdfs与对象存储s3数据互访方法，其特征在于，所述获取外部数据访问指令，包括：
hadoop大数据环境的客户端hado...

【专利技术属性】
技术研发人员：张涛，刘毅，林涛睿，林鹏程，
申请(专利权)人：深圳市瑞驰信息技术有限公司，
类型：发明
国别省市：广东;44