一种基于Xen和Hadoop的云存储平台的构建方法技术

技术编号:8611611 阅读:633 留言:0更新日期:2013-04-20 00:02
本发明专利技术公开了一种基于Xen和Hadoop的云存储平台的构建方法,属于一种云存储技术领域,将PC机作为云存储平台的服务器端,每台pc机使用xen虚拟出1~10台虚拟机,在每台虚拟机上部署hadoop;云存储平台的客户端主机上安装hadoop;客户端主机的应用接口封装了hadoop对文件进行操作的相关命令;用户通过客户端主机的浏览器通过网络登陆云存储平台的服务器端来获得个人空间,进行文件的操作。本发明专利技术的一种基于Xen和Hadoop的云存储平台的构建方法和现有技术相比,利用xen和hadoop使多台普通PC之间协同工作,对外提供同一种服务,并提供更大更强更好的数据访问性能。

【技术实现步骤摘要】

本专利技术涉及一种云存储
,具体地说是。
技术介绍
云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念。它是指通过集群应用、网格技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。云存储服务可以分为个人级应用和企业级应用,具体包括个人空间服务、数据备份、集中存储、远程共享、视频监控、IPTV等系统的集中存储,网站大容量在线存储等。Xen是一个开放源代码虚拟机监视器。Xen可以在一套物理硬件上安全的执行多个虚拟机,它和操作平台结合的极为密切,占用的资源最少。Hadoop是一个能够对大量数据进行分布式处理的软件框架;是一个能够让用户轻松架构和使用的分布式计算平台;用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。具有高可靠性、高扩展性、高效性、高容错性的优点。若能将Xen和Hadoop应用在云存储上,则可使得云存储具有更大更强更好的数据访问性能。
技术实现思路
`本专利技术的技术任务是提供一种利用xen和hadoop使多台普通PC之间协同工作,对外提供同一种服务,并提供更大更强更好的数据访问性能的。本专利技术的技术任务是按以下方式实现的,将PC机作为云存储平台的服务器端,每台pc机使用xen虚拟出I 10台虚拟机,在每台虚拟机上部署hadoop ;云存储平台的客户端主机上安装hadoop ;客户端主机的应用接口封装了 hadoop对文件进行上传或下载或删除或重命名操作的相关命令;用户通过客户端主机的浏览器通过网络登陆云存储平台的服务器端来获得个人空间,进行文件的上传、下载、删除、重命名操作。云存储平台的服务器端配置3台pc机,pc机系统为centos5. 5,网络设置成静态的;每台pc机使用xen虚拟出4个虚拟机,每个虚拟机安装系统为ubuntu8. 04,分别命名为inspurO inspurll ;在虚拟机inspurO inspurll上安装hadoop ;在inspurO上安装apache2. 2. 8和php_5. 2. 4,把应用放到apache指定的路径下。云存储平台的客户端配置客户端主机如果是移动平台安装hadoopO. 20. 2 ;客户端主机如果是Windows平台除了安装hadoopO. 20. 2还应安装hadoop补丁Hadoop-O. 20. 2-patched.zip。 安装hadoop用到的以下代码来实现 //客户端文件名$clientfilename=$—FILES[〃file〃][〃name〃]; //客户端文件在服务器端的缓存 $srcfiIe=$_FILES[^fiIe^] 『tmp—name]; //获取本地缓存文件名$cachefilename=basename($srcfile); //存放到本地分布式文件系统$cmd=〃/home/hadoop-0. 20. 2/bin/hadoop fs -put 〃. $srcfile. 〃 output〃;exec ($cmd); //把缓存文件名修改成客户端文件名$cmd=〃/home/hadoop-0· 20. 2/bin/hadoop fs -mv output/' $cachefilename. 〃output/' $clientfilename;exec ($cmd); //显示上传的客户端文件 //读取分布式文件系统内容 exec (^rm /var/www/output^);$cmd=〃/home/hadoop-0. 20. 2/bin/hadoop fs -1s /user/root/output/>>output〃;exec ($cmd); $fp=file(〃output〃);// 源文件 for ($k = 0; $k< sizeof ($fp); $k++){ $info=trim($fp[$k]) ;// 逐行读写 if(substr—count($info,〃/user/root/〃)>0){$pos=strpos ($info,outpuO +7; $file=substr($info,$pos);$page=〃http://〃. $ip. 〃/client-download-win. php file=〃. $file; > //点击文件进行下载<td><a href=〈 =$page >Ximg src=〃./img/folder. jpg〃 width=〃50〃 height=〃50〃alt= jfdskafX =$f ile X/a>〈/td>< }} ></tr><tr>< for($k = 0; $k< sizeof ($fp); $k++){ $info=trim($fp[$k]) ;// 逐行读写 if(substr_count($info, 〃/user/root/〃)>0){$pos=strpos ($info, output)+7;$file=substr($info, $pos); Il点击删除文件 ><td><a href= javascript: del (,< =$f ile >' ) Ximg src=' /img/delete, jpgwidth=20〃 height=20 alt=jfdskaf>〈/a>〈/td>< }} ></tr>本专利技术的具有以下优点利用xen和hadoop使多台普通PC之间协同工作,对外提供同一种服务,并提供更大更强更好的数据访问性能,因而,具有很好的推广使用价值。附图说明下面结合附图对本专利技术进一步说明。附图1为的结构框图。具体实施例方式参照说明书附图和具体实施例对本专利技术的作以下详细地说明。实施例 本专利技术的,将PC机作为云存储平台的服务器端,每台pc机使用xen虚拟出I 10台虚拟机,在每台虚拟机上部署hadoop ;云存储平台的客户端主机上安装hadoop ;客户端主机的应用接口封装了 hadoop对文件进行上传或下载或删除或重命名操作的相关命令;用户通过客户端主机的浏览器通过网络登陆云存储平台的服务器端来获得个人空间,进行文件的上传、下载、删除、重命名操作。云存储平台的服务器端配置3台pc机,pc机系统为centos5. 5,网络设置成静态的;每台pc机使用xen虚拟出4个虚拟机,每个虚拟机安装系统为ubuntu8. 04,分别命名为inspurO inspur 11 ;在虚拟机inspurO inspur 11上安装hadoop ;在inspurO上安装apache2. 2. 8和php_5. 2. 4,把应用放到apache指定的路径下。云存储平台的客户端配置客户端主机如果是移动平台安装hadoopO. 20. 2 ;客户端主机如果是Windows平台除了安装hadoopO. 20. 2还应安装hadoop补丁Hadoop-O. 20. 本文档来自技高网...

【技术保护点】
一种基于Xen和Hadoop的云存储平台的构建方法,其特征在于将PC机作为云存储平台的服务器端,每台pc机使用xen虚拟出1~10台虚拟机,在每台虚拟机上部署hadoop;云存储平台的客户端主机上安装hadoop;客户端主机的应用接口封装了hadoop对文件进行上传或下载或删除或重命名操作的相关命令;用户通过客户端主机的浏览器通过网络登陆云存储平台的服务器端来获得个人空间,进行文件的上传、下载、删除、重命名操作。

【技术特征摘要】
1.一种基于Xen和Hadoop的云存储平台的构建方法,其特征在于将PC机作为云存储平台的服务器端,每台pc机使用xen虚拟出I 10台虚拟机,在每台虚拟机上部署hadoop ;云存储平台的客户端主机上安装hadoop ;客户端主机的应用接口封装了 hadoop对文件进行上传或下载或删除或重命名操作的相关命令;用户通过客户端主机的浏览器通过网络登陆云存储平台的服务器端来获得个人空间,进行文件的上传、下载、删除、重命名操作。2.根据权利要求1所述的一种基于Xen和Hadoop的云存储平台的构建方法,其特征在于云存储平台的服务器端配置3台pc机,pc机系统为cent0S5. 5,网络设置成静态的;每台pc机使用xen虚拟出4个虚拟机,每个虚拟机安装系统为ubuntu8. 04,分别命名为inspurO inspurll ;在虚拟机inspurO inspurll上安装hadoop ;在inspurO上安装apache2. 2. 8和php_5. 2. 4,把应用放到apache指定的路径下。3.根据权利要求1所述的一种基于Xen和Hadoop的云存储平台的构建方法,其特征在于云存储平台的客户端配置客户端主机如果是移动平台安装hadoopO. 20.2;客户端主机如果是Windows平台除了安装hadoopO. 20. 2还应安装hadoop补丁Hadoop-O. 20. 2-patched.zip。4.根据权利要求1所述的一种基于Xen和Hadoop的云存储平台的构建方法,其特征在于安装hadoop用到的以下代码来实现 Il客户端文件名$clientfilename=$_FILES[〃file〃][〃name〃]; Il客户端文件在服务器端的缓存 $srcfile=$_FILES[^file^][tmp—name]; Il获取本地缓存文件名$cachef ilename=basename($srcfile); Il存放到本地分布式文件系统$cmd=〃/home/hadoop-0. 20. 2/bin/hadoop fs -put 〃 $srcfile. 〃 output〃;exec ($cmd); Il把缓存文件名修改成客户端文件名$cmd=〃/home/hadoop_0. 20. 2/bin/hadoop fs _mv output/' $cachefil...

【专利技术属性】
技术研发人员:李丽于治楼张化祥
申请(专利权)人:浪潮集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1