基于对象存储下的磁盘空间不足的解决方法技术

本发明专利技术提供了一种基于对象存储下的磁盘空间不足的解决方法，包括以下步骤：磁盘动态扩容，对数据节点进行新增，并最终达到奇数数据节点；利用物理机搭建NFS系统；HBase与NFS之间互联互通；两个NFS的服务端进行数据同步。本发明专利技术有益效果：节约成本，避免了昂贵的物理机。可以采用旧的或者廉价的物理机，搭载NFS系统；数据安全性高，不会因为采用这种方式而降低数据的安全性；动态扩容；数据冷备简易，只要保证数据目录一致，则就能对外提供数据服务。则就能对外提供数据服务。则就能对外提供数据服务。

【技术实现步骤摘要】
基于对象存储下的磁盘空间不足的解决方法


[0001]本专利技术属于存储
，尤其是涉及一种基于对象存储下的磁盘空间不足的解决方法。

技术介绍

[0002]在分布式文件系统(Ceph)上采用公共开源技术来实现数据的存储及查询功能，如申请号为2018107335697的专利技术专利中，通过数据协议模块接口管理对象存储需要存储的对象可用Hadoop文件系统，实现在CephFS上hadoop与对象存储服务的支持，使得用户通过所述数据协议模块接口可以访问对象存储服务存储的数据。其对象存储主要专注于于CephFS与hadoop之间的实现。且Hadoop集群虽然能保证数据的安全性，但不可避免的陷于数据冗余，因此还需对磁盘空间不足的问题进行优化。

技术实现思路

[0003]有鉴于此，本专利技术旨在克服现有技术中上述问题的不足之处，提出一种基于对象存储下的磁盘空间不足的解决方法。
[0004]为达到上述目的，本专利技术的技术方案是这样实现的：
[0005]基于对象存储下的磁盘空间不足的解决方法，包括以下步骤：
[0006]S1.磁盘动态扩容，对数据节点进行新增，并最终达到奇数数据节点；
[0007]S2.利用物理机搭建NFS系统；
[0008]S3.HBase与NFS之间互联互通；
[0009]S4.两个NFS的服务端进行数据同步。
[0010]进一步的，步骤S1中，磁盘动态扩容过程如下：
[0011]S11.新加机器环境配置，且配置如下，
[0012]S111.操作系统使用Cloudera Manager；
[0013]S112.采用RAID作为namenode的存储器以保护元数据；
[0014]S113.磁盘挂载到不同的目录下；
[0015]S114.将节点部署在同一网段中；
[0016]S115.修改主机名及映射；
[0017]S116.启动级别设置为3；
[0018]S117.启动防火墙和selinux；
[0019]S118.配置系统文件打开数量以及用户最大进程数；
[0020]S119.配置NTP服务，使新增节点时钟与集群主机时钟同步；
[0021]S1110.配置SSH，与主机配置SSH免密码登陆；
[0022]S1111.安装jdk并配置环境变量；
[0023]S1112.yum安装依赖；
[0024]S1113.新增节点复制MySQL驱动包；
[0025]S1114.在新增节点上创建cloudera
‑
scm用户；
[0026]S1115.在新增节点上创建Parcel包分发目录；
[0027]S1116.禁用大面积压缩命令，并添加到/etc/rc.local脚本中。
[0028]S1117.swappiness参数设置为0；
[0029]S1118.留意Python脚本问题，避免分发Parcel包的过程中出现异常；
[0030]S12.把从节点的cloudera
‑
manager目录复制到新节点；
[0031]S13.配置与启动Cloudera Manager Agent，且过程为，
[0032]S131.在所有节点上创建agent的运行目录；
[0033]S132.将Cloudera Manager Agent的启动脚本复制到/etc/init.d/目录下；
[0034]S133.配置并启动Cloudera Manager Agent；
[0035]S14.在主机节点ClouderaManager Web管理页面进行新机器添加、服务添加；
[0036]S15.新集群稳定后进行均衡。
[0037]进一步的，步骤S3中，HBase与NFS之间的互联互通过程如下：首先需要在HBase所部署的数据节点上挂载NFS，其次已迁移至NFS上的目录地址，更新至HBase表中，最后查看数据并验证数据，最终客户端通过HBase API获取NFS路径，根据获取到的路径，拿到真实数据。
[0038]进一步的，步骤S4中，两个NFS的服务端互为冷备，且进行数据同步。
[0039]相对于现有技术，本专利技术具有以下优势：
[0040]本专利技术所述的基于对象存储下的磁盘空间不足的解决方法节约成本，避免了昂贵的物理机。可以采用旧的或者廉价的物理机，搭载NFS系统；数据安全性高，不会因为采用这种方式而降低数据的安全性；动态扩容；数据冷备简易，只要保证数据目录一致，则就能对外提供数据服务。
附图说明
[0041]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0042]图1为本专利技术实施例所述的对象存储的服务架构图；
[0043]图2为本专利技术实施例所述的NFS系统的逻辑图。
具体实施方式
[0044]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0045]下面将参考附图并结合实施例来详细说明本专利技术。
[0046]如图所示，基于对象存储下的磁盘空间不足的解决方法，包括以下步骤：
[0047]S1.磁盘动态扩容，对数据节点进行新增，并最终达到奇数数据节点，如集群有五个数据节点，那么新增数据节点为2N个(2个、4个等等)；
[0048]S2.利用物理机搭建NFS系统；
[0049]S3.HBase与NFS之间互联互通；
[0050]S4.两个NFS的服务端进行数据同步，确保数据安全性。
[0051]步骤S1中，磁盘动态扩容过程如下：
[0052]S11.新加机器环境配置，且配置如下，
[0053]S111.操作系统使用Cloudera Manager；
[0054]S112.采用RAID(Redundant Array of Independent Disk,即磁盘阵列)作为namenode的存储器以保护元数据，但是若将RAID作为datanode的存储设备则不会给HDFS带来益处；HDFS所提供的节点间数据复制技术已可满足数据备份需求，无需使用RAID的冗余机制。此外，尽管RAID条带化技术(RAID 0)被广泛用户提升性能，但是其速度仍然比用在HDFS里的JBOD(Just a Bunch Of Disks)配置慢；
[0055]JBOD在所有磁盘之间循环调度HDFS块；RAID 0的读写操作受限于磁盘阵列中最慢盘片的速度，而JBOD的磁盘操作均独立，因而平均读写速度高于最慢盘片的读写速度；需要强调的是，各个磁盘的性能在实际使用中总存在相当大的差异，即使对于相同型号的磁盘；最后，若JBOD配置的某一磁盘出现故障，HDFS可以忽略该磁盘，继续工作；而RAID的某一盘片故障会导致整个磁盘阵列不可用，进而使相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于对象存储下的磁盘空间不足的解决方法，其特征在于，包括以下步骤：S1.磁盘动态扩容，对数据节点进行新增，并最终达到奇数数据节点；S2.利用物理机搭建NFS系统；S3.HBase与NFS之间互联互通；S4.两个NFS的服务端进行数据同步。2.根据权利要求1所述的基于对象存储下的磁盘空间不足的解决方法，其特征在于，步骤S1中，磁盘动态扩容过程如下：S11.新加机器环境配置，且配置如下，S111.操作系统使用Cloudera Manager；S112.采用RAID作为namenode的存储器以保护元数据；S113.磁盘挂载到不同的目录下；S114.将节点部署在同一网段中；S115.修改主机名及映射；S116.启动级别设置为3；S117.启动防火墙和selinux；S118.配置系统文件打开数量以及用户最大进程数；S119.配置NTP服务，使新增节点时钟与集群主机时钟同步；S1110.配置SSH，与主机配置SSH免密码登陆；S1111.安装jdk并配置环境变量；S1112.yum安装依赖；S1113.新增节点复制MySQL驱动包；S1114.在新增节点上创建cloudera
‑
scm用户；S1115.在新增节点上创建Parcel包分发目录；S1116.禁用大面积压缩命令，并添加到/etc/rc...

【专利技术属性】
技术研发人员：周振磊，李华健，张艳芳，苏建辉，李宪英，
申请(专利权)人：爱信诺征信有限公司，
类型：发明
国别省市：