数据存储系统的运维方法及装置制造方法及图纸

本公开提出一种数据存储系统的运维方法及装置，涉及数据处理技术领域。所述方法包括：对区域块服务器节点中区域块所对应的区域块信息文件进行修复，得到修复后的区域块信息文件；基于所述修复后的区域块信息文件，对元数据表中与所述区域块对应的元数据进行修复，得到修复后的元数据表；基于所述修复后的元数据表，对所述区域块的挂载状态进行修复。本公开能够实现对数据存储系统的自动化运维，提高运维效率和可靠性，降低运维成本。

【技术实现步骤摘要】
数据存储系统的运维方法及装置
本公开涉及数据处理
，具体而言，涉及一种数据存储系统的运维方法及装置。
技术介绍
随着数据处理技术的发展，分布式的数据存储系统的应用日益广泛。其中，Hbase(Hadoopdatabase)是一种建立在HDFS(HadoopDistributedFileSystem，分布式文件系统)上、面向列的开源数据存储系统，并以其高可靠性、高性能、可伸缩的优点，逐渐受到了用户的重视。Hbase包括协调服务节点(zookeeper)和区域块服务器节点(RegionServer)。Hbase中的数据以数据表(Table)的形式存储，各数据表在行的方向上被分割为至少一个区域块(Region)，各区域块设置在区域块服务器节点上。另外，该Hbase中还可以生成该区域块的元数据。在该Hbase运行的过程中，受网络、读写压力等多种环境因素的影响，可能会出现区域块服务器节点中包括区域块与该区域块对应的元数据不一致的问题，从而导致难以向Hbased读/写数据，数据存储系统的可靠性较低。现有技术中，可以由用户在发现Hbase中存在某个区域块和该区域块的元数据不一致的问题时，手动执行Hbase提供的运维指令，对该问题进行修复。但需要依赖人工对Hbase进行运维，不仅效率低下，运维成本较高，而且由于现有的Hbase所提供的运维指令较为复杂，需要资深的运维人员选择相应的运维指令来对Hbase进行运维，从而导致对Hbase进行运维的难度较大，运维的成功率也难以保证，成本也较高。专利
技术实现思路
本公开实施例的目的在于提供一种数据存储系统的运维方法及装置，以实现对数据存储系统的自动化运维。为了实现上述目的，本公开实施例采用的技术方案如下：第一方面，本公开实施例提出一种数据存储系统的运维方法，所述方法包括：对区域块服务器节点中区域块所对应的区域块信息文件进行修复，得到修复后的区域块信息文件；基于所述修复后的区域块信息文件，对元数据表中与所述区域块对应的元数据进行修复，得到修复后的元数据表；基于所述修复后的元数据表，对所述区域块的挂载状态进行修复。第二方面，本公开实施例还提出一种数据存储系统的运维装置，所述装置包括：第一修复模块，用于对区域块服务器节点中区域块所对应的区域块信息文件进行修复，得到修复后的区域块信息文件；第二修复模块，用于基于所述修复后的区域块信息文件，对元数据表中与所述区域块对应的元数据进行修复，得到修复后的元数据表；第三修复模块，用于基于所述修复后的元数据表，对所述区域块的挂载状态进行修复。第三方面，本公开实施例还提出一种电子设备，包括存储有计算机程序的计算机可读存储介质和处理器，所述计算机程序被所述处理器读取并运行时，实现上述第一方面所述的方法。第四方面，本公开实施例还提出一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器读取并运行时，实现上述第一方面所述的方法。相对现有技术，本公开实施例具有以下有益效果：在本公开实施例中，首先，能够对区域块服务器节点中区域块所对应的区域块信息文件进行修复，从而确保区域块服务器节点中的区域块与相应的区域块信息文件中包括的区域块信息一致，其次，能够基于修复后的区域块信息文件，对元数据表中与区域块对应的元数据进行修复，进一步保证区域块服务器节点中的区域块与元数据表中与区域块对应的元数据一致，还能够基于修复后的元数据表，对区域块的挂载状态进行修复，进一步确保元数据表与区域块在区域块服务器节点中的实际挂载状态一致，最终实现了区域块服务器节点中包括的区域块，与数据系统中的该区域块的区域块相关数据一致，运维过程无需停止数据存储系统的服务，实现了对数据存储系统的自动化运维，提高了运维的效率和可靠性，也降低了运维成本。本公开的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本公开实施例了解。本公开的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。图1示出了本公开实施例所提供的一种数据存储系统的结构示意图；图2示出了本公开实施例所提供的一种数据存储系统的运维方法的流程示意图；图3示出了本公开实施例所提供的另一种数据存储系统的运维方法的流程示意图；图4示出了本公开实施例所提供的一种数据存储系统的运维装置的功能模块示意图；图5示出了本公开实施例所提供的另一种数据存储系统的运维装置的功能模块示意图；图6示出了本公开实施例所提供的又一种数据存储系统的运维装置的功能模块示意图；图7示出了本公开实施例所提供的又一种数据存储系统的运维装置的功能模块示意图；图8示出了本公开实施例所提供的一种电子设备的功能模块示意图。具体实施方式下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本公开的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。请参照图1，为本公开实施例所提供的一种数据存储系统的结构示意图。数据存储系统Hbase可以包括客户端节点101、主机节点102、协调服务节点103和区域块服务器节点104。客户端节点101，可以作为Hbase的访问入口；能够与主机节点102进行通信，从而对Hbase进行管理操作；也能够与协调服务节点103进行通信，从而对Hbase进行数据读写类操作。主机节点102可以用于向协调服务节点103分配区域块；实现协调服务节点103的负载均衡、Hbase中的垃圾文件回收。协调服务节点103可以用于确保Hbase中只有一个主机节点102；实时监控各区域块服务器节点104的状态，并将区域块服务器节点104的上线和下线实时通知给主机节点102；存储有Hbase包括的各节点的节点地址。区域块服务器节点104设置有区域块，并能够对区域块进行维护；处理针对区域块的读/写请求；对区域块进行分裂或合并。...

【技术保护点】
1.一种数据存储系统的运维方法，其特征在于，所述方法包括：/n对区域块服务器节点中区域块所对应的区域块信息文件进行修复，得到修复后的区域块信息文件；/n基于所述修复后的区域块信息文件，对元数据表中与所述区域块对应的元数据进行修复，得到修复后的元数据表；/n基于所述修复后的元数据表，对所述区域块的挂载状态进行修复。/n

【技术特征摘要】
1.一种数据存储系统的运维方法，其特征在于，所述方法包括：
对区域块服务器节点中区域块所对应的区域块信息文件进行修复，得到修复后的区域块信息文件；
基于所述修复后的区域块信息文件，对元数据表中与所述区域块对应的元数据进行修复，得到修复后的元数据表；
基于所述修复后的元数据表，对所述区域块的挂载状态进行修复。


2.如权利要求1所述的数据存储系统的运维方法，其特征在于，所述对区域块服务器节点中区域块所对应的区域块信息文件进行修复，包括：
若所述区域块服务器节点中不存在所述区域块对应的区域块信息文件，则基于所述区域块，重新生成对应于所述区域块的区域块信息文件。


3.如权利要求1或2所述的数据存储系统的运维方法，其特征在于，所述对区域块服务器节点中区域块所对应的区域块信息文件进行修复，包括：
若所述区域块服务器节点中不存在所述区域块对应的区域块信息文件，则从所述元数据表中获取所述区域块对应的元数据；
基于所述区域块对应的元数据，重新生成对应于所述区域块的区域块信息文件。


4.如权利要求1所述的数据存储系统的运维方法，其特征在于，所述基于所述修复后的区域块信息文件，对元数据表中与所述区域块对应的元数据进行修复，得到修复后的元数据表，包括：
若所述区域块服务器节点中存在所述区域块、所述元数据表中不存在所述区域块对应的元数据，则基于所述修复后的区域块信息文件，在所述元数据表中重新生成与所述区域块对应的元数据；
若所述区域块服务器节点中不存在所述区域块、所述元数据表中存在所述区域块对应的元数据，则将所述元数据表中与所述区域块对应的元数据删除。


5.如权利要求1所述的数据存储系统的运维方法，其特征在于，所述基于所述修复后的元数据表，对所述区域块的挂载状态进行修复，包括：
若所述修复后的元数据表中存在所述区域块对应的元数据，但所述区域块并未挂载，则挂载所述区域块；
若所述修复后的元数据表中不存在所述区域块对应的元数据，但所述区域块已挂载，则将区域块下线；
若所述修复后的元数据表中存在所述区域块对应的元数据，所述区域块已挂载，但所述区域块的服务器地址与所述区域块对应的元数据中包括的服务器地址不一致，则基于所述区域块对应的元数据中包括的服务器地址，重新挂载所述区域块。


6.如权利要求1所述的数据存储系统的运维方法，其特征在于，在所述对区域块服务器节点中区域块所对应的区域块信息文件进行修复之前，所述方法还包括：
确定当前时刻不处于预设区域块变动时间段，所述预设区域块变动时间段用于对区域块进行合...

【专利技术属性】
技术研发人员：俞毅，
申请(专利权)人：浙江宇视科技有限公司，
类型：发明
国别省市：浙江;33