一种数据操作方法、装置和存储介质制造方法及图纸

本发明专利技术实施例公开了一种数据操作方法、装置和存储介质；本发明专利技术实施例采用从元信息服务器中获取元信息，该元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据目标地址对目标物理存储设备进行相应的数据操作。该方案可以降低云服务系统的性能损耗和数据冗余度。

A Data Operating Method, Device and Storage Media

【技术实现步骤摘要】
一种数据操作方法、装置和存储介质
本专利技术涉及网络云
，具体涉及一种数据操作方法、装置和存储介质。
技术介绍
私有云是为一个客户单独搭建的一套云服务系统，一般包含公有云的核心功能模块比如计算虚拟化模块，网络虚拟化模块，存储虚拟化模块等。私有云对客户来说，更安全，更可靠，更可控。Hbase(Hadoopdatabase，分布式数据库)，是一个分布式的、面向列的开源数据库。Hbase作为一款列存储开源数据库在大数据领域越来越多的得到应用。目前Hbase云服务系统主要基于虚拟主机构建，如图1所示为Hbase云服务系统的架构图。如图1所示，目前Hbase云服务系统中Hbase集群都是基于虚拟机之上，用户视角只能看到虚拟主机这一层，Hbase云服务全部架设在虚拟主机之上，客户端与Hbase集群通信全部是基于VIP(virtualipaddress，虚拟IP地址)的方式进行通信。同时由于Hbase集群运行在虚拟主机环境内，因此集群内部之间的通信也是使用VIP的方式进行通信。然而，由于目前Hbase云服务系统基于虚拟主机构建的，因此，一台物理机上可能会有多台虚拟主机，其他虚拟主机有可能会影响到部署了Hbase集群的虚拟主机，存在性能损耗；即使当前物理主机上只有一台虚拟主机，考虑到启动虚拟主机的进程以及虚拟地址到物理地址的转换等因素也会带来一定的性能损耗。另外，用于虚拟化的物理主机考虑到数据安全性磁盘一般都会做raid(RedundantArraysofIndependentDisks，磁盘阵列)，而Hbase集群一般都是运行在HDFS集群之上，因此，HDFS(HadoopDistributedFileSystem，分布式文件系统)集群数据需要备份很多，导致Hbase云服务系统的数据冗余度较高。
技术实现思路
本专利技术实施例提供一种数据操作方法、装置和存储介质，可以降低云服务系统的性能损耗和数据冗余度。本专利技术实施例提供一种数据操作方法，适用于分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群，所述方法包括：从元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据所述目标地址对所述目标物理存储设备进行相应的数据操作。相应的，本专利技术实施例还提供了一种数据操作装置，适用于分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群，所述装置包括：信息获取单元，用于从元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；第一地址选取单元，用于从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；第二地址选取单元，用于根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；数据操作单元，用于根据所述目标地址对所述目标物理存储设备进行相应的数据操作。相应的，本专利技术实施例还提供一种存储介质，所述存储介质存储有指令，所述指令被处理器执行时实现本专利技术实施例任一提供的数据操作方法。本专利技术实施例采用从元信息服务器中获取元信息，该元信息包括数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据目标地址对目标物理存储设备进行相应的数据操作。该方案可以使得分布式服务系统同时兼容物理网络和虚拟网络通信，并该分布式云服务系统中数据库集群基于物理存储设备即物理机构建的，因此，通过该数据操作方法可以实现数据库集群在物理机之上提供云服务，可以避免数据库集群在虚拟机上提供云服务所带来的性能损耗和数据冗余度较高的问题，降低了云服务系统的性能损耗和数据冗余度。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是现有Hbase云服务系统的架构示意图；图2a是本专利技术实施例提供的分布式云服务系统的场景示意图；图2b是本专利技术实施例提供的网络通信模型示意图；图2c是本专利技术实施例提供的数据操作方法的流程示意图；图3a是本专利技术实施例提供的meta表中地址信息的结构示意图；图3b是本专利技术实施例提供的meta表中地址信息的另一结构示意图；图3c是本专利技术实施例提供的核心数据的结构示意图；图3d是本专利技术实施例提供的核心数据的另一结构示意图；图4是本专利技术实施例提供的数据操作方法的另一流程示意图；图5a是本专利技术实施例提供的数据操作装置的第一种结构示意图；图5b是本专利技术实施例提供的数据操作装置的第二种结构示意图；图5c是本专利技术实施例提供的数据操作装置的第三种结构示意图；图6是本专利技术实施例提供的服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种分布式云服务系统，该系统包括本专利技术实施例任一提供的数据操作装置，该数据操作装置可以集成在服务器等网络设备中，比如，。此外，该系统还可以包括其他设备，比如，HDFS(HadoopDistributedFileSystem，分布式文件系统)集群、分布式协调器集群等等。参考图2a，本专利技术实施例提供了一种分布式云服务系统，包括：数据库集群、HDFS集群、zookeeper集群、计算集群、服务接入集群、监控集群、任务调度集群、虚拟服务器(即用户服务器)、云服务器(如Qcloud/API服务器)。其中，数据库集群是用来真正提供服务的集群，该数据库集群可以为Hbase集群，数据库集群可以包括多个存储设备(如服务器)，比如，Hbase集群可以包括主机服务器(Hmaster)、存储服务器(即regionserver)。在数据库集群内的存储设备可以通过相互协商选举一台存储设备作为元信息服务器即meta服务器，该meta服务器保存有集群内各存储设备的地址(location)信息，比如，存储设备的地址(包括物理网络地址或者虚拟网络地址)、存储设备的详细信息、存储设备存储数据的地址范围等。用户服务器即为部署的虚拟服务器(也可以成为虚拟主机)，该用户服务器需要和Hbase集群内的每个服务器之间相互通信，从而实现相应的数据操作。用户服务器通过网络分别与HDFS集群、Hbase集群、YARN计算集群通信，其中，网络中包括路由、网关等设备。比如，参考图2a，用户服务器可以通过网关设备分别与HDFS集群、Hbase集群、YARN计算集群通信。HD本文档来自技高网...

【技术保护点】
1.一种数据操作方法，其特征在于，适用于分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群，所述方法包括：从元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据所述目标地址对所述目标物理存储设备进行相应的数据操作。

【技术特征摘要】
1.一种数据操作方法，其特征在于，适用于分布式云服务系统中的数据操作设备，所述分布式云服务系统包括数据库集群，所述方法包括：从元信息服务器中获取元信息，所述元信息包括所述数据库集群中物理存储设备的物理网络地址和虚拟网络地址；从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址；根据地址选择参数从目标物理存储设备的目标物理网络地址和目标虚拟网络地址中选取相应的目标地址；根据所述目标地址对所述目标物理存储设备进行相应的数据操作。2.如权利要求1所述的数据操作方法，其特征在于，从元信息服务器中获取元信息，包括：向分布式协调器发送地址获取请求；接收所述分布式协调器根据所述地址获取请求返回的地址信息，所述地址信息包括：元信息服务器的物理网络地址和虚拟网络地址；根据所述地址选择参数从所述物理网络地址和所述虚拟网络地址中选取相应的地址；根据选取的地址从所述元信息服务器中获取元信息。3.如权利要求1所述的数据操作方法，其特征在于，所述元信息包括：信息索引关键字及其对应的设备地址信息，所述设备地址信息包括物理存储设备的物理网络地址和虚拟网络地址；从所述物理存储设备的物理网络地址和虚拟网络地址选取目标物理存储设备的目标物理网络地址和目标虚拟网络地址，包括：获取需要操作的目标信息索引关键字；根据所述目标信息索引关键字从所述设备地址信息中选取目标设备地址信息，所述目标设备地址信息包括目标物理存储设备的目标物理网络地址和目标虚拟网络地址。4.如权利要求1所述的数据操作方法，其特征在于，还包括：接收参数配置请求，所述参数配置请求携带地址选择参数需要配置的参数值；根据所述配置请求对地址选择参数的参数值进行配置。5.如权利要求1所述的数据操作方法，其特征在于，根据所述目标地址对所述目标物理存储设备进行相应的数据操作，包括：当所述目标地址为虚拟网络地址时，根据所述目标地址向虚拟网络发送数据操作请求，以便通过所述虚拟网络向所述目标物理存储设备转发所述数据操作请求；当所述目标地址为物理网络地址时，根据所述目标地址直接向所述目标物理存储设备发送数据操作请求，以便对目标物理存储设备进行相应的数据操作。6.一种数据操作装置，其特征在于，适用于分布式云服务系统中的数据操作设备，所述分布式云服务...

【专利技术属性】
技术研发人员：陈龙，李佳禧，张觅，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44