虚拟对称多处理虚拟机创建方法、数据处理方法及系统技术方案

本发明专利技术提供一种虚拟对称多处理虚拟机创建方法、数据处理方法及系统，其中虚拟对称多处理虚拟机创建方法，包括步骤：通过一无限带宽网络连接多个计算机节点，各计算机节点之间相互通信连接，计算机节点包括一主机和多个子机；将各计算机节点的作业系统整合为由主机控制的一虚拟作业系统；将各计算机节点的硬件整合为一硬件资源池，并将各计算机节点的数据库整合为一数据库池；主机通过虚拟作业系统对硬件资源池和数据库池直接管理和调用。本发明专利技术的虚拟对称多处理虚拟机创建方法、数据处理方法及系统可实现需要大量内存与运算资源的数据处理，并具有运算速度快、结构简单、成本低、便于管理、灵活性强、资源利用率高和可扩展性强的优点。

【技术实现步骤摘要】

本专利技术涉及计算机虚拟机领域，尤其涉及虚拟对称多处理虚拟机创建方法、数据处理方法。
技术介绍
人们对于大数据数据库的应用追求从未停止，现代大数据数据库的应用基本上更多是指在原有计算器或服务器硬盘上建立数据库并运行索引程序，其数据量一般均大于十万笔以上，所以，我们一般不把运行低于十万笔数据量或未应用大数据索引程序的系统称呼为大数据数据库，而只将数据量大于十万笔及运行索引程序的数据库称作为大数据数据库系统。大数据数据库系统的构件主要为运算处理器、硬盘、内存、操作系统与数据库软件所组成，在许多的数据库应用，尤其是在大规模数据搜索的情况下，其最终性能皆由I/O(硬盘、内存吞吐量)所决定，而往往不是被运算处理器的计算能力所限制，而这一现象也使大数据数据库系统针对I/O的设计有更苛刻的要求。很显然，要满足超大规模的数据运算、搜寻及索引的I/O要求，如果用传统的硬盘作为载体，单靠硬盘的堆栈传输，是很难达成高扩展、高速度、低延迟的大数据数据库系统设计目的。且在现今虚拟化技术的发展方向上，均朝着分布式的应用程序虚拟化方向研究，如传统的VMware、Zen-desktop、Hyper-V或KVM及现今container与Docker技术，主要着眼点均为将应用程序所需的资源打包，进而实现在单一计算机上同时进行多重应用程序计算、最大化单机计算量应用，加重了I/O负担的同时，在进行需要巨量内存计算的情况下，单机也无法提供足够的内存进行计算交换，从而影响数据处理的速度。
技术实现思路
针对上述现有技术中的不足，本专利技术提供一种虚拟对称多处理虚拟机创建方法、数据处理方法及系统，将多个计算机虚拟成一个大型计算机，所有计算机的硬件资源视为同一系统资源统一调派，从而可实现需要大量内存与运算资源的数据处理，并具有运算速度快、结构简单、成本低、便于管理、灵活性强、资源利用率高和可扩展性强的优点。为了实现上述目的，提供本专利技术的一种虚拟对称多处理虚拟机创建方法，包括步骤：S11：通过一无限带宽网络连接多个计算机节点，各所述计算机节点之间相互通信连接，所述计算机节点包括一主机和多个子机；S12：将各所述计算机节点的作业系统整合为由所述主机控制的一虚拟作业系统；S13：将各所述计算机节点的硬件整合为一硬件资源池，并将各所述计算机节点的数据库整合为一数据库池；S14：所述主机通过所述虚拟作业系统对所述硬件资源池和所述数据库池直接管理和调用。优选地，所述硬件资源池包括一内存池和一CPU池，所述内存池包括各所述计算机节点的内存，所述CPU池包括各所述计算机节点的CPU。优选地，所述无限带宽网络和所述多个计算机节点形成虚拟对称多处理结构。本专利技术的一种虚拟对称多处理虚拟机系统，包括：一数据传输模块，数据传输模块设置于一主机，用于接收客户端的任务请求和向所述客户端发送所述任务请求的处理结果；一硬件资源池，所述硬件资源池包括多个计算机节点的硬件，所述计算机节点包括所述主机和多个子机，所述多个计算机节点通过一无限带宽网络相互通信连接；一数据库池，所述数据库池包括各所述计算机节点的数据库；以及一虚拟作业系统，设置于所述主机，用于直接管理和调用所述硬件资源池与所述数据库池完成所述任务请求获得所述处理结果，并控制数据传输模块发送所述处理结果。优选地，所述硬件资源池包括一内存池和一CPU池，所述内存池包括各所述计算机节点的内存，所述CPU池包括各所述计算机节点的CPU。优选地，所述无限带宽网络和所述多个计算机节点形成虚拟对称多处理结构。优选地，所述虚拟作业系统采用OpenMP应用编程接口和MPI编程接口标准。本专利技术的一种基于本专利技术所述的虚拟对称多处理虚拟机系统的数据处理方法，包括步骤：S21：所述主机接收所述客户端发送的任务请求；S22：所述虚拟作业系统根据所述任务请求的内容对所述硬件资源池和/或所述数据库池进行调用并获得所述任务请求的处理结果；S23：所述主机将所述任务请求的处理结果发送给所述客户端。优选地，所述步骤S22进一步包括：S221：所述虚拟作业系统根据所述任务请求的内容和当前硬件资源池的使用状态，形成一任务处理策略；S222：根据所述任务处理策略将所述任务请求分割为多个子任务并派送给对应的所述计算机节点；S223：所述计算机节点根据所述子任务调用所需的所述硬件和/或所述数据库，并向所述虚拟作业系统发送调用结果；S224：所述虚拟作业系统根据所述调用结果获得所述任务请求的处理结果。本专利技术由于采用了以上技术方案，使其具有以下有益效果：无限带宽网络的采用加强了本专利技术虚拟对称多处理虚拟机的可扩展性。虚拟作业系统统一管理调用各计算机节点的资源，实现集群系统的统一管理和统一调控，使得用户对整个虚拟对称多处理虚拟机系统的管理调控更为便捷、灵活，并能有效提高虚拟对称多处理虚拟机系统的整体资源利用率。由于内存池的采用，且内存池接受虚拟作业系统统一管理调用，使得在需要大规模或巨量的运算时，虚拟作业系统可将数据直接在内存池中进行交换，减少运用硬盘的I/O，从而达到加速数据处理的目的。同时，当本专利技术数据库池中的任一数据库需大量的运算及内存资源时，虚拟作业系统可做实时且动态的调配，可调用内存池中其他计算机节点的内存供当前计算机节点的数据处理使用，从而防止单一计算机节点受限于硬件资源而无法进行工作或降低工作效率的情况，同时提高了系统资源的整体利用率。附图说明图1为本专利技术实施例的虚拟对称多处理虚拟机创建方法的流程图；图2为本专利技术实施例的虚拟对称多处理虚拟机的结构示意图；图3为本专利技术实施例的虚拟对称多处理虚拟机的原理图；图4为本专利技术实施例的数据处理方法的流程图。具体实施方式下面根据附图1-4，给出本专利技术的较佳实施例，并予以详细描述，使能更好地理解本专利技术的功能、特点。请参阅图1～图3，本专利技术的一种虚拟对称多处理虚拟机创建方法，包括步骤：S11：通过一无限带宽网络1(Infinite Band)连接多个计算机节点，各计算机节点之间相互通信连接，计算机节点包括一主机21和多个子机22；计算机节点的个数不限，可根据需要进行任意扩充和调整，可高达百台甚至超过数千台。S12：将各计算机节点的作业系统整合为由主机21控制的一虚拟作业系统212。例如，现有四台计算机，先于硬件上先建立无限带宽网路通讯架构(透过交换机互连或透过直连路由方式互连)，而后将各计算机设定其IP地址与作业系统的网络、通讯与函式库等设定(包含TCP/IP,Infini-band,SNMP与MPI及OpenMP等函数库及通讯协议)，将此四台计算机集成为一计算机集群，选择其中任一台成为主控计算机(主机21)，其余三台成为附属计算机(子机22)，在主机21上布置主控软件，在布置的同时，主机21会将附属软件同时派送至子机22上，布置后主控软件即会生成一虚拟作业系统212，透过无限带宽网络1及SNMP、MPI、OpenMP等协议进行一系列的跨机工作交付，资源统整应用与监控等服务。S13：将各计算机节点的硬件整合为一硬件资源池23，并将各计算机节点的数据库整合为一数据库池24。其中，硬件资源池23包括一内存池和一CPU池，内存池包括各计算机节点的内存，CPU池包括各计算机节点的CPU。S14：主机21通过虚拟作业系统212本文档来自技高网...

【技术保护点】
一种虚拟对称多处理虚拟机创建方法，包括步骤：S11：通过一无限带宽网络连接多个计算机节点，各所述计算机节点之间相互通信连接，所述计算机节点包括一主机和多个子机；S12：将各所述计算机节点的作业系统整合为由所述主机控制的一虚拟作业系统；S13：将各所述计算机节点的硬件整合为一硬件资源池，并将各所述计算机节点的数据库整合为一数据库池；S14：所述主机通过所述虚拟作业系统对所述硬件资源池和所述数据库池直接管理和调用。

【技术特征摘要】
1.一种虚拟对称多处理虚拟机创建方法，包括步骤：S11：通过一无限带宽网络连接多个计算机节点，各所述计算机节点之间相互通信连接，所述计算机节点包括一主机和多个子机；S12：将各所述计算机节点的作业系统整合为由所述主机控制的一虚拟作业系统；S13：将各所述计算机节点的硬件整合为一硬件资源池，并将各所述计算机节点的数据库整合为一数据库池；S14：所述主机通过所述虚拟作业系统对所述硬件资源池和所述数据库池直接管理和调用。2.根据权利要求1所述的虚拟对称多处理虚拟机创建方法，其特征在于，所述硬件资源池包括一内存池和一CPU池，所述内存池包括各所述计算机节点的内存，所述CPU池包括各所述计算机节点的CPU。3.根据权利要求2所述的虚拟对称多处理虚拟机创建方法，其特征在于，所述无限带宽网络和所述多个计算机节点形成虚拟对称多处理结构。4.一种虚拟对称多处理虚拟机系统，其特征在于，包括：一数据传输模块，数据传输模块设置于一主机，用于接收客户端的任务请求和向所述客户端发送所述任务请求的处理结果；一硬件资源池，所述硬件资源池包括多个计算机节点的硬件，所述计算机节点包括所述主机和多个子机，所述多个计算机节点通过一无限带宽网络相互通信连接；一数据库池，所述数据库池包括各所述计算机节点的数据库；以及一虚拟作业系统，设置于所述主机，用于直接管理和调用所述硬件资源池与所述数据库池完成所述任务请求获得所述处理结果，并控制数据...

【专利技术属性】
技术研发人员：林铭杰，叶政晟，张彦彬，
申请(专利权)人：广州高能计算机科技有限公司，
类型：发明
国别省市：广东;44