一种单机内计算集群系统和控制方法技术方案

本发明专利技术公开了一种单机内计算集群系统和控制方法，该系统包括有业务分发模块、多块网卡、CPU和多个硬盘，所述CPU包括有多个计算核心，所述多块网卡和CPU的多个计算核心一一对应组成单机内的多个计算节点，所述CPU与多个硬盘通过数据总线连接。本发明专利技术通过在单机中将多个计算核心、多个网卡设置为多个计算节点，并与多个硬盘连接绑定，通过业务分发模块实现应用请求的合理分配，低成本实现单机内高IO性能和高效率的集群计算，并且能完美适配多个接入网。本发明专利技术作为一种单机内计算集群系统和控制方法可广泛应用于数据处理领域。

【技术实现步骤摘要】

本专利技术涉及数据处理领域，尤其是一种单机内计算集群系统和控制方法。
技术介绍
当前所有的高性能，高IO计算集群都是基于多台物理服务器，一台服务器作为一个计算节点，从而形成计算集群。由于依赖多台物理服务器，成本相对高昂。为了解决上述问题，现有技术中一种集群中单机多节点的实现方法（CN102999571B）通过在一台服务器上部署多个节点，无需再依赖多台物理服务器，但其方法仅说明了部署的多个节点和服务器磁盘，实现的是集群中所有节点信息的共享，解决了无法充分利用多块磁盘的局限，但并增加处理能力；尤其是在大量数据IO的应用场合中，由于读写数据量大、种类多而杂，服务器在各种不同的数据之间、读写操作之间进行频繁切换，导致处理效率低下、出错率高。
技术实现思路
为了解决上述技术问题，本专利技术的目的是：提供一种单机内实现高性能、高IO速度的计算集群系统。为了解决上述技术问题，本专利技术的另一目的是：提供一种单机内实现高性能、高IO速度的计算集群控制方法。本专利技术所采用的技术方案是：一种单机内计算集群系统，包括有业务分发模块、多块网卡、CPU和多个硬盘，所述CPU包括有多个计算核心，所述多块网卡和CPU的多个计算核心一一对应组成单机内的多个计算节点，所述CPU与多个硬盘通过数据总线连接。进一步，所述业务分发模块为DNS负载均衡模块。进一步，所述业务分发模块为HTTP调度模块。进一步，所述多个硬盘为SSD硬盘。进一步，所述CPU多个计算核心中每个计算核心与至少一块硬盘绑定。本专利技术所采用的另一技术方案是：一种单机内计算集群控制方法，包括有以下步骤：A、将单机内的CPU多计算核心和多块网卡连接组成多个计算节点，每个计算节点包括有一个CPU计算核心和一块网卡，每个计算节点至少绑定一块硬盘；B、业务分发模块获取应用请求，并将请求内容发送至相应的计算节点；C、计算节点中的网卡收到请求内容并转发至对应的CPU计算核心进行处理，然后通过数据总线对绑定的硬盘进行读写操作。进一步，所述步骤A中每个计算节点的CPU计算核心设置有来源服务器标识，所述来源服务器标识用于区分应用请求来源。进一步，所述步骤B具体为：业务分发模块获取应用请求，并将请求内容经过负载均衡或HTTP调度后发送至相应的计算节点。进一步，所述步骤B具体包括以下子步骤：B1、业务分发模块获取应用请求；B2、业务分发模块将应用请求来源通过各计算节点的网卡发送至CPU计算核心；B3、CPU计算核心将应用请求来源与来源服务器表示对比，对比结果为相同的CPU计算核心通过网卡反馈结果至业务分发模块；B4、业务分发模块根据上述步骤B3反馈将应用请求的请求内容发送至对应的网卡。进一步，所述步骤A中每个计算节点的CPU计算核心还设置有调度优先级标识，所述步骤B4具体为：若步骤B3中有多个CPU计算核心通过网卡反馈结果至业务分发模块，则业务分发模块根据上述调度优先级标识将应用请求的请求内容发送至对应的网卡。本专利技术的有益效果是：本专利技术系统在单机中将多个计算核心、多个网卡设置为多个计算节点，并与多个硬盘连接绑定，通过业务分发模块实现应用请求的合理分配，低成本实现单机内高IO性能和高效率的集群计算，并且能完美适配多个接入网。本专利技术的另一有益效果是：本专利技术方法在单机中将多个计算核心、多个网卡设置为多个计算节点，并与多个硬盘连接绑定，通过业务分发模块实现应用请求的合理分配，低成本实现单机内高IO性能和高效率的集群计算，并且能完美适配多个接入网。附图说明图1为本专利技术中单机内系统结构示意框图；图2为本专利技术中单机内集群控制方法步骤流程图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明：参照图1，一种单机内计算集群系统，包括有业务分发模块、多块网卡、CPU和多个硬盘，所述CPU包括有多个计算核心，所述多块网卡和CPU的多个计算核心一一对应组成单机内的多个计算节点，所述CPU与多个硬盘通过数据总线连接。所述CPU可采用：1、多个处理器，每个处理器作为一个计算核心；2、多核处理器作为多个计算核心；3、其他多计算核心技术。进一步作为优选的实施方式，所述业务分发模块为DNS负载均衡模块。进一步作为优选的实施方式，所述业务分发模块为HTTP调度模块。进一步作为优选的实施方式，所述多个硬盘为SSD硬盘。进一步作为优选的实施方式，所述CPU多个计算核心中每个计算核心与至少一块硬盘绑定。参照图2，一种单机内计算集群控制方法，其中单机内计算集群系统结构可参照图1，包括有以下步骤：A、将单机内的CPU多计算核心和多块网卡连接组成多个计算节点，每个计算节点包括有一个CPU计算核心和一块网卡，每个计算节点至少绑定一块硬盘；其中单机内的CPU计算核心数量可扩展，网卡数量相应增加，硬盘数量也可相应地增加。B、业务分发模块获取应用请求，并将请求内容发送至相应的计算节点；C、计算节点中的网卡收到请求内容并转发至对应的CPU计算核心进行处理，然后通过数据总线对绑定的硬盘进行读写操作；所述CPU计算核心可绑定一块或多块硬盘，但一块硬盘只绑定唯一的计算核心；计算核心和硬盘之间可通过简单的映射关系绑定，当硬盘所绑定的计算核心未将其利用时，可灵活调整绑定关系，从而分配到IO操作量更多、频繁更高的计算核心。进一步作为优选的实施方式，所述步骤A中每个计算节点的CPU计算核心设置有来源服务器标识，所述来源服务器标识用于区分应用请求来源。单机中的每个节点只处理相应的数据来源，从而减少计算核心在计算过程中的任务切换过程，提高处理能力和IO速率。进一步作为优选的实施方式，所述步骤B具体为：业务分发模块获取应用请求，并将请求内容经过负载均衡或HTTP调度后发送至相应的计算节点。例如采用DNS负载均衡技术，如图1所示的计算集群系统部署到的双线最常见的双线机房内，计算节点A（包括网卡A和计算核心A）通过自己的网卡A连接电信的网络，计算节点B相应地通过网卡B连接联通的网络，通过DNS的调度，使得电信的用户访问计算节点A，联通的用户访问节点计算B，可以使得整台计算机达到最大的资源利用，包括网络IO、磁盘IO和CPU等。进一步作为优选的实施方式，所述步骤B具体包括以下子步骤：B1、业务分发模块获取应用请求；B2、业务分发模块将应用请求来源通过各计算节点的网卡发送至CPU计算核心；B3、CPU计算核心将应用请求来源与来源服务器表示对比，对比结果为相同的CPU计算核心通过网卡反馈结果至业务分发模块；B4、业务分发模块根据上述步骤B3反馈将应用请求的请求内容发送至对应的网卡。进一步作为优选的实施方式，所述步骤A中每个计算节点的CPU计算核心还设置有调度优先级标识，所述步骤B4具体为：若步骤B3中有多个CPU计算核心通过网卡反馈结果至业务分发模块，则业务分发模块根据上述调度优先级标识将应用请求的请求内容发送至对应的网卡。所述调度优先级可根据访问频率进行设定。以上是对本专利技术的较佳实施进行了具体说明，但本专利技术创造并不限于所述实施例，熟悉本领域的技术人员在不违背本专利技术精神的前提下还可以作出种种的等同变换或替换，这些等同的变形或替换均包含在本申请权利要求所限定的范围内。本文档来自技高网...

【技术保护点】
一种单机内计算集群系统，其特征在于：包括有业务分发模块、多块网卡、CPU和多个硬盘，所述CPU包括有多个计算核心，所述多块网卡和CPU的多个计算核心一一对应组成单机内的多个计算节点，所述CPU与多个硬盘通过数据总线连接。

【技术特征摘要】
1.一种单机内计算集群系统，其特征在于：包括有业务分发模块、多块网卡、CPU和多个硬盘，所述CPU包括有多个计算核心，所述多块网卡和CPU的多个计算核心一一对应组成单机内的多个计算节点，所述CPU与多个硬盘通过数据总线连接。2.根据权利要求1所述的一种单机内计算集群系统，其特征在于：所述业务分发模块为DNS负载均衡模块。3.根据权利要求1所述的一种单机内计算集群系统，其特征在于：所述业务分发模块为HTTP调度模块。4.根据权利要求1所述的一种单机内计算集群系统，其特征在于：所述多个硬盘为SSD硬盘。5.根据权利要求1所述的一种单机内计算集群系统，其特征在于：所述CPU多个计算核心中每个计算核心与至少一块硬盘绑定。6.一种单机内计算集群控制方法，其特征在于，包括有以下步骤：A、将单机内的CPU多计算核心和多块网卡连接组成多个计算节点，每个计算节点包括有一个CPU计算核心和一块网卡，每个计算节点至少绑定一块硬盘；B、业务分发模块获取应用请求，并将请求内容发送至相应的计算节点；C、计算节点中的网卡收到请求内容并转发至对应的CPU计算核心进行处理，然后通过数据总线对绑定的硬盘进行读写操作。7.根据权...

【专利技术属性】
技术研发人员：张辉，
申请(专利权)人：广州艾美网络科技有限公司，
类型：发明
国别省市：广东;44