一种基于可扩展和高性能计算的分布式管理架构及方法技术

本发明专利技术公布了一种基于可扩展和高性能计算的分布式管理架构及方法，其主要由集成管理系统、集中式管理系统和分布式管理系统构成，所述集成管理系统与所述集中式管理系统通过局域网网络连接，所述集成管理系统与所述分布式管理系统通过局域网网络连接；其中，所述集中式管理系统主要由多个设置有高性能的科学计算卡的服务器构成，由服务器集中管理所有的科学计算卡，并统一运算；所述分布式管理系统由多个设置有高性能的科学计算卡的普通计算机构成，通过服务器集中管理所有的科学计算卡，并统一运算。本发明专利技术采用分布式管理对单个运算节点的硬件要求很低，可以有效利用各种空闲的资源，大大提高了普通电脑的利用率。

Distributed management architecture and method based on scalable and high-performance computing

The invention discloses a scalable and high performance computing based on Distributed Management Architecture and method, which is mainly composed of an integrated management system, centralized management and distributed system management system, the integrated management system and the centralized management system connected by a local area network, the integrated management system and the distributed connection management system through the local area network; among them, the centralized management system is mainly composed of a set of high performance scientific computing card server, the server centralized management of all scientific computing card, and unified operation; the distributed management system consists of a plurality of setting a high performance scientific computing ordinary computer card, through the server centralized management of all scientific computing card, and unified operation. The invention adopts distributed management to lower the hardware requirement of a single arithmetic node, and can effectively utilize various idle resources, thereby greatly improving the utilization ratio of the common computer.

【技术实现步骤摘要】

本专利技术涉及一种基于可扩展和高性能计算的分布式管理架构及方法。
技术介绍
目前，业界对于高性能计算系统大都是采用基于集中式管理架构，即将所有的高性能计算卡集中在一起进行运算管理，这种架构存在很多问题。资源不能快速部署，进而不能灵活提高其运算的能力。资源利用率不高，当分布式计算机不在工作时，大量空闲计算资源未被利用。传统架构其高昂的硬件成本也限定了其扩展能力。针对目前主流的集中式管理架构，显然不能满足其未来更大数据的计算要求。本专利技术的目的在于提供一种基于可扩展、高性能计算的分布式管理架构,有效解决了其存在的问题。
技术实现思路
本专利技术目的是针对现有技术存在的缺陷提供一种基于可扩展和高性能计算的分布式管理架构及方法。本专利技术为实现上述目的，采用如下技术方案：一种基于可扩展和高性能计算的分布式管理架构，其主要由集成管理系统、集中式管理系统和分布式管理系统构成，所述集成管理系统与所述集中式管理系统通过局域网网络连接，所述集成管理系统与所述分布式管理系统通过局域网网络连接；其中，所述集中式管理系统主要由多个设置有高性能的科学计算卡的服务器构成，由服务器集中管理所有的科学计算卡，并统一运算；所述分布式管理系统由多个设置有高性能的科学计算卡的普通计算机构成，通过服务器集中管理所有的科学计算卡，并统一运算。进一步的，所述集成管理系统、集中式管理系统和分布式管理系统中均设置有cpu处理器单元、存储单元、电源单元和网络通信单元。进一步的，所述科学计算卡为GPU高性能计算卡和/或FPGA高性能计算卡和/或混合架构高性能计算卡。进一步的，所述科学计算卡包括六个子系统，分别为外接口通信系统、拟态计算系统、拟态管理系统、存储管理系统、供电系统和散热系统；所述外接口通信系统与所述拟态计算系统通讯连接，所述拟态计算系统与所述拟态管理系统通讯连接，所述拟态管理系统与所述存储管理系统通讯连接；其中，所述外接口通信系统用于将外接口及时序转化为通用的局部总线接口及时序；所述拟态计算系统将需要运算的数据通过相对应的算法转化为数据结果，并进行处理；所述拟态管理系统有多片功能完全相同的计算节点；所述存储管理系统采用多片计算资源及高性能存储器，每片计算节点连接多片IO独立的存储芯片，芯片中可存放海量数据；所述供电系统对科学计算卡上所有子系统进行供电；所述散热系统对科学计算卡上所有子系统进行散热，减少热量，防止板卡过热导致科学计算卡功能异常。进一步的，所述外接口通信系统连接计算机的PCI-e插槽、RJ45网口、PCI插槽、ATCA、RS232或RS485串口总线。一种基于可扩展和高性能计算的分布式管理方法，包括如下步骤：步骤一、得到用户下发的任务；步骤二、通过主控器对并发业务进行性能评估、功能评估和优先级评估；步骤三、经步骤二评估后即生成优化资源配置，将任务拆分以达到各节点负载均衡；步骤四、服务系统通过网络通信接口下发到相应的分布运算节点进行处理。本专利技术的有益效果：1)、相较于安装难度较大的专用服务器，本专利技术分布式管理架构，各节点就是日常使用的普通电脑，无需专业人员，可实现灵活部署。2)、对比成本动辄几十万的专用服务器，本专利技术分布式管理架构成本更低，且在更低成本的条件下运算能力优于专用服务器。3)、专用服务器超过10台以上，考虑到性能和散热，需要配置专业制冷设备，无形中增加了成本，本专利技术分布式架构则无需考虑散热问题。4)、本专利技术分布式运维及管理方式更为简单，单个运算节点的宕机不会造成整个系统的瘫痪，有效规避了单点失效问题，通过负载均衡以保证整个系统的稳定性。5)本专利技术分布式管理对单个运算节点的硬件要求很低，可以有效利用各种空闲的资源，大大提高了普通电脑的利用率。附图说明图1为本专利技术的系统整体结构示意图。图2为本专利技术的系统具体结构示意图。图3为本专利技术的系统架构原理图。图4为本专利技术的系统中科学计算卡结构示意图。图5为本专利技术的系统中管理端程序单元结构图。图6为本专利技术的系统中为设备节点程序结构图。具体实施方式图1至图2所示，涉及一种基于可扩展和高性能计算的分布式管理架构，其主要由集成管理系统、集中式管理系统和分布式管理系统构成，所述集成管理系统与所述集中式管理系统通过局域网网络连接，所述集成管理系统与所述分布式管理系统通过局域网网络连接；其中，所述集中式管理系统主要由多个设置有高性能的科学计算卡的服务器构成，由服务器集中管理所有的科学计算卡，并统一运算；所述分布式管理系统由多个设置有高性能的科学计算卡的普通计算机构成，通过服务器集中管理所有的科学计算卡，并统一运算。工作原理:集成式管理系统在接收了用户提交的任务之后，根据各个节点的科学计算资源，将任务分配到集中式管理系统和分布式管理系统中的运算节点上进行运算；对于集中式管理系统，集成管理系统按照算法特征分析算法，找到最匹配最合适的科学计算资源，直接分配到指定的设备上进行运算；对于分布式管理系统，集成管理系统将原始任务分为多个子任务，系统中每个分布式运算节点通过网络与管理系统相互通信，集成管理系统通过每个分布式运算节点反馈的任务状态来协调整个系统以达到最高的效率；最后某个节点得到结果反馈给集成管理系统，得到结果。图3中集成管理系统主要由cpu处理器单元，存储单元，电源单元，和网络通信单元构成，系统通过管理端程序对算法功效比和能效比进行分析，得到任务分片规则，通过网络通信单元下发任务到交换机上，交换机发送任务到指定的设备节点。集中式管理系统中设置有集中式管理架构设备节点，分布式管理系统中设置有分布式管理架构设备节点，上述设备节点中均设置有cpu处理器单元，存储单元，电源单元，网络通信单元和科学计算卡。设备节点中的网络单元和交换机连接，得到分配得到的任务。设备节点中的cpu处理器单元和科学计算单元混合异构实现科学高性能运算。设备节点中的科学计算卡分为fpga科学计算卡和/或gpu科学计算卡和/或dsp科学计算卡。图4为科学计算卡的具体结构示意图。具体的，所述科学计算卡包括六个子系统，分别为外接口通信系统、拟态计算系统、拟态管理系统、存储管理系统、供电系统和散热系统；所述外接口通信系统与所述拟态计算系统通讯连接，所述拟态计算系统与所述拟态管理系统通讯连接，所述拟态管理系统与所述存储管理系统通讯连接；其中，所述外接口通信系统用于将外接口及时序转化为通用的局部总线接口及时序；所述拟态计算系统将需要运算的数据通过相对应的算法转化为数据结果，并进行处理；所述拟态管理系统有多片功能完全相同的计算节点；所述存储管理系统采用多片计算资源及高性能存储器，每片计算节点连接多片IO独立的存储芯片，芯片中可存放海量数据；所述供电系统对科学计算卡上所有子系统进行供电；所述散热系统对科学计算卡上所有子系统进行散热，减少热量，防止板卡过热导致科学计算卡功能异常。其中，所述外接口通信系统连接计算机的PCI-e插槽、RJ45网口、PCI插槽、ATCA、RS232或RS485等串口总线。本专利技术系统的科学计算卡具有高度安全性能、可灵活性的、可执行高密度运算且高效。作为基于服务器的数据处理设备，该科学计算卡可以实现数据的海量数据处理。强大的计算节点处理性能，可以实现亿门级的硬件加速，方便用户进行复杂的逻辑处理与算法运算。并发业务中的图像、本文档来自技高网...

【技术保护点】
一种基于可扩展和高性能计算的分布式管理架构，其特征在于，其主要由集成管理系统、集中式管理系统和分布式管理系统构成，所述集成管理系统与所述集中式管理系统通过局域网网络连接，所述集成管理系统与所述分布式管理系统通过局域网网络连接；其中，所述集中式管理系统主要由多个设置有高性能的科学计算卡的服务器构成，由服务器集中管理所有的科学计算卡，并统一运算；所述分布式管理系统由多个设置有高性能的科学计算卡的普通计算机构成，通过服务器集中管理所有的科学计算卡，并统一运算。

【技术特征摘要】
1.一种基于可扩展和高性能计算的分布式管理架构，其特征在于，其主要由集成管理系统、集中式管理系统和分布式管理系统构成，所述集成管理系统与所述集中式管理系统通过局域网网络连接，所述集成管理系统与所述分布式管理系统通过局域网网络连接；其中，所述集中式管理系统主要由多个设置有高性能的科学计算卡的服务器构成，由服务器集中管理所有的科学计算卡，并统一运算；所述分布式管理系统由多个设置有高性能的科学计算卡的普通计算机构成，通过服务器集中管理所有的科学计算卡，并统一运算。2.如权利要求1所述的一种基于可扩展和高性能计算的分布式管理架构，其特征在于，所述集成管理系统、集中式管理系统和分布式管理系统中均设置有cpu处理器单元、存储单元、电源单元和网络通信单元。3.如权利要求1所述的一种基于可扩展和高性能计算的分布式管理架构，其特征在于，所述科学计算卡为GPU高性能计算卡和/或FPGA高性能计算卡和/或混合架构高性能计算卡。4.如权利要求1所述的一种基于可扩展和高性能计算的分布式管理架构，其特征在于，所述科学计算卡包括六个子系统，分别为外接口通信系统、拟态计算系统、拟态管理系统、存储管理系统、供电系统和散热系统；所述外接口通信系统与所述拟态计算...

【专利技术属性】
技术研发人员：张涛，邓佳伟，
申请(专利权)人：无锡十月中宸科技有限公司，
类型：发明
国别省市：江苏;32