本发明专利技术涉及一种面向异构计算的分布式大数据系统的集群硬件架构。本发明专利技术主要包括：通过存储节点构建分布式文件系统对数据I/O操作进行专门处理，提供高达18TB的磁盘阵列进行冗余数据存储，提高数据安全和系统稳定性；通过管理节点处理用户提交的数据和计算任务，并均衡分配给计算节点上的各计算设备进行处理，通过CUDA或OpenGL异构编程模型充分利用GPU的高浮点运算能力；采用专用高速网络InfiniBand连接各节点，并通过CUDA-awareMPI和GPUDirect技术根据网络通信条件，智能化地利用优化的数据通信路径进行消息的发送和接收；通过集群渲染节点规约各节点的结果，并形成最终的结果通过OpenGL进行绘制形成可视化输出。通过将异构计算、分布式计算以及数据可视化结合在一起，充分利用GPU的计算能力和图形处理能力，构建了一种面向异构计算的分布式大数据系统的集群硬件架构。
【技术实现步骤摘要】
一种面向异构计算的分布式大数据系统的硬件架构
本专利技术涉及分布式计算领域，更确切地说，涉及使用分布式异构计算对大数据进行处理和进行可视化的系统平台。
技术介绍
分布式异构计算模式推动了顶级的超级计算机的发展，使用MPI (事实上的分布式计算标准)使CUDA异构计算扩展至使用上千个节点。分布式异构计算所带来的性能优势非常明显，但也依赖于分布式通信设备的带宽和延迟特性。为了使CPU和GPU在分布式环境中被高效利用，开发人员必须使开发的程序和使用的算法能够扩展移植到相应的计算设备和通信网络限制条件下。随着大数据技术的成熟，伴随着数据量的增加，对数据挖掘和可视化的要求变得越来越高。当前具备CUDA异构计算能力的GPU可以以每秒数百帧的速度完成复杂数据计算和渲染等任务，混合使用CUDA和可视化支持库(如OpenGL)为可视化软件以及科学计算应用带来了极大的机遇。
技术实现思路
本专利技术的目的是为了克服现有技术中分布式节点间通信代价过高、可扩展性差的缺点，而提供一种低廉、可扩展性强的分布式异构计算和可视化系统架构。该系统架构的分布式文件系统能满足海量数据存储和处理的要求，并通过专用高速网络(InfiniBand)连接到渲染节点进行可视化操作。为了达到上述所说的目的，本专利技术所述的分布式异构系统架构由多个分布节点和消息交换机组成。各分布节点包括管理节点、计算节点、大数据存储节点以及渲染节点，各节点各司其职，协同工作。消息交换机包括以太网交换机和InfiniBand交换机，并有多协议通讯单元、消息交换协议单元和消息交换单元组成，支持GPUDirect和RDMA。分布节点启动时,该分布节点的消息交换协议单元向消息交换机注册,节点通过MPI利用优化的数据通信路径进行消息的发送和接收，最小化数据移动量。为了达到所述专利技术目的，本专利技术提出一种面向异构计算的分布式大数据系统的硬件架构，参加图1示意图，该架构包括以下部分: (1)海量数据存储。通过存储节点构建分布式文件系统对数据I/o操作进行专门处理，提供高达18TB的磁盘阵列进行冗余数据存储，提高数据安全和系统稳定性； (2)异构协同计算。通过管理节点处理用户提交的数据和计算任务，并均衡分配给计算节点上的各计算设备进行处理，通过CUDA或OpenGL异构编程模型充分利用GPU的高浮点运算能力； (3)高速网络互连。采用专用高速网络InfiniBand连接各节点，并通过CUDA-awareMPI和GPUDirect技术根据网络通信条件，智能化地利用优化的数据通信路径进行消息的发送和接收； (4)可视化渲染与显示。通过集群渲染节点规约各节点的结果，并形成最终的结果通过OpenGL进行绘制形成可视化输出。为了达到所述专利技术目的，本专利技术还提出了一种可扩展的MPI大规模数据级加载方法，包括以下步骤: (1)通过数据采集层将用户上载的待处理的输入数据以数据块的形式存储在大数据存储节点上，分布式文件系统接收用户提交的并行计算任务； (2)令各计算任务从分布式文件系统的文件中读取各自的数据，为每个任务提供包含数据的数据文件名； (3)各计算任务打开文件后，可根据需要进行数据查找和其他I/O操作以访问并加载数据。本专利技术还提供一种分布式异构计算数据操作的方法，包括以下步骤: (1)采用输入和输出同时划分的方式进行数据划分，并使用最优选择数据块分批划分的方法来进行优化； (2)考虑该架构的通信带宽以及CPU和GPU的计算能力(通过Linpack测试来获得)，将数据按比例划分为不同大小的数据块，并分批交给计算设备执行，以满足所有的计算任务负载均衡； (3)通过异步拷贝，重叠通信与计算的时间，提高该集群整体效率； (4)所有的计算设备内的线程进行并行计算后，每个设备都有一份局部的计算结果，所有设备都计算完毕之后，利用MPI对所有设备的计算结果进行规约，规约最后的结果即是最终的结果。本专利技术的有益效果在于:通过将异构计算、分布式计算以及数据可视化结合在一起，充分利用GPU的计算能力和图形处理能力，构建了一种面向异构计算的分布式大数据系统架构。架构设计合理，具有广泛的应用性。【附图说明】图1，本专利技术一种面向异构计算的分布式大数据系统硬件架构示意图； 图2，本专利技术可扩展的MPI大规模数据集加载流程示意图。【具体实施方式】下面结合附图及具体实例对本专利技术做进一步的描述。本专利技术提供一种可扩展的MPI大规模数据级加载方法，参加图2示意图，采用该I/O模型，依赖现代分布式文件系统的多线程并发访问时高带宽性能，可提供数百GB的存储带宽。本专利技术提供一种高效能分布式异构计算系统，通用实施步骤如下: (I)程序的O号进程被默认为传统的主从模式中的主进程，主进程具有如下任务: a)主进程进行初始化MPI环境以及进行数据加载； b)主进程运行优化处理并指挥从进程，将任务量划分成η个可并行化的部分；为了更好地利用有效资源，主进程和从进程都进行目标函数的计算； c)在目标函数的每次计算中，主进程使用MPI_Bcast()向所有从进程广播参数； d)每个进程(包括主进程和从进程)计算目标函数的部分结果，这一过程不需要任何进程间的通信； e)所有进程完成目标函数中各自的局部计算后，主进程调用MPI_RedUCe()取回所有部分结果的总和，对数据进行规约，该操作被高度优化，具有良好的扩展复杂度； (2)从进程在主进程开始工作的同时需要完成如下工作: a)从进程进行初始化数据加载； b)从进程从主进程读取运行参数，计算目标函数的部分结果，在收到请求时，向主进程发送计算出的部分结果；从进程保持上述操作的循环直到主进程通知其推出程序。依照上述实施步骤获得最终的计算结果后，集群渲染结果对各节点的局部计算结果进行规约，规约后根据可视化的要求进行绘制，为提高绘制效率，具体实施步骤如下: (1)使用OpenGL在高端图形卡上创建缓冲区对象； (2)通过CUDAKernel将该缓冲区对象映射入CUDA内存空间，以实现CUDA和OpenGL的互操作； (3)为利用基元重启提升系统的图形处理性能，在使用OpenGL进行绘制过程中，首先设置TAG值作为基元重启的标记,之后通知OpenGL状态机使用基元重启开始执行,然后绘制图元进行可视化输出。实验结果 本异构集群已进行Linpack测试。通过将HPL(High Performance Linpack)测试工程移植到CPU/GPU异构集群上，充分利用GPU的高浮点运算能力，取得了 1.5Tflops的双精度浮点运算性能，效率值高达60%，超过天河一号50%的效率值。本架构还应用到分布式粒子系统上，通过将粒子系统数值模拟算法高效的扩展到分布式集群上，得到了近似线性的可扩展性。本文档来自技高网...
【技术保护点】
一种面向异构计算的分布式大数据系统的硬件架构，其特征在于：该硬件架构包括5台服务器、磁盘阵列存储器、千兆以太网交换机以及InfiniBand网络交换机，如图1所示；其中服务器1作为该架构的管理节点，服务器2和服务器3为两台高性能计算节点，服务器4为集群渲染节点，服务器5作为该架构的存储节点；消息交换协议单元包括以太网交换机和InfiniBand交换机，并有多协议通讯单元、消息交换协议单元和消息交换单元组成，支持GPUDirect和RDMA；每个分布节点启动时，该分布节点的消息交换协议单元向消息交换机注册，节点通过MPI利用优化的数据通信路径进行消息的发送和接收，最小化数据移动量。
【技术特征摘要】
1.一种面向异构计算的分布式大数据系统的硬件架构，其特征在于: 该硬件架构包括5台服务器、磁盘阵列存储器、千兆以太网交换机以及InfiniBand网络交换机，如图1所示；其中服务器I作为该架构的管理节点，服务器2和服务器3为两台高性能计算节点，服务器4为集群渲染节点，服务器5作为该架构的存储节点；消息交换协议单元包括以太网交换机和InfiniBand交换机，并有多协议通讯单元、消息交换协议单元和消息交换单元组成，支持GPUDirect和RDMA ； 每个分布节点启动时，该分布节点的消息交换协议单元向消息交换机注册，节点通过MPI利用优化的数据通信路径进行消息的发送和接收，最小化数据移动量。2.根据权利要求1所述的集群架构，其特征在于:管理节点将用户上载的待处理输入数据以数据块的形式冗余地存储在异构集群的大数据存储节点上，分布式文件系统接收用户提交的并行计算任务；令各计算进程从分布式文件系统的文件中读取各自的数据，为每个进程提供包含数据的数据文件名；各进程打开文件后，可根据需要进行数据查找和其他I/O操作以访问并...
【专利技术属性】
技术研发人员：王旭智，余小清，李翔飞，万旺根，诸亮飞，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海;31
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。