一种大数据处理系统技术方案

本发明专利技术公开了一种大数据处理系统，包括多个数据节点，每个数据节点包括：底层硬件层，该底层硬件层至少包括CPU、FPGA异构加速卡，该FPGA异构加速卡通过总线与CPU通信；系统驱动层，该系统驱动层至少加载FPGA异构加速卡驱动；JVM层，该JVM层设置有Java本地接口；大数据框架层，该大数据框架层经由JVM层通过Java本地接口调用FPGA异构加速卡；以及运行支持库层，该运行支持库层用于FPGA异构计算。本发明专利技术的大数据处理系统，能够满足计算复杂度高的任务对实时性的要求，实现计算任务的流水并行处理，降低JVM与FPGA数据传输延时，实现标签在线更新功能。

【技术实现步骤摘要】
一种大数据处理系统
本专利技术涉及大数据处理
，更具体地，特别是指一种大数据处理系统。
技术介绍
大数据时代的到来对计算系统的性能提出了更高的要求，采用Hadoop、Spark等分布式计算的方式能够把巨大的问题分成许多小的部分，然后把这些小任务分配给许多计算机进行处理，通过多个计算节点来处理同一任务，以满足大数据处理的要求。然而单纯采用CPU进行处理无法满足计算复杂度高的任务对实时性的要求。目前我国主流计算机采用的X86处理器、Windows操作系统等，存在核心技术受制于人带来的安全隐患，“棱镜门”事件以及近期发生的美国制裁中兴事件已经给我们上了沉重的一课，不遗余力地加快发展自主可控核心软硬件已经成为我国信息技术安全发展的当务之急。为此，需要提出一种基于国产CPU的大数据处理平台，以满足我国核心关键领域的大数据处理需求。现有技术中尚未披露一种基于国产CPU的大数据处理系统，该系统能够满足计算复杂度高的任务对实时性的要求，实现计算任务的流水并行处理，降低JVM与FPGA数据传输延时，实现标签在线更新功能等。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种大数据处理系统，能够满足计算复杂度高的任务对实时性的要求，实现计算任务的流水并行处理，降低JVM与FPGA数据传输延时，实现标签在线更新功能。基于上述目的，本专利技术实施例的一方面提供了一种大数据处理，包括多个数据节点，每个数据节点包括：底层硬件层，该底层硬件层至少包括CPU、FPGA异构加速卡，所述FPGA异构加速卡通过总线与CPU通信；系统驱动层，该系统驱动层至少加载FPGA异构加速卡驱动；JVM层，该JVM层设置有Java本地接口；大数据框架层，该大数据框架层经由JVM层通过Java本地接口调用FPGA异构加速卡；以及运行支持库层，该运行支持库层用于FPGA异构计算。在一些实施方式中，大数据框架层至少包括计算框架、资源管理器yarn以及分布式存储系统。在一些实施方式中，所述资源管理器yarn的资源调度采用基于标签的方式，该标签表示节点能够加速的作业。在一些实施方式中，数据节点插入多个FPGA异构加速卡，每个FPGA异构加速卡部署运行相同或不同作业任务的多个核。在一些实施方式中，FPGA异构加速卡之间通过其上提供的SRIO*4接口实现相互通信。在一些实施方式中，数据节点内的每个FPGA异构加速卡通过SRIO进行互联通信以实现计算任务的流水并行处理。在一些实施方式中，FPGA异构加速卡被设置为实现算法的在线可重构的静态配置区和动态可重构区。在一些实施方式中，静态配置区包括DDR4控制器、PCIe-DMA模块、万兆以太网模块、SRIO通信模块。在一些实施方式中，运行支持库层包括OpenCL运行支持库，该OpenCL运行支持库为CPU调用FPGA提供动态链接库。在一些实施方式中，JVM和FPGA数据传输延时在CPU与FPGA通信过程中采用流水线技术和FPGA缓存技术实现降低。本专利技术具有以下有益技术效果：本专利技术实施例提供的大数据处理系统，通过建立异构加速平台，能够满足计算复杂度高的任务对实时性的要求，实现计算任务的流水并行处理，降低JVM与FPGA数据传输延时，实现标签在线更新功能。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术提供的大数据处理系统的层次框架的示意图；图2为本专利技术提供的大数据处理系统的基于标签的资源分配示意图；图3为本专利技术提供的大数据处理系统的拓扑结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种大数据处理系统的实施例。图1示出的是本专利技术提供的大数据处理系统的层次框架的实施例的示意图。所述大数据处理系统包括多个数据节点(datanode)，每个数据节点包括：底层硬件层，该底层硬件层至少包括CPU、FPGA(Field-ProgrammableGateArray，即现场可编程门阵列)异构加速卡，该FPGA异构加速卡通过总线与CPU通信；系统驱动层，该系统驱动层至少加载FPGA异构加速卡驱动；JVM层，该JVM层设置有Java本地接口；大数据框架层，该大数据框架层经由JVM层通过Java本地接口调用FPGA异构加速卡；以及运行支持库层，该运行支持库层用于FPGA异构计算。如图1所示，所述底层硬件层包括国产CPU、FPGA异构加速卡、网络、存储等设备。系统驱动层采用国产操作系统，并且加载FPGA异构加速卡等驱动。JVM层在系统层之上，支撑大数据框架层运行。大数据框架层通过Java本地接口(JNI)调用FPGA异构加速卡，大数据框架层包括MapReduce、Spark等计算框架、资源管理器yarn以及分布式存储系统等组件。在一个实施方式中，大数据框架层至少包括计算框架、资源管理器yarn以及分布式存储系统。其中，计算框架包括MapReduce、Spark等。在一个实施方式中，资源调度采用基于标签的方式，该标签表示节点能够加速的作业。图2为本专利技术提供的大数据处理系统的基于标签的资源分配示意图。如图2所示，为有效管理FPGA计算资源，对yarn资源进行扩展，并采用基于标签的方式进行资源调度。每个节点能够加速的具体作业被设置成相应的标签，在资源管理器中将整个集群的资源分到几个队列中，并为各个队列设置标签，例如：标签1可以代表加速GZIP压缩算法、标签2可以代表加速聚类算法(K-means)，标签N可以代表加速贝叶斯(Bayes)算法等，其中GZIP是GNUzip的缩写，它是一个GNU自由软件的文件压缩程序。提交的作业首先查询是否存在相应的节点标签，若有，则将作业提交到与节点标签相同的队列中，若没有，则按照yarn公平调度器的多维资源调度算法(DRF)选择候选FPGA进行算法重构，并更新该节点标签，同时建立与其相对应的队列，实现标签在线更新功能。在一个实施方式中，数据节点采用CPU+FPGA的异构计算模式，其中数据节点插入多个FPGA异构加速卡，每个FPGA异构加速卡部署运行相同或不同作业任务的多个核；FPGA异构加速卡之间通过其上提供的SRIO*4接口实现相互通信；数据节点内的每个FPGA异构加速卡通过SRIO进行互联通信以实现计算任务的流水并行处理；FPGA异构加速卡被设置为实现算法的在线可重构的静态配置区和动态可重构区；静态配置区包括DDR4控制器、PCIe-DMA模块、万兆以太网模块、SRIO通信模块。图3为本专利技术提供的大数据处理系统的拓扑结构示意图。如图3所示，由若干数据节点Datanode、两个Namenode通过网络互连，Namenode负责运行资源管理等任务，数据本文档来自技高网...

【技术保护点】
1.一种大数据处理系统，其特征在于，包括多个数据节点，每个数据节点包括：底层硬件层，所述底层硬件层至少包括CPU、FPGA异构加速卡，所述FPGA异构加速卡通过总线与CPU通信；系统驱动层，所述系统驱动层至少加载FPGA异构加速卡驱动；JVM层，所述JVM层设置有Java本地接口；大数据框架层，所述大数据框架层经由所述JVM层通过Java本地接口调用FPGA异构加速卡；以及运行支持库层，所述运行支持库层用于FPGA异构计算。

【技术特征摘要】
1.一种大数据处理系统，其特征在于，包括多个数据节点，每个数据节点包括：底层硬件层，所述底层硬件层至少包括CPU、FPGA异构加速卡，所述FPGA异构加速卡通过总线与CPU通信；系统驱动层，所述系统驱动层至少加载FPGA异构加速卡驱动；JVM层，所述JVM层设置有Java本地接口；大数据框架层，所述大数据框架层经由所述JVM层通过Java本地接口调用FPGA异构加速卡；以及运行支持库层，所述运行支持库层用于FPGA异构计算。2.根据权利要求1所述的系统，其特征在于，所述大数据框架层至少包括计算框架、资源管理器yarn以及分布式存储系统。3.根据权利要求2所述的系统，其特征在于，所述资源管理器yarn的资源调度采用基于标签的方式，所述标签表示节点能够加速的作业。4.根据权利要求1所述的系统，其特征在于，所述数据节点插入多个FPGA异构加速卡，每个FPGA异构加速卡部署运行相同或不同作业任...

【专利技术属性】
技术研发人员：彭福来，于治楼，刘毅枫，姚春强，
申请(专利权)人：山东超越数控电子股份有限公司，
类型：发明
国别省市：山东,37