一种基于MapReduce的K-means聚类算法FPGA加速系统技术方案

本发明专利技术提出了一种基于MapReduce的K‑means聚类算法FPGA加速系统，该加速系统主要包括Map任务数据收发子系统、Map任务加速子系统、Reduce任务数据收发子系统和Reduce任务加速子系统，Map任务数据收发子系统传送来自PCIe端的相应数据给Map任务加速子系统，并将Map任务加速子系统的最终计算结果回传给PCIe端；Reduce任务数据收发子系统传送来自PCIe端的相应数据给Reduce任务加速子系统，并将Reduce任务加速子系统的最终计算结果回传给PCIe端。按照本发明专利技术实现的加速系统，将所需要进行的耗时计算过程从上层中分离出来，采用专用的硬件系统来进行相应的计算，并且系统中的各模块采用流水线设计和并行处理方法，大大提高了运算处理速度。

A K-means clustering algorithm FPGA acceleration system based on MapReduce

The invention provides a FPGA K means acceleration system clustering algorithm based on MapReduce, the acceleration system mainly includes the Map mission data transceiver subsystem, Map subsystem, Reduce task to accelerate the task of data transceiver subsystem and Reduce subsystem to accelerate the task, the corresponding Map data transceiving system task data transferred from the PCIe terminal to Map the task to accelerate the subsystem, and the Map task accelerated the final results back to the PCIe terminal subsystem; data corresponding to Reduce mission data transceiving system transmission from the PCIe terminal to the Reduce tasks to accelerate the subsystem, and the Reduce task accelerated the final results back to the PCIe terminal subsystem. According to the invention realizes the acceleration system, will require time-consuming calculation process is separated from the upper, to carry out the corresponding calculation using special hardware system, and each module of the system in the design of pipeline and parallel processing method, greatly improves the processing speed of operation.

【技术实现步骤摘要】
一种基于MapReduce的K-means聚类算法FPGA加速系统
本专利技术属于复杂算法硬件加速系统，具体涉及一种大数据量下基于MapReduce的K-means聚类算法FPGA加速系统。
技术介绍
随着大数据时代的来临，大数据的应用越来越彰显它的优势，它占领的领域也越来越大；但大数据时代仍然面临着一些亟待解决的难题，比如数据量大、价值密度低、处理速度快、时序性要求高等，因此机器学习和数据挖掘技术正日益获得计算领域的关注。聚类分析是数据挖掘中的重要内容，在工业、商业和科研等领域发挥着越来越重要的作用。K-means算法属于聚类分析中的一种基本划分方法，常采用误差平方和准则函数作为聚类准则，该算法在处理数据集上相对可伸缩且效率高。但面对大规模数据集时，其串行计算方法的时间复杂度比较高，处理能力存在局限性，其在计算数据对象间的距离上遇到瓶颈。
技术实现思路
本专利技术提供一种大数据量下基于MapReduce的K-means聚类算法FPGA加速系统，其目的在于克服现有PC机或服务器串行方式执行K-means算法计算复杂度高，速度慢，算法时间开销大的缺陷，以获取更快的计算处理速度。本专利技术所本文档来自技高网...

【技术保护点】
一种基于MapReduce的K‑means聚类算法FPGA加速系统，其特征在于，该加速系统可模块化设计，可多个独立并行设置于集群中实现加速；所述加速系统包括Map任务数据收发子系统、Map任务加速子系统、Reduce任务数据收发子系统和Reduce任务加速子系统；所述Map任务数据收发子系统传送来自PCIe端的对应数据给所述Map任务加速子系统，并将所述Map任务加速子系统的计算结果数据回传给PCIe端；所述Reduce任务数据收发子系统传送来自所述PCIe端的对应数据给所述Reduce任务加速子系统，并将所述Reduce任务加速子系统最终计算结果回传给PCIe端；所述Reduce任务加速子系...

【技术特征摘要】
1.一种基于MapReduce的K-means聚类算法FPGA加速系统，其特征在于，该加速系统可模块化设计，可多个独立并行设置于集群中实现加速；所述加速系统包括Map任务数据收发子系统、Map任务加速子系统、Reduce任务数据收发子系统和Reduce任务加速子系统；所述Map任务数据收发子系统传送来自PCIe端的对应数据给所述Map任务加速子系统，并将所述Map任务加速子系统的计算结果数据回传给PCIe端；所述Reduce任务数据收发子系统传送来自所述PCIe端的对应数据给所述Reduce任务加速子系统，并将所述Reduce任务加速子系统最终计算结果回传给PCIe端；所述Reduce任务加速子系统完成K-means算法中单个MapReduce任务的Reduce计算阶段，即计算K个类簇的聚类中心；所述Map任务加速子系统完成所述K-means算法中单个MapReduce任务的Map计算阶段，即计算数据对象与K个所述聚类中心的距离，并将所述数据对象指派到一个距离其最近的聚类中心所在的类簇。2.如权利要求1所述的基于MapReduce的K-means聚类算法FPGA加速系统，其特征在于：所述Map任务数据收发子系统和所述Reduce任务数据收发子系统的组成都包括各自的交互接口模块、数据读取模块和数据发送模块；所述Map任务数据收发子系统中的数据读取模块、数据发送模块与所述外部PCIe端相连，所述Map任务加速子系统与所述Map任务数据收发子系统中的数据读取模块相连，所述Map任务数据收发子系统中的数据发送模块与所述Map任务加速子系统相连；所述Map任务数据收发子系统中的交互接口模块与所述外部PCIe端相连，所述Map任务加速子系统与所述Map任务数据收发子系统中的交互接口模块相连；所述Reduce任务数据收发子系统中的数据读取模块、数据发送模块与所述外部PCIe端相连，所述Reduce任务加速子系统与所述Reduce任务数据收发子系统中的数据读取模块相连，所述Reduce任务数据收发子系统中的数据发送模块与所述Reduce任务加速子系统相连；所述Reduce任务数据收发子系统中的交互接口模块与外部PCIe端相连，所述Reduce任务加速子系统与所述Reduce任务数据收发子系统中的交互接口模块相连。3.如权利要求2所述的基于MapReduce的K-means聚类算法FPGA加速系统，其特征在于：所述Map任务数据收发子系统中的交互接口模块和所述Reduce任务数据收发子系统中的交互接口模块包含多个配置寄存器和状态寄存器，通过寄存器地址与所述上层PCIe端完成信息交互；所述多个配置寄存器接收来自上层PCIe端的配置数据和启动信号，所述多个状态寄存器存储所述加速系统的工作状态供所述上层PCIe端查询。所述Map任务数据收发子系统中的数据读取模块和所述Reduce任务数据收发子系统中的数据读取模块包含命令队列，长度队列和数据队列；所述命令队列接收来自所述上层PCIe端的待加速数据读命令，所述长度队列保存所述数据的长度信息，所述数据送入所述数据队列缓存，所述Map任务数据收发子系统中数据读取模块的所述数据最终发送给所述Map任务加速子系统，所述Reduce任务数据收发子系统中数据读取模块的所述数据最终发送给所述Reduce任务加速子系统；所述Map任务数据收发子系统中的数据发送模块和所述Reduce任务数据收发子系统中的数据发送模块包含命令队列和数据队列，当需要通过PCIe端向上层发送加速计算后的结果数据时，所述数据队列事先缓存加速结果数据，所述命令队列在所述数据队列中有数据时接收发送给所述PCIe端...

【专利技术属性】
技术研发人员：李开，曹计昌，邹复好，阳美玲，黄浩，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42