一种基于GPU的异步图数据处理系统技术方案

本发明专利技术公开了一种基于GPU的异步图数据处理系统，包括：实现一个混合着色的算法：将原有的单一、启发式着色算法改为混合着色算法；数据预处理策略：将原有的基于顶点度数的预处理分割方法改为基于顶点着色分布的方式；异步处理执行引擎：将处理引擎的执行方式由同步BSP方式改为异步处理的方式，结合混合着色算法模块，实现GPU上的无锁异步编程；在异步处理执行引擎内部，实现迭代处理模块、数据流执行模块，对CPU和GPU的带宽、计算能力等资源进行统一管理和使用。本发明专利技术实现了一个基于GPU的图数据处理系统，异步执行引擎能够极大地加速图算法收敛速度，解决GPU上的同步等待开销、异步编程锁开销等问题，进而提升GPU对图数据的处理能力。

【技术实现步骤摘要】

本专利技术属于图数据处理和高性能计算领域，更具体地，涉及一种基于GPU的异步图数据处理系统。
技术介绍
大规模的图数据处理，被越来越多的应用所涉及。传统的单机图处理系统，对大规模的图数据进行划分、之后依序对数据块进行处理，相比较于分布式系统编程的繁琐，简洁的单机系统得到了越来越多的关注。单机系统的关键，也就是解决由于图数据划分而带来的磁盘访问性能差、任务并发度低、设备内存带宽利用率低等问题，在学术界，针对此类问题已经进行了一些积极探索和尝试。GraphChi 系统采用了新设计的滑动窗口 PSW(Parallel Sliding Window)算法，将磁盘数据分块引入内存进行处理，流动地顺序访问磁盘数据，解决了由大量随机磁盘访问带来的1开销。但是这种数据划分策略，将导致每次执行的数据中存在有大量的数据访问冲突，从而只会有很少的一部分进行并行处理，执行效率很低。TurboGraph系统，在GraphChi系统的基础之上，尝试解决任务并行度低下的问题，采用Pin-and-slide编程模型，将部分数据固定在内存中，加快访问效率，同时覆盖了一部分1过程和CPU处理过程，提高并行度。本文档来自技高网...

【技术保护点】
一种基于GPU的异步图数据处理系统，其特征在于，所述系统包括数据预处理模块、数据流管理模块、异步执行模块和迭代处理模块，其中：所述数据预处理模块，用于对原始图数据进行预处理，采用混合着色算法，将原始图数据划分为一定数目的子数据，并保证每一个子数据中的顶点被分配得到的颜色相同，该模块在CPU中执行完成；所述数据流管理模块，用于管理CPU和GPU之间的数据交换，通过CUDA语言的支持，在CPU memory和GPU设备内存进行数据交换时，采用数据预取、多管道数据拷贝的方式，利用PCI‑E的带宽，并减少数据交换开销；所述异步执行模块，用于对拷贝到GPU设备内存中的数据进行异步执行，将数据通过PCI‑...

【技术特征摘要】

【专利技术属性】
技术研发人员：石宣化，金海，梁俊岭，陆路，罗璇，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北;42