【技术实现步骤摘要】
多请求并发的GPU图随机游走优化实现方法及系统
[0001]本专利技术涉及的是一种分布式数据处理领域的技术，具体是一种多请求并发的GPU图随机游走优化实现方法及系统。
技术介绍
[0002]图随机游走算法根据预先定义的方式，持续选择当前节点的领接节点，从而提取当前大图的子图序列。现有少数工作在GPU上优化图随机游走算法借助GPU平台的高算力取得一定的加速效果。但这些基于GPU的图随机游走框架都只考虑串行执行图随机游走任务请求，导致在一些情况下无法充分利用GPU资源，没有考虑到多随机游走请求情况下的并发潜力。
技术实现思路
[0003]本专利技术针对现有技术因图随机游走作为内存密集型任务，并且大图数据往往超出GPU内存上限，从而导致GPU执行图随机游走任务时的计算能力超出带宽上限从而频繁陷入流水线停滞的问题，提出一种多请求并发的GPU图随机游走优化实现方法及系统，根据随机游走算法和GPU硬件特征进行细粒度的优化，依据并发模型给不同类型请求打分，结合预测时间与不同类型请求数量判断最适合于并发运行的请求组合，根据G...
【技术保护点】
【技术特征摘要】
1.一种多请求并发的GPU图随机游走优化实现方法，其特征在于，在离线阶段对图随机游走请求分类并正对各个请求的GPU资源占用情况，建立基于图随机游走请求类型和资源占用情况的并发效果判断机制；在在线阶段通过调度器预测图随机游走请求执行时间并根据各个图随机游走请求的适合度调整运行优先级和/或运行组合，通过GPU内存存储层级及多加速器端进行图数据切分管理和图随机游走请求执行。2.根据权利要求1所述的多请求并发的GPU图随机游走优化实现方法，其特征是，所述的建立基于图随机游走请求类型和资源占用情况的并发效果判断机制，具体包括：i)根据需要处理的图数据的大小和GPU板上内存大小，将请求分为图数据大于GPU板上内存的大图请求与图数据小于等于GPU板上内存的小图请求；ii)判断各类型图随机游走请求需要的内存资源及计算资源数量；iii)根据图随机游走请求的特点，判断各请求并发执行的合适程度，包括：请求层面的并发执行，即将使用不同图随机游走算法的请求并发执行；以及图数据层面的并发执行，即将大图请求和小图请求并发执行。3.根据权利要求1所述的多请求并发的GPU图随机游走优化实现方法，其特征是，所述的预测图随机游走请求执行时间，通过根据图随机游走请求的类型给出基础时间后，基于处理请求的批量大小、图的平均度数进行微调得到，具体为：其中：T(t)为预测的图随机游走任务的执行时间，T(s)为同一类型的基准任务的执行时间，D(t,s)为图平均度数的差值，batch
t
为目标图随机游走任务的批处理大小，batch
s
为基准批处理大小，θ为可以调节的常数。4.根据权利要求1所述的多请求并发的GPU图随机游走优化实现方法，其特征是，所述的各个图随机游走请求的适合度是指：依据图随机游走并发运行模型中各个并发运行方式下图随机游走请求的参数，判断图随机游走请求的适合程度，并参照各类型请求数量，为数量较多的请求添加偏向，具体为：S(t1，t2)＝Max(G(t1，t2)，M(t1，t2)+α*Abundant，其中：t为图随机游走任务，G和M分别计算其图数据层面和请求层面的并行合适程度，abundant根据该两个类型的图随机请求在所有图随机游走请求中的占比生成一个0到1之间的值，占比越高该值越高，α为可以调节的常数。5.根据权利要求1所述的多请求并发的GPU图随机游走优化实现方法，其特征是，所述的调整运行优先级和/或运行组合包括：
①
根据适合度降序排列并相应设置优先级、
②
对于同一类型的图随机游走请求进行拼接，将其视为一个新请求，或
①
与
②
的组合。6.根据权利要求1所述的多请求并发的GPU图随机游走优化实现方法，其特征是，所述的调整运行优先级和/或运行组合具体包括：步骤1：选择一个图随机游走请求；步骤2：按接收时间顺序选择下一个图随机游走请求；步骤3：对于这两个请求进行打分；步骤4：预测这两个请求的运行时间；步骤5：判断是否需要拼接多个请求；步骤6：将打分与运行时间百分比差值相乘，记录为这两个请求的最终分数；步...
【专利技术属性】
技术研发人员：李超，徐诚，王靖，汪陶磊，梅君夷，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。