一种高通量计算任务管理方法及系统技术方案

本发明专利技术涉及一种高通量计算任务管理方法及系统，其中所述方法包括：S1.将M个计算任务分为N组，每组分配给一个计算执行单元；S2.计算执行单元接收分配到的计算任务，并创建任务记录表记录所述计算任务；S3.计算执行单元从所述任务记录表中提取一个计算任务并判断所述计算任务是否已处理，若判断所述计算任务为未处理，则执行所述计算任务，若判断所述计算任务为已处理，则继续提取下一个计算任务并继续进行已处理的判断；S4.当所述任务记录表中的所有计算任务都判断为已处理时，所述计算执行单元从其它计算执行单元获取一个未处理的计算任务，并进行处理。本发明专利技术能够避免单点故障问题且可以保障负载均衡。

A high throughput computing task management method and system

【技术实现步骤摘要】
一种高通量计算任务管理方法及系统
本专利技术涉及高性能计算领域，更具体地，涉及一种高通量计算任务管理方法及系统。
技术介绍
在高性能计算领域，存在一类应用，这些应用包含大量的小计算任务。例如，在上万种的候选材料中，通过数值计算寻找对氢分子吸附量最大的材料。这项工作需要分别计算每种材料在不同的压强条件下，材料对氢分子的吸附量。整个过程需要执行数十万个独立的计算任务，并且每个计算任务使用相同的计算程序，只是输入输出不同。这些计算任务通常被称为高通量计算任务。目前，高通量计算任务管理方法主要有两类，一类是在计算任务执行前，把M个计算任务拆分成N组，每组分配给一个计算执行单元，每个计算执行单元独立完成分配到的计算任务，这种方法的典型例子是staskfarm软件；另一类使用抢占式分配方法，计算开始的时候，其中的一个计算执行单元被指定为任务分配单元，剩下的N-1个计算执行单元从任务分配单元获取计算任务，每次只获取一个计算任务，完成后再获取下一个计算任务，直到M个计算任务都完成，这种方法的典型代表是fireworks软件；前一类方法实现较为简单，但是本文档来自技高网...

【技术保护点】
1.一种高通量计算任务管理方法，其特征在于，包括：/nS1.将M个计算任务分为N组，每组分配给一个计算执行单元；/nS2.计算执行单元接收分配到的计算任务，并创建任务记录表记录所述计算任务；/nS3.计算执行单元从所述任务记录表中提取一个计算任务并判断所述计算任务是否已处理，若判断所述计算任务为未处理，则执行所述计算任务，若判断所述计算任务为已处理，则继续提取下一个计算任务并继续进行是否已处理的判断；/nS4.当所述任务记录表中的所有计算任务都判断为已处理时，所述计算执行单元从其它计算执行单元获取一个未处理的计算任务，并进行处理。/n

【技术特征摘要】
1.一种高通量计算任务管理方法，其特征在于，包括：
S1.将M个计算任务分为N组，每组分配给一个计算执行单元；
S2.计算执行单元接收分配到的计算任务，并创建任务记录表记录所述计算任务；
S3.计算执行单元从所述任务记录表中提取一个计算任务并判断所述计算任务是否已处理，若判断所述计算任务为未处理，则执行所述计算任务，若判断所述计算任务为已处理，则继续提取下一个计算任务并继续进行是否已处理的判断；
S4.当所述任务记录表中的所有计算任务都判断为已处理时，所述计算执行单元从其它计算执行单元获取一个未处理的计算任务，并进行处理。


2.根据权利要求1所述的一种高通量计算任务管理方法，其特征在于，在所述将M个计算任务分为N组，每组分配给一个计算执行单元之前，还包括在每个计算执行单元上运行一个网络程序服务，创建地址记录表记录所有计算执行单元运行的网络程序服务的地址，并将所述地址记录表发送给所有计算执行单元。


3.根据权利要求2所述的一种高通量计算任务管理方法，其特征在于，所述计算执行单元接收分配到的计算任务，并创建任务记录表记录所述计算任务具体为：计算执行单元通过运行所述网络程序服务接收分配到的计算任务，并将所述计算任务标记为未处理记录在所述创建的任务记录表中。


4.根据权利要求2所述的一种高通量计算任务管理方法，其特征在于，所述计算执行单元从其它计算执行单元获取一个未处理的计算任务包括以下步骤：
S41.计算执行单元根据所述地址记录表记录的网络程序服务的地址向其他计算执行单元的网络程序服务发送请求；
S42.接收其他计算执行单元发送的未处理的计算任务并进行处理。


5.根据权利要求1-4任一项所述的一种...

【专利技术属性】
技术研发人员：李家辉，陈品，李江，卢宇彤，
申请(专利权)人：中山大学，
类型：发明
国别省市：广东;44