计算任务调度方法、装置、片上系统和存储介质制造方法及图纸

本发明专利技术实施例提供了一种计算任务调度方法、装置、片上系统和存储介质。所述计算任务调度方法包括：确定第一矩阵和第二矩阵之间的矩阵乘法计算任务的多个子任务，使所述多个子任务与多个线程对应的计算量匹配所述多个线程的计算缓存，所述多个子任务指示所述第一矩阵与每个子任务对应的第一子矩阵和所述第二矩阵与所述每个子任务对应的第二子矩阵之间的矩阵乘法计算，每个线程独立地执行对应的子任务的计算，每个线程被配置成具有缓存的至少一个计算单元；将所述多个子任务分别调度到所述多个线程进行计算；将所述多个子任务的计算结果合并为所述矩阵乘法计算任务的计算结果。本发明专利技术实施例的方案提高了矩阵乘法计算的效率。发明专利技术实施例的方案提高了矩阵乘法计算的效率。发明专利技术实施例的方案提高了矩阵乘法计算的效率。

【技术实现步骤摘要】
计算任务调度方法、装置、片上系统和存储介质


[0001]本专利技术实施例涉及计算机
，尤其涉及一种计算任务调度方法、装置、片上系统和存储介质。

技术介绍

[0002]人工智能(Artificial Intelligence，AI)算力在集团中广泛服务于审核、搜索、推荐、AI生产等业务，且高吞吐、低延时、低成本，是业务追求的方向。
[0003]诸如通用矩阵乘法(General Matrix Multiplication，GEMM)的矩阵计算是AI应用的基础运算。随着大模型、生成式AI等技术的发展，AI对算力的需求越来越高，当前主流的方式是通过异构GPU针对具体的算法编程实现加速，这种方式可以提升AI应用的计算性能。
[0004]AI应用中计算需求最大的层如卷积、全联接、矩阵运算等底层一般都使用GEMM(矩阵乘)作为基本运算，提升GEMM计算效率能显著提高AI算力的性能，从而对AI业务有重要提升。
[0005]在现有技术中，一种提高矩阵乘法计算的效率的思路是增加并行化指令或硬件单元，但是，需要增加专门的硬件结构，导致了本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种计算任务调度方法，包括：确定第一矩阵和第二矩阵之间的矩阵乘法计算任务的多个子任务，使所述多个子任务与多个线程对应的计算量匹配所述多个线程的缓存，所述多个子任务指示所述第一矩阵与每个子任务对应的第一子矩阵和所述第二矩阵与所述每个子任务对应的第二子矩阵之间的矩阵乘法计算，其中，每个线程被配置成具有缓存的至少一个计算单元；将所述多个子任务分别调度到所述多个线程进行计算；将所述多个子任务的计算结果合并为所述矩阵乘法计算任务的计算结果。2.根据权利要求1所述的方法，其中，所述将所述多个子任务分别调度到所述多个线程进行计算，包括：确定所述多个子任务的子任务数量和所述多个线程的线程数量；通过所述子任务数量与所述线程数量之间的比例，将所述多个子任务分别调度到所述多个线程进行计算，使得所述多个线程的计算负载均衡。3.根据权利要求2所述的方法，其中，所述通过所述子任务数量与所述线程数量之间的比例，将所述多个子任务调度到所述多个线程进行计算，使得所述多个线程的计算负载均衡，包括：将所述多个子任务分别调度到所述多个线程进行计算，使每个线程执行对应的线程执行队列，所述线程执行队列的队列长度与所述子任务数量与所述线程数量之间的比例匹配。4.根据权利要求3所述的方法，其中，所述将所述多个子任务分别调度到所述多个线程进行计算，使每个线程执行对应的线程执行队列，包括：将每个线程执行队列的队列长度确定为所述子任务数量与所述线程数量的整数比例，其中，所述子任务数量中与所述线程数量的整数比例的部分的剩余子任务数量小于所述线程数量；如果一线程执行队列为非满队列，则将对应的子任务调度到该线程执行队列。5.根据权利要求4所述的方法，其中，所述将所述多个子任务分别调度到所述多个线程进行计算，使每个线程执行对应的线程执行队列，还包括：如果一线程执行队列为满队列，则将所述剩余子任务数量调度到线程缓存队列。6.根据权利要求5所述的方法，其中，所述如果一线程执行队列为非满队列，则将对应的子任务调度到该线程执行队列，包括：如果一线程执行队列为非满队列，则将对应...

【专利技术属性】
技术研发人员：余国生，吕志宏，汪海疆，黄子龙，彭凯，陈继承，
申请(专利权)人：平头哥上海半导体技术有限公司，
类型：发明
国别省市：