【技术实现步骤摘要】
本申请实施例涉及人工智能,尤其涉及一种同步资源分配方法、设备、存储介质及程序产品。
技术介绍
1、人工智能模型通常指被训练用来进行推理预测的神经网络模型,例如图像推理模型、语音推理模型等。人工智能模型的运算可以由计算图(computation graph)中的算子(operator)来实现。算子指的是对人工智能模型中各层的张量所做的各种运算,例如人工智能模型的卷积层对人工智能模型的输入数据所做的卷积运算即为卷积算子。
2、在算子执行过程中,用于执行算子的多个线程之间需要进行同步以保证数据的产生和消费在正确的时序上,所以物理同步资源于此之中显得尤为重要。但是,物理同步资源的数量是有限的,并不能无限使用,因此,在算子编译阶段,需要对算子进行物理同步资源分配。
3、然而,当算子的核函数过大时,核函数中的同步点相应过多,因此经常出现物理同步资源不足的情况,从而导致同步资源分配耗时较长,进而影响算子编译和执行的效率。
技术实现思路
1、本申请实施例提供了一种同步资源分配方法、
...【技术保护点】
1.一种同步资源分配方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述强同步指令关联一个强同步标识,所述强同步标识用于表征执行所述核函数的多个线程之间的同步点。
3.如权利要求2所述的方法,其特征在于,还包括:
4.如权利要求2所述的方法,其特征在于,还包括:
5.如权利要求1所述的方法,其特征在于,所述构建一个指令片段对应的有向无环子图,包括:
6.如权利要求5所述的方法,其特征在于,所述按照所述一个指令片段对应的有向无环子图,为所述一个指令片段分配物理同步资源,包括:
7.
...【技术特征摘要】
1.一种同步资源分配方法,其特征在于,包括:
2.如权利要求1所述的方法,其特征在于,所述强同步指令关联一个强同步标识,所述强同步标识用于表征执行所述核函数的多个线程之间的同步点。
3.如权利要求2所述的方法,其特征在于,还包括:
4.如权利要求2所述的方法,其特征在于,还包括:
5.如权利要求1所述的方法,其特征在于,所述构建一个指令片段对应的有向无环子图,包括:
6.如权利要求5所述的方法,其特征在于,所述按照所述一个指令片段对应的有向无环子图,为所述一个指令片段分配物理同步资源,包括:
7.如权利要求6所述的方法,其特征在于,所述遍历所述一个指令片段对应的有向无环子图,为所述多个逻辑同步标识表征的同步点依次分配相...
【专利技术属性】
技术研发人员:请求不公布姓名,请求不公布姓名,请求不公布姓名,
申请(专利权)人:北京壁仞科技开发有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。