模型编译方法、装置、设备和存储介质制造方法及图纸

本发明专利技术提供一种模型编译方法、装置、设备及存储介质，该方法包括：获取待编译的模型对应的计算图中包含多个访存密集型算子及相应数据的目标计算子图。根据模型的执行器中设定的多个线程和每个线程的计算任务并行度，确定目标线程需串行执行的多组计算任务，其中，每个计算任务是指依次采用多个访存密集型算子对相应数据进行计算的任务。针对任一组计算任务，根据多个访存密集型算子的计算依赖关系，对任一组计算任务中包含的多个计算任务进行顺序重排，使同一访存密集型算子对应的不同计算任务被并行排列，以生成目标线程与任一组计算任务对应的执行指令序列。基于任一组计算任务对应的执行指令序列，确定执行器执行模型的可执行程序文件。可执行程序文件。可执行程序文件。

【技术实现步骤摘要】
模型编译方法、装置、设备和存储介质


[0001]本专利技术涉及人工智能
，尤其涉及一种模型编译方法、装置、设备和存储介质。

技术介绍

[0002]目前，机器学习被广泛地应用于图像处理、自然语言处理、搜索、推荐及广告等领域中。机器学习的计算任务往往需要消耗一定的计算机算力，常常被部署在诸如图像处理器(Graphics Processing Unit,简称GPU)等执行器上进行计算。
[0003]具体实施过程中，机器学习模型从高层建模到底层部署需要进行模型编译，即将机器学习模型对应的高级代码语言翻译为底层硬件所支持的底层机器语言。在进行模型编译的过程中，机器学习模型对应的高级代码语言先转换成是模型对应的计算图的计算表达，通过对计算图执行相应的优化策略，生成最终的底层机器语言，比如在GPU上的运行的可执行程序。其中，对计算图执行的优化策略决定了机器学习模型的任务执行效率。
[0004]相关技术中，模型编译结果运行时，往往存在CPU调度计算图中各计算子图对应的执行指令给GPU时的调度开销大、GPU资源利用不充分等问题，无法满足用户本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型编译方法，其特征在于，所述方法包括：获取待编译的模型对应的计算图中的目标计算子图，所述目标计算子图中包含多个访存密集型算子及相应数据，所述目标计算子图是所述计算图中包含的一个计算子图；根据所述模型的执行器中设定的多个线程和每个线程的计算任务并行度，确定目标线程需串行执行的多组计算任务，其中，每组计算任务中包含多个计算任务，每个计算任务是指依次采用所述多个访存密集型算子对相应数据进行计算的任务，所述计算任务并行度指示每个线程能够并行执行的计算任务数量，所述目标线程是多个线程中任一个；针对任一组计算任务，根据所述多个访存密集型算子的计算依赖关系，对所述任一组计算任务中包含的多个计算任务进行顺序重排，以得到重排后的多个计算任务，其中，所述重排使得同一访存密集型算子对应的不同计算任务被并行排列；根据所述重排后的多个计算任务，生成所述目标线程与所述任一组计算任务对应的执行指令序列；根据所述目标线程与所述任一组计算任务对应的执行指令序列，确定所述执行器执行所述模型的可执行程序文件，所述可执行程序文件中包含所述计算图包含的多个计算子图各自对应的执行指令序列。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：在所述目标线程与所述任一组计算任务对应的执行指令序列前，插入第一数据拷贝指令，所述第一数据拷贝指令用于将所述任一组计算任务的下一组计算任务对应的数据从所述执行器的片外存储空间拷贝到所述执行器的片上存储空间的第一缓冲区中，以使得在执行所述下一组计算任务时从所述第一缓冲区读取对应的数据。3.根据权利要求2所述的方法，其特征在于，所述方法还包括：若所述任一组计算任务是所述多组计算任务中的第一个计算任务，则在所述第一数据拷贝指令前，插入第二数据拷贝指令，所述第二数据拷贝指令用于将所述任一组计算任务对应的数据从所述执行器的片外存储空间拷贝到所述执行器的片上存储空间的第二缓冲区中。4.根据权利要求3所述的方法，其特征在于，拷贝到所述第一缓冲区中的所述下一组计算任务对应的数据为所述下一组计算任务中第一个访存密集型算子所对应的数据；拷贝到所述第二缓冲区中的所述任一组计算任务对应的数据为所述任一组计算任务中第一个访存密集型算子所对应的数据。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述根据所述目标线程与所述任一组计算任务对应的执行指令序列，确定所述执行器执行所述模型的可执行程序文件，包括：根据所述多个线程在所述目标计算子图下各自执行的多组计算任务分别对应的执行指令序列，确定所述目标计算子图对应的执行指令序列；融合所述计算图中多个计算子图分别对应的执行指令序列，...

【专利技术属性】
技术研发人员：郑祯，庄东霖，宋帅文，邱侠斐，白俊杰，林伟，
申请(专利权)人：阿里云计算有限公司，
类型：发明
国别省市：