【技术实现步骤摘要】
本专利技术实施例涉及人工智能，尤其涉及一种模型并行推理方法、装置、电子设备及存储介质。
技术介绍
1、多模型并行推理是深度学习领域的一项重要技术，通过充分利用gpu(graphicsprocessing unit，图形处理器)等硬件资源，尽可能提升模型的推理效率，缩短推理时间，以提高单张推理卡的利用率，在一些实时性要求高的应用场合十分必要。
2、目前，多模型并行推理的实现方式主要包括多进程的多模型并行推理方式和多线程的多模型并行推理方式。这两种多模型并行推理方式，本质是通过调度单张推理卡的计算资源完成并行推理，而并不涉及对模型底层架构的并行推理改进。
3、专利技术人在实现本专利技术的过程中，发现现有技术存在如下缺陷：多线程的多模型并行推理方式由于python(python programming language，一种高级编程语言)的全局gil(global interpreter lock，全局解释器锁)锁的限制，实际无法实现真正的并行推理。多进程的多模型并行推理方式则存在进程调度增加推理开销的问题，且对于多个...
【技术保护点】
1.一种模型并行推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述从各待推理模型中确定并行推理的异构组合模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述异构组合模型中各待推理模型的静态图进行融合优化处理，得到所述异构组合模型的并行推理静态图，包括：
4.根据权利要求3所述的方法，其特征在于，所述子图拼接融合策略包括常量折叠、计算节点融合以及并行分析；对所述异构组合模型中各所述待推理模型的静态图按照子图拼接融合策略进行融合处理，包括：
5.根据权利要求3所述的方法，其特征在于，所...
【技术特征摘要】
1.一种模型并行推理方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述从各待推理模型中确定并行推理的异构组合模型，包括：
3.根据权利要求1所述的方法，其特征在于，所述对所述异构组合模型中各待推理模型的静态图进行融合优化处理，得到所述异构组合模型的并行推理静态图，包括：
4.根据权利要求3所述的方法，其特征在于，所述子图拼接融合策略包括常量折叠、计算节点融合以及并行分析；对所述异构组合模型中各所述待推理模型的静态图按照子图拼接融合策略进行融合处理，包括：
5.根据权利要求3所述的方法，其特征在于，所述对所述融合静态图按照静态图优化策略进行优化，包括...
【专利技术属性】
技术研发人员：廖金龙，姚建国，吴长平，许士芳，
申请(专利权)人：燧原智能科技成都有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。