深度学习模型的硬件调度执行方法、装置、设备及介质制造方法及图纸

本发明专利技术实施例公开了一种深度学习模型的硬件调度执行方法、装置、设备及介质。该方法包括：获取目标深度学习模型计算图；将计算图与预设功能子图库中各待匹配功能子图进行模糊匹配；并在计算图中确定与各待匹配功能子图匹配的计算子图，及对应的模糊匹配度；根据模糊匹配度，确定各待匹配功能子图中与目标计算子图匹配成功的目标功能子图；并根据目标功能子图确定与目标计算子图对应的内核融合子图；根据内核融合子图对深度学习模型中的目标计算子图进行芯片多层内存结构的硬件调度执行。该方法可以实现深度学习模型的快速模型分析，从而根据匹配得到的功能子图进行模型硬件加速，并在芯片上对深度学习模型进行推理加速。并在芯片上对深度学习模型进行推理加速。并在芯片上对深度学习模型进行推理加速。

【技术实现步骤摘要】
深度学习模型的硬件调度执行方法、装置、设备及介质


[0001]本专利技术涉及人工智能
，尤其涉及一种深度学习模型的硬件调度执行方法、装置、设备及介质。

技术介绍

[0002]随着人工智能领域的快速演进和发展，深度学习模型的种类越来越多。例如，用于图像分类识别、自动语音识别、语言理解等的深度学习模型。深度模型虽然很多，但深度模型的构建是有内在规律的，比如多数模型可以通过一些基本模块进行变形搭建出来。例如，通过堆叠不同数量的残差结构可以构成了Resnet18、Resnet34、Resnet50、Resnet101、Resnet152等残差网络。这些基本模块被转成由算子组成的有向无环的计算图，然后再由下层框架对计算图进行优化和调度执行计算图中算子对应的内核函数，从而完成一个模块的执行。
[0003]由于深度学习模型的基本模块有很多变形，从而对应的计算子图也有很多变形，导致下层框架较难从计算图上确定深度模型所包含的基本模块。目前，深度学习模型计算图的结构分析主要是依靠算法工程师进行人工分析。但不同领域中深度学习模型的基本模型结构是不同的，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种深度学习模型的硬件调度执行方法，其特征在于，包括：获取目标深度学习模型计算图；将所述计算图与预设功能子图库中各待匹配功能子图进行模糊匹配；并在所述计算图中确定与各所述待匹配功能子图匹配的计算子图，及对应的模糊匹配度；根据所述模糊匹配度，确定各所述待匹配功能子图中与目标计算子图匹配成功的目标功能子图；并根据所述目标功能子图确定与所述目标计算子图对应的内核融合子图；根据所述内核融合子图对所述深度学习模型中的目标计算子图进行芯片多层内存结构的硬件调度执行。2.根据权利要求1所述的方法，其特征在于，将所述计算图与预设功能子图库中各待匹配功能子图进行模糊匹配；并在所述计算图中确定与各所述待匹配功能子图匹配的计算子图，及对应的模糊匹配度，包括：根据所述计算图与所述待匹配功能子图的当前匹配结果，确定所述待匹配功能子图中的待匹配节点、与所述待匹配节点对应的第一高阶邻域信息、所述待匹配功能子图中所述待匹配节点的第一父节点、所述计算图中与所述第一父节点匹配的第二父节点、以及与所述第二父节点对应的第二高阶邻域信息；根据所述待匹配节点、所述第一高阶邻域信息、所述第一父节点、所述第二父节点、以及所述第二高阶邻域信息，确定所述计算图与所述待匹配功能子图的下一匹配结果，并确定对应的模糊匹配度；如果所述待匹配功能子图中各节点均已进行模糊匹配，则将所述下一匹配结果作为与所述待匹配功能子图匹配的计算子图；否则，将所述下一匹配结果更新为当前匹配结果，并返回确定待匹配节点步骤，直至所述待匹配功能子图中各节点均进行模糊匹配。3.根据权利要求2所述的方法，其特征在于，根据所述待匹配节点、所述第一高阶邻域信息、所述第一父节点、所述第二父节点、以及所述第二高阶邻域信息，确定所述计算图与所述待匹配功能子图的下一匹配结果，并确定对应的模糊匹配度，包括：如果所述第二父节点的一阶邻域或者二阶邻域中存在第一目标节点与所述待匹配节点匹配，则根据所述第一目标节点确定所述计算图与所述待匹配功能子图的下一匹配结果，并确定本次匹配值，根据所述本次匹配值确定对应的模糊匹配度；如果所述第二父节点的一阶邻域或者二阶邻域中不存在所述第一目标节点，且所述待匹配节点的出入度均为1，则删除所述待匹配节点，将所述待匹配节点的一阶邻域节点更新为待匹配节点，并检测在所述第二父节点的一阶邻域中是否存在第二目标节点与所述待匹配节点匹配，确定所述计算图与所述待匹配功能子图的下一匹配结果，以及对应的模糊匹配度；如果所述第二父节点的一阶邻域中不存在所述第二目...

【专利技术属性】
技术研发人员：秦磊，张亚林，
申请(专利权)人：上海燧原科技有限公司，
类型：发明
国别省市：