【技术实现步骤摘要】
多模型部署推理方法、系统、网络设备及可读存储介质
[0001]本专利技术涉及通信
，尤其涉及一种多模型部署推理方法、系统、网络设备及可读存储介质。
技术介绍
[0002]随着人工神经网络技术的不断发展，深度学习算法目前已可以实现如目标检测、人脸识别、自然语言处理等看似只有人类才能完成的复杂任务。通过大量数据训练得到的神经网络模型，在部分场景下已经获得了接近人眼识别的准确率。
[0003]但受限于深度学习算法对高算力设备依赖的限制，深度学习模型大都被部署至远离数据源的数据中心，这带来了许多问题。一方面，海量数据从边缘侧终端通过网络传输至数据中心需要花费较大的传输延迟，从而对服务造成影响；另一方面，海量数据不断地涌向数据中心，将严重拥塞数据中心的网络链路甚至直接使链路陷入瘫痪。
[0004]随着芯片技术的不断发展及智能终端基础设施的大规模普及，靠近数据侧的终端设备拥有了更强大的运算能力，与此同时，5G技术的大规模商用使得智能终端设备能够接入网络，为用户提供实时、高效的服务。因此，对于许多对实时性有极大需求的...
【技术保护点】
【技术特征摘要】
1.一种多模型部署推理方法，其特征在于，包括：根据多个目标神经网络模型与目标输入、目标输出之间的依赖关系，构建满足所述依赖关系的多个有向无环图；获取多个所述有向无环图的推理效率参数；根据多个所述有向无环图的推理效率参数，确定多个所述目标神经网络模型在目标设备上的部署推理方案。2.根据权利要求1所述的多模型部署推理方法，其特征在于，所述根据多个目标神经网络模型与目标输入、目标输出之间的依赖关系，构建满足所述依赖关系的有向无环图，包括：根据所述依赖关系，生成有向无环图的构建队列，所述构建队列包括由所述目标输入、所述目标输出以及多个所述目标神经网络模型组成的模块，以及每个模块的入度；在生成有向无环图的构建队列之后，或者每次有向无环图的构建队列发生变更之后，从有向无环图的构建队列中对入度为第一预设值的模块进行检测；根据每次对入度为第一预设值的模块的检测结果，构建有向无环图，并更新有向无环图的构建队列。3.根据权利要求2所述的多模型部署推理方法，其特征在于，根据每次对入度为第一预设值的模块的检测结果，构建有向无环图，并更新有向无环图的构建队列，包括：每次检测到入度为第一预设值的模块，且检测到的模块没有加入到有向无环图时，从检测到的模块中选取备选模块，并基于选取的备选模块，构建有向无环图；每次未检测到入度为第一预设值的模块，或者检测到入度为第一预设值的模块，但检测到的模块已经加入有向无环图时，从有向无环图的构建队列中删除备选模块，并将依赖所删除备选模块作为输入的模块的入度减去第二预设值；在有向无环图的构建队列中的模块被全部删除之后，输出有向无环图。4.根据权利要求3所述的多模型部署推理方法，其特征在于，所述每次检测到入度为第一预设值的模块，且检测到的模块没有加入到有向无环图时，从检测到的模块中选取备选模块，并基于选取的备选模块，构建有向无环图，包括：每次检测到入度为第一预设值的模块，且检测到的模块没有加入到有限无环图时，按照从检测到的模块中至少选取一个入度为第一预设值的模块作为备选模块加入到有限无环图的规则，遍历所有选取方式；基于遍历到的每种选取方式，分别构建有向无环图。5.根据权利要求3所述的多模型部署推理方法，其特征在于，所述每次未检测到入度为第一预设值的模块，或者检测到入度为第一预设值的模块，但检测到的模块已经加入有向无环图时，从有向无环图的构建队列中删除备选模块，并将依赖所删除备选模块作为输入的模块的入度减去第二预设值，包括：每次未检测到入度为第一预设值的模块，或者检测到入度为第一预设值的模块，但检测到的模块已经加入有向无环图时，按照从有向无环图的构建队列中至少删除一个备选模块的规则，遍历所有删除方式；基于遍历到的每种删除方式，分别对有向无环图的构建队列中备选模块进行删除，并将依赖所删除备选模块作为输入的模块的入度减去第二预设值，获得更新后的构建队列。
6.根据权利要求1至5中任一项所述的多模型部署推理方法，其特征在于，所述推理效率参数包括：推理过程中占用的最大资源和推理所需时间。7.根据权利要求6所述的多模型部署推理方法，其特征在于，所述根据多个所述有向无环图的推理效率参数，确定多个所述目标神经网络模型在目标设备上...
【专利技术属性】
技术研发人员：刘沿，张毅，黄文辉，邓超，冯俊兰，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。