一种边云环境下卷积神经网络模型的协同推理方法技术

技术编号:43757536 阅读:56 留言:0更新日期:2024-12-20 13:12
本发明专利技术公开了一种边云环境下卷积神经网络模型的协同推理方法,包括:将卷积神经网络模型转换为有向无环图,并构建边‑云协同推理系统的目标函数与约束条件,在边‑云协同推理系统执行给定的卷积神经网络模型,获得卷积神经网络模型在异构设备上各层的执行时延以及各层输出数据,对有向无环图合并节点,获得规模优化后的有向无环图;对卷积神经网络模型各层输出数据进行预量化,在规模优化后的有向无环图基础上,根据各层在异构设备上的执行时延以及预量化后的各层输出数据的传输时延,构建预量化后的时延图,计算时延图中源点到汇点的最小割,进行实际模型压缩,获得给定卷积神经网络模型在异构设备上协同推理决策。

【技术实现步骤摘要】

本专利技术涉及一种边云环境下卷积神经网络模型的协同推理方法,属于边缘计算。


技术介绍

1、卷积神经网络(convolutional neural networks,简称cnn)模型是一种普遍应用于计算机视觉领域的深度学习模型,已经在图像识别、目标检测、图像生成和许多其他领域取得了显著的进展,成为计算机视觉和深度学习研究的重要组成部分。

2、传统的cnn模型的执行通常分为训练与推理两个阶段,训练阶段是cnn模型学习从输入数据中提取特征并做出准确预测或分类的过程,通过大量已标注的数据学习识别模式和特征,让模型能够从输入数据中准确地提取重要特征,并根据这些特征做出正确的预测或分类。而推理阶段,由于cnn模型所需要计算量的庞大,传统的架构是以云为中心的范式,从而使得计算资源受限的边缘设备能够使用此类服务。大量的数据在边缘设备中产生,通过网络传输给性能强大的云服务器,在云服务器上进行模型的推理,然后把推理的结果再回传给边缘设备,但是这种方法高度依赖于网络环境且存在显著的时延。例如,在自动驾驶领域,目前先进的自动驾驶技术所使用的传感器每秒钟可以产生几百到几本文档来自技高网...

【技术保护点】

1.一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,基于由边缘设备与云服务器构成的边-云协同推理系统,卷积神经网络模型的协同推理方法包括:

2.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,所述有向无环图表示为:

3.根据权利要求2所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,卷积神经网络模型中部署在边缘设备上的模型层的推理时延之和表示为:

4.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,所述目标函数为:

5.根据权利要求1所述的一种边云环境下卷积...

【技术特征摘要】

1.一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,基于由边缘设备与云服务器构成的边-云协同推理系统,卷积神经网络模型的协同推理方法包括:

2.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,所述有向无环图表示为:

3.根据权利要求2所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,卷积神经网络模型中部署在边缘设备上的模型层的推理时延之和表示为:

4.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,所述目标函数为:

5.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,获得卷积神经网络模型在异构设备上各层的执行时延以及各层输出数据,包括:

6.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,构建预量化后的时延图,包括:

7.根据权利要求6所述的一种边云环境...

【专利技术属性】
技术研发人员:程勇李茂文
申请(专利权)人:南京信息工程大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1