【技术实现步骤摘要】
本专利技术涉及一种边云环境下卷积神经网络模型的协同推理方法,属于边缘计算。
技术介绍
1、卷积神经网络(convolutional neural networks,简称cnn)模型是一种普遍应用于计算机视觉领域的深度学习模型,已经在图像识别、目标检测、图像生成和许多其他领域取得了显著的进展,成为计算机视觉和深度学习研究的重要组成部分。
2、传统的cnn模型的执行通常分为训练与推理两个阶段,训练阶段是cnn模型学习从输入数据中提取特征并做出准确预测或分类的过程,通过大量已标注的数据学习识别模式和特征,让模型能够从输入数据中准确地提取重要特征,并根据这些特征做出正确的预测或分类。而推理阶段,由于cnn模型所需要计算量的庞大,传统的架构是以云为中心的范式,从而使得计算资源受限的边缘设备能够使用此类服务。大量的数据在边缘设备中产生,通过网络传输给性能强大的云服务器,在云服务器上进行模型的推理,然后把推理的结果再回传给边缘设备,但是这种方法高度依赖于网络环境且存在显著的时延。例如,在自动驾驶领域,目前先进的自动驾驶技术所使用的传感器每
...【技术保护点】
1.一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,基于由边缘设备与云服务器构成的边-云协同推理系统,卷积神经网络模型的协同推理方法包括:
2.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,所述有向无环图表示为:
3.根据权利要求2所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,卷积神经网络模型中部署在边缘设备上的模型层的推理时延之和表示为:
4.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,所述目标函数为:
5.根据权利要求1所述
...【技术特征摘要】
1.一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,基于由边缘设备与云服务器构成的边-云协同推理系统,卷积神经网络模型的协同推理方法包括:
2.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,所述有向无环图表示为:
3.根据权利要求2所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,卷积神经网络模型中部署在边缘设备上的模型层的推理时延之和表示为:
4.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,所述目标函数为:
5.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,获得卷积神经网络模型在异构设备上各层的执行时延以及各层输出数据,包括:
6.根据权利要求1所述的一种边云环境下卷积神经网络模型的协同推理方法,其特征在于,构建预量化后的时延图,包括:
7.根据权利要求6所述的一种边云环境...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。