一种面向多边缘设备的Transformer模型协同推理方法技术

本发明专利技术公开的一种面向多边缘设备的Transformer模型协同推理方法，属于边缘计算领域。本发明专利技术实现方法为：将原数据集划分为多个标签类别数相等的子数据集，根据边缘设备计算性能和资源，切分原始模型为多个仅保留重要结构的子模型，通过子任务蒸馏方法帮助子模型学习原始模型特征，采用模型集成方法聚合所有子模型，提升集成模型的整体性能；将训练好的集成模型中的子模型，分别部署到对应边缘设备上。当边缘设备接收的推理任务请求时，所有边缘设备并行执行子模型的推理，中心节点使用特征融合模块融合所有中间结果得到最终推理结果，实现多边缘设备的模型协同推理，提高边缘设备执行推理任务的推理速度，降低边缘设备执行推理任务的推理能耗。

【技术实现步骤摘要】

本专利技术涉及一种神经网络推理方法，尤其涉及一种面向多边缘设备的transformer模型协同推理方法，属于边缘计算领域。

技术介绍

1、随着大数据和人工智能等高新技术的快速发展，transformer作为深度神经网络(deep neural network，dnn)中的基础模型，在绝大多数计算机视觉、自然语言处理和语音识别等领域的智能应用中取得了超越人类的表现。考虑到低延时和隐私性的需求，将transformer模型部署于手机、开发板等边缘设备上实现智能应用具有重要意义。但是，transformer模型计算复杂度高，内存开销大，而边缘设备通常计算资源有限，并且功率和内存远小于工作站或者服务器，因此transformer模型难以直接部署在边缘设备上实现智能应用。以经典的视觉transformer模型vit-l/16为例，其进行一次推理需要5.3gb的内存和123.1g的浮点运算次数，而树莓派4b+边缘设备仅有4gb的内存空间和13.5g浮点运算次数/秒的计算性能，无法部署transformer实现智能应用。

2、针对上述问题，目前解决方法主要包本文档来自技高网...

【技术保护点】

1.一种面向多边缘设备的Transformer模型协同推理方法，其特征在于：包括以下步骤，

2.如权利要求1所述的一种面向多边缘设备的Transformer模型协同推理方法，其特征在于：步骤一实现方法为，

3.如权利要求2所述的一种面向多边缘设备的Transformer模型协同推理方法，其特征在于：步骤二实现方法为，

4.如权利要求3所述的一种面向多边缘设备的Transformer模型协同推理方法，其特征在于：步骤三实现方法为，

5.如权利要求4所述的一种面向多边缘设备的Transformer模型协同推理方法，其特征在于：步骤四实现方法为，...

【技术特征摘要】

1.一种面向多边缘设备的transformer模型协同推理方法，其特征在于：包括以下步骤，

2.如权利要求1所述的一种面向多边缘设备的transformer模型协同推理方法，其特征在于：步骤一实现方法为，

3.如权利要求2所述的一种面向多边缘设备的transformer模型...

【专利技术属性】
技术研发人员：徐冠宇，郝志伟，付莹，胡晗，范戎飞，郇鑫焘，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：