面向边缘侧多模态制造技术

本发明专利技术公开一种面向边缘侧多模态

【技术实现步骤摘要】
面向边缘侧多模态Transformer模型的推理卸载优化方法


[0001]本专利技术属于边缘测深度学习模型
，具体涉及一种面向边缘侧多模态
Transformer
模型的推理卸载优化方法
。

技术介绍

[0002]在现实生活中，人们接触的信息大多是多模态的，例如文字
、
图像
、
声音
、
视频等
。
对于人类来说，理解这些不同类型的信息，并结合它们进行决策是非常自然的，但对于计算机模型来说，这却是一项极具挑战性的任务
。
基于
Transformer
多模态模型的出现
(
如
CLIP
，
ViLBERT
，
VisualBERT)
，使得计算机模型能够更好地理解和生成多模态信息，极大地拓宽了人工智能的应用领域，比如视觉问答
、
自动字幕生成
、
社交媒体分析
、
在线广告
、
自动驾驶等领域
。
[0003]尽管基于
Transformer
的多模态模型具有诸多优势和广泛的应用潜力，但它的模型规模通常较大，并且计算复杂度较高
。
对于一些对延迟需求高的应用，在资源受限的边缘设备上运行仍需要推理卸载优化，以在满足内存约束的同时减少推理的延迟
。
然而，
Transformer
中独特的架构在推理卸载的过程中带来了一些新的挑战
。
[0004]首先
Transformer
中存在大量难以拆分的计算节点，导致推理卸载过程中引入大量的传输开销
。
这些难以进行拆分节点，计算过程中只能在一个设备上执行，无法进行分割卸载而在传统的
CNN
中通常所有的计算层都能被分割卸载
。
在卸载的过程中，
CNN
中由于大多数计算层均可进行拆分，在推理一层结束后只需要传输必要数据，而在
Transformer
中这类难以拆分的节点需要同步所有设备上的数据到一个节点上，这将导致大量的通信开销
。
[0005]其次，
Transformer
中存在大量的并行架构，如独立可并行的注意力头
(Attention head)
，这与
CNN
架构有本质的不同，现有的
CNN
的推理卸载方法均未考虑这种并行架构，在这种并行架构上还有很大的优化空间
。
[0006]所以传统的适用于
CNN
的推理卸载方法难以适用于基于
Transformer
的多模态模型的推理卸载
。
而针对
Transformer
，在边缘端进行推理卸载的现有优化方法主要是通过流水线并行来对不同样本推理之间通信和计算的并行，然而这种方法并不能实际减少单次样本推理的时间
。
还有一些研究是将流水线并行和张量并行相结合以减少训练时间，然而这些方法主要针对的是训练以及在同构的强大的
GPU
数据中心中进行
。
[0007]基于现有技术存在的上述技术问题，本专利技术提出一种面向边缘侧多模态
Transformer
模型的推理卸载优化方法
。

技术实现思路

[0008]本专利技术的目的是针对现有技术的不足，协同优化移动端计算机视觉推理任务的模型分割和系统资源配置，并能在所有块中找到最佳块组合，以保证模型推理精度的同时，最小化推理时间
。
[0009]本专利技术采用如下技术方案：
[0010]本专利技术提供一种面向边缘侧多模态
Transformer
模型的推理卸载优化方法，包括：
[0011]步骤1，通过对基于
Transformer
的多模态模型进行分析，得到计算节点图
、
输入输出形状
、
内存占用的信息；
[0012]步骤2，通过分割卸载优化算法计算出最优的分割卸载策略；
[0013]步骤3，将各计算节点的计算任务根据该分割卸载策略进行分割卸载执行
。
[0014]进一步地，步骤1中，推理试验包括基于
Transformer
多模态模型中的
Transformer
编码器在离线阶段的准备和推理阶段的推理
。
[0015]进一步地，步骤2包括：根据计算节点图
、
各节点输入输出形状
、
内存占用以及设备资源信息，得到在满足设备内存的约束下
、
实现最小化延迟的各节点在各设备上的分割卸载策略
。
[0016]进一步地，步骤1包括：
[0017]步骤
1.1
，对实验进行配置，确定基于
Transformer
的多模态模型以及其计算图，设备配置；
[0018]步骤
1.2
，各设备通过通信模块两两之间建立
TCP
长连接，并分析出两两之间的上下行带宽；
[0019]步骤
1.3
，主模块通过通信模块通知各设备的离线分析模块分析出各设备的可用内存；
[0020]步骤
1.4
，主模块通过对多模态模型分析得到模型中
Transformer
编码器中的多头注意力块中的计算节点图以及其输入输出形状，以及每个节点对应权重的内存占用并对节点进行编号；
[0021]步骤
1.5
，主模块通过通信模块通知各设备的离线分析模块分析出各设备上各节点在当前设备上的执行时间与输入之间的对应映射，各设备的离线分析模块通过通信模块将分析出的结果发送到主模块中
。
[0022]进一步地，步骤3中包括：
[0023]步骤
3.1
，主模块将分割卸载策略以及对应的权重发送到对应设备的调度模块中，各设备调度模块根据分割策略创建多个任务模块；
[0024]步骤
3.2
，将各个任务模块加载下一个多头自注意力块中的对应节点的权重到设备的内存或者显存中；
[0025]步骤
3.3
，主模块计算嵌入部分，然后根据第一个节点的分割卸载策略将嵌入部分的输出分割发送到各个设备中；
[0026]步骤
3.4
，各设备接收输入数据，根据分割卸载策略将对应范围的输入发送到所有设备对应的任务模块中；
[0027]步骤
3.5
，各任务模块接收到数据后放入模块内部的缓冲区，如果缓冲区中数据满足分割卸载策略中对当前任务模块指定的输入范围，将可执行标志记为
True
，否则本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种面向边缘侧多模态
Transformer
模型的推理卸载优化方法，其特征在于，包括：步骤1，通过对基于
Transformer
的多模态模型进行分析，得到计算节点图
、
输入输出形状
、
内存占用的信息；步骤2，通过分割卸载优化算法计算出最优的分割卸载策略；步骤3，将各计算节点的计算任务根据该分割卸载策略进行分割卸载执行
。2.
根据权利要求1所述的面向边缘侧多模态
Transformer
模型的推理卸载优化方法，其特征在于，步骤1包括：步骤
1.1
，对实验进行配置，确定基于
Transformer
的多模态模型以及其计算图，设备配置；步骤
1.2
，各设备通过通信模块两两之间建立
TCP
长连接，并分析出两两之间的上下行带宽；步骤
1.3
，主模块通过通信模块通知各设备的离线分析模块分析出各设备的可用内存；步骤
1.4
，主模块通过对多模态模型分析得到模型中
Transformer
编码器中的多头注意力块中的计算节点图以及其输入输出形状，以及每个节点对应权重的内存占用并对节点进行编号；步骤
1.5
，主模块通过通信模块通知各设备的离线分析模块分析出各设备上各节点在当前设备上的执行时间与输入之间的对应映射，各设备的离线分析模块通过通信模块将分析出的结果发送到主模块中
。3.
根据权利要求2所述的面向边缘侧多模态
Transformer
模型的推理卸载优化方法，其特征在于，步骤3中包括：步骤
3.1
，主模块将分割卸载策略以及对应的权重发送到对应设备的调度模块中，各设备调度模块根据分割策略创建多个任务模块；步骤
3.2
，将各个任务模块加载下一个多头自注意力块中的对应节点的权重到设备的内存或者显存中；步骤
3.3
，主模块计算嵌入部分，然后根据第一个节点的分割卸载策略将嵌入部分的输出分割发送到各个设备中；步骤
3.4
，各设备接收输入数据，根据分割卸载策略将对应范围的输入发送到所有设备对应的任务模块中；步骤
3.5
，各任务模块接收到数据后放入模块内部的缓冲区，如果缓冲区中数据满足分割卸载策略中对当前任务模块指定的输入范围，将可执行标志记为
True
，否则记为
False
；步骤
3.6
，各设备调度模块对当前计算节点对应的任务模块的可执行标记进行判断，如果可执行标记为
False
，则等待执行，回到步骤
3.4
，如果可执行标记为
True
，直接执行，然后根据分割策略将对应范围的输出发送到对应设备的对应任务模块中；步骤
3.7
，判断是否还有下一个节点，有，将下一个节点设置为当前节点，转到步骤
3.6
，没有，继续进行步骤
3.8
；步骤
3.8
，继续步骤
3.4
，直到当前多头自注意力块在所有设备的所有的节点执行完毕；步骤
3.9
，各设备根据第1个节点在各设备的分割卸载策略，将计算图中最后一个节点在各设备上的部分执行结果，发送到第1个节点在各设备所需输入范围的数据到对应设备上去；
步骤
3.10
，各任务模块加载下一个多头自注意力块中对应节点的相应的权重，并继续步骤
1.11
，直到当前
Transformer
编码器中所有的多头自注意力块被执行完毕，并将结果传输回主模块；步骤
3.11
，主模块继续计算剩余的部分
。4.
根据权利要求1所述的面向边缘侧多模态
Transformer
模型的推理卸载优化方法，其特征在于，步骤2包括：步骤
2.1
，将分割卸载优化问题形式化为一个带有约束的优化问题；步骤
2.2
，通过遗传算法进行求解
。5.
根据权利要求4所述的面向边缘侧多模态
Transformer
模型的推理卸载优化方法，其特征在于，步骤
2.1
中，每个计算节点产生一个针对输出的分割策略，其分割维度沿...

【专利技术属性】
技术研发人员：刘玉潇，韩锐，刘驰，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：