一种可重构阵列下制造技术

本申请涉及数据复用技术领域，公开了一种可重构阵列下

【技术实现步骤摘要】
一种可重构阵列下Transformer网络模型数据复用方案与实现方法


[0001]本申请涉及数据复用
，具体涉及一种可重构阵列下
Transformer
网络模型数据复用方案与实现方法
。

技术介绍

[0002]边缘设备通常具有有限的计算能力
、
存储和能耗
。
由于
Transformer
模型通常较大且计算密集，将其直接部署在边缘设备上可能会导致性能下降
、
延迟增加以及电池寿命缩短
。Transformer
网络的预训练语言模型经过微调后，虽然能够在许多下游任务上取得较好的效果，但是
Transformer
模型本身较大，需要的计算资源较多，因此很难将这些模型部署到硬件中
。
通过数据复用，可以减少模型重复加载和计算的次数，从而减轻设备负担
。
[0003]在设计数据流通路时，数据复用是实现高性能和低功耗的主要手段，可进一步分为时间复用和空间复用
。
时间复用发生在相同数据在不同周期重用时，而空间复用发生在相同数据在不同
PE
处重用
。
[0004]权重共享是一种简单且有效的减少模型尺寸的技术，已被用于
NLP
中的
Transformer
模型压缩
。
目前有很多方式来共享参数，例如只共享前馈网络不同层之间的参数，或者只共享注意力机制的参数，而
ALBERT
采用的是共享所有层的所有参数
。
该方法可以在不严重影响模型性能的情况下显著降低模型尺寸，也可以有效地提升模型的稳定程度
。Transformer
网络多使用权重共享方法
。
采用分层共享方法可以进一步提高模型的性能，因为不同层之间的参数共享可以缓解过拟合的风险
。
[0005]如下表1所示，为现有
Transformer
网络数据复用技术
。
[0006]表
1Transformer
网络数据复用现有技术
[0007][0008]然而现有架构中的数据复用方案存在的缺点是难以在计算资源有限的端侧设备
上部署
。

技术实现思路

[0009]针对现有技术存在的上述不足，本专利技术的目的在于提供一种可重构阵列下
Transformer
网络模型数据复用方案与实现方法
。
[0010]为实现以上目的，本专利技术采用如下技术方案：
[0011]一种可重构阵列下
Transformer
网络模型数据复用方案，利用基于倒序循环的权重共享方法，构造使用
L/2
层
(
模块中一半的
Transformer
层
)
参数的
L
层
MSA
模块，前
L/2
层使用不同的参数，后
L/2
层重复利用前
L/2
层的参数，由此实现权重共享
。
[0012]进一步地，所述权重共享方法的实现如算法1所示，
CreateNewLayer
是创建
MSA
模块的函数；首先堆叠前
L/2
层，这些层的参数彼此相互独立，后
L/2
层使用倒序循环的权重共享方法，重复利用前
L/2
层的参数；
[0013][0014]进一步地，本申请提供一种可重构阵列下
Transformer
网络模型数据复用的实现方法，包括以下步骤：
[0015]S1.
将
PE
阵列划分为四个
PE
组，每个
PE
组包含4×4个
PE
，为一簇；
[0016]S2.
第一组内的
PE
从分块后的输入图像数据读取图像特征和位置特征；第二组内的
PE
读取第一组
PE
中的特征信息，实现编码器模块各种运算的数据处理和存储；第三组内的
PE
读取第二组
PE
中的特征信息，实现解码器模块各种运算的数据处理和存储；第四组内的
PE
为
Transformer
网络下游任务的各种运算做准备；不同
PE
组从不同的输入通道读取图像特征和权重，输出的结果存储在整个阵列的
PE
组中
。
[0017]进一步地，编码器模块的数据处理通过第二组内的
PE
协同实现，每个输入向量被映射到一个
PE
内，提取图像特征后，进行下一步的运算
。
[0018]进一步地，将编码器模块的核心单元
MSA
模块的计算过程分解为并行计算的向量
/
矩阵运算，每次运算操作使用一行图像特征和一行图像权重，并且生成一行输出结果；输出结果累积在一起，生成映射后不同尺寸的特征图
。
[0019]进一步地，一维图像的输入向量来自第一组
PE
阵列的存储结构
。
[0020]进一步地，当图像块的特征并行提取到第一行的
PE
后，生成图像权重，利用窗口移位分区方法和图像权重，实现缩放点积注意力的向量变换和矩阵运算，最后进行输出数据的累积，形成最终输出结果
。
[0021]与现有技术相比，本专利技术具有以下有益效果
:
本申请通过采用权重共享方法解决了
Transformer
网络访存量大
、
训练成本高的问题，大大减少了资源占用，使得
Transformer
模型可以在端侧运行，同时精度损失在可承受范围内
。
附图说明
[0022]通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征
、
目的和优点将会变得更明显：
[0023]图1为本申请数据复用方案示意图；
[0024]图2为图像数据输入
PE
阵列示意图；
[0025]图3为
PE
阵列分组示意图；
[0026]图4为多层次分布式存储结构示意图；
[0027]图5为
MSA
模块计算数据流图；
[0028]图6为
MSA
模块数据复用仿真波形；
[0029]图7为对比网络模型的准确率与参数量；
[0030]图8为对比网络模型的准确率与
FLOPs。
具体实施方式
[0031]下面结合具体实施例对本专利技术进行详细说明
。
以下实施例将有助于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种可重构阵列下
Transformer
网络模型数据复用方案，其特征在于，利用基于倒序循环的权重共享方法，构造使用
L/2
层参数的
L
层
MSA
模块，前
L/2
层使用不同的参数，后
L/2
层重复利用前
L/2
层的参数，由此实现权重共享
。2.
根据权利要求1所述的可重构阵列下
Transformer
网络模型数据复用方案，其特征在于，所述权重共享方法的实现如算法1所示，
CreateNewLayer
是创建
MSA
模块的函数；首先堆叠前
L/2
层，这些层的参数彼此相互独立，后
L/2
层使用倒序循环的权重共享方法，重复利用前
L/2
层的参数；
3.
根据权利要求1所述的可重构阵列下
Transformer
网络模型数据复用方案，其特征在于，所述可重构阵列下
Transformer
网络模型数据复用的实现方法，包括以下步骤：
S1.
将
PE
阵列划分为四个
PE
组，每个
PE
组包含4×4个
PE
，为一簇；
S2.
第一组内的
PE
从分块后的输入图像数据读取图像特征和位置特征；第二组内的
PE
读取第一组
PE
中的特征信息，实现编码器模块各种运算的数据处理和存储；第三组内的
PE

【专利技术属性】
技术研发人员：蒋林，张骁帆，张一心，纪晨，张岩，张丁月，
申请(专利权)人：西安科技大学，
类型：发明
国别省市：