面向Transformer的多尺度特征增强模块制造技术

本发明专利技术公开了一种面向Transformer的多尺度特征增强模块，包括以下步骤：基于原始的特征块序列构造一条Transformer路径；对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列；所述模块通过不同级别的块合并，形成不同尺度的块序列，由多条Transformer路径增强特征感知尺度的能力。尺度的能力。尺度的能力。

【技术实现步骤摘要】
面向Transformer的多尺度特征增强模块


[0001]本专利技术涉及计算机视觉领域，特别是涉及一种面向Transformer的多尺度特征增强模块。

技术介绍

[0002]在图像处理中，因物体的大小不一，所以多尺度问题是很多计算机视觉任务都必须要解决的问题，如目标检测、图像分割、人群计数等。DeepLab中提出的多尺度空洞空间金字塔池化Atrous Spatial Pyramid Pooling(ASPP)模块使用具有不同采样率的多个并行空洞卷积层获取多尺度物体信息。受此启发，本专利技术意在提出一种即插即用的面向Transformer的多尺度特征增强模块。

技术实现思路

[0003]本专利技术所需要解决的技术问题是提供一种面向Transformer的多尺度特征增强模块，通过不同级别的块合并，形成不同尺度的块序列，由多条Transformer路径增强特征感知尺度的能力。
[0004]本专利技术具体采用的技术方案如下：
[0005]本专利技术面向Transformer的多尺度特征增强模块包括以下步骤：
[0006]S1、基于原始的特征块序列构造一条Transformer路径；
[0007]S2、对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；
[0008]S3、对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列。
[0009]进一步地，在所述步骤S1中，假设原始的特征块序列表示为f＝[t1,t2,
…
,tn]，构造的Transformer路径表示为：
[0010]F＝Trans(f)
[0011]其中，Trans(
·
)表示一个Transformer块，有两个多头自注意力层构成；
[0012]进一步地，在所述步骤S2中，对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；具体表示为：
[0013]F
i
＝MLP(Reshape(FC(Trans(Merge
i
(f))))+f)
[0014]其中，Merge
i
(
·
)表示第i种块合并方法，i从1到m，m表示带残差的Transformer路径总数；FC(
·
)表示全连接层，Reshape(
·
)表示变形操作，MLP(
·
)表示多层感知机，“+”表示通道级联操作；
[0015]进一步地，在所述步骤S3中，对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列F
final
。
[0016][0017]与已有技术相比，本专利技术有益效果体现在：
[0018]本专利技术提出一种面向Transformer的多尺度特征增强模块，通过不同级别的块合并，形成不同尺度的块序列，由多条Transformer路径增强特征感知尺度的能力。
附图说明
[0019]图1为本专利技术一种面向Transformer的多尺度特征增强模块的示意图。
[0020]以下通过具体实施方式，并结合附图对本专利技术做进一步说明，但本专利技术的实施方式不限于此。
具体实施方式
[0021]下面对本专利技术的实施例作详细说明，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本专利技术的保护范围不限于下述的实施例。
[0022]本专利技术实施例面向Transformer的多尺度特征增强模块，如图1所示，包括以下步骤：
[0023]S1、基于原始的特征块序列构造一条Transformer路径；
[0024]S2、对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；
[0025]S3、对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列。
[0026]进一步地，在所述步骤S1中，假设原始的特征块序列表示为f＝[t1,t2,
…
,t15]，构造的Transformer路径表示为：
[0027]F＝Trans(f)
[0028]其中，Trans(
·
)表示一个Transformer块，有两个多头自注意力层构成；
[0029]进一步地，在所述步骤S2中，对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；具体表示为：
[0030]F
i
＝MLP(Reshape(FC(Trans(Merge
i
(f))))+f)
[0031]其中，Merge
i
(
·
)表示第i种块合并方法，i从1到2；Merge1(
·
)将f中的15个块每3个进行一次合并，形成5个块；Merge2(
·
)将f中的15个块每5个进行一次合并，形成3个块；FC(
·
)表示全连接层，Reshape(
·
)表示变形操作，MLP(
·
)表示多层感知机，“+”表示通道级联操作；
[0032]进一步地，在所述步骤S3中，对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列F
final
。
[0033][0034]以上所述仅为本专利技术的较佳实施例而已，并不用以限制本专利技术，凡在本专利技术的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本专利技术的保护范围之内。
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.本发明面向Transformer的多尺度特征增强模块，包括以下步骤：S1、基于原始的特征块序列构造一条Transformer路径；S2、对原始的特征块序列进行不同级别的块合并，构造多条带残差的Transformer路径；S3、对所述S1和S2产生的结果进行级联，降维，产生增强的特征块序列。2.根据权利要求1所述的面向Transformer的多尺度特征增强模块，其特征在于，在所述步骤S1中，假设原始的特征块序列表示为f＝[t1,t2,
…
,tn]，构造的Transformer路径表示为：F＝Trans(f)其中，Trans(
·
)表示一个Transformer块，有两个多头自注意力层构成。3.根据权利要求1所述的面向Transformer的多尺度特征增强模块，其特征在于，在所述步骤S2中，对原始的特征块序列进行不...

【专利技术属性】
技术研发人员：刘政怡，檀亚诚，吴伟，张广辉，
申请(专利权)人：安徽大学，
类型：发明
国别省市：