基于Transformer的图像处理方法及其系统技术方案

本发明专利技术提供一种基于Transformer的图像处理方法及其系统，其中图像处理方法包括：获取图像样本；通过卷积神经网络对图像样本进行局部特征提取，得到二维特征图；将二维特征图转化为第一一维特征序列；将第一一维特征序列中的特征向量与第一位置编码相加，得到第一一维编码特征序列；通过Transformer对第一一维编码特征序列进行全局特征提取，得到一维待处理特征序列；将一维待处理特征序列作为输入进行至少一次叠加操作，以使一维待处理特征序列进行至少一次Transformer的全局特征提取，得到一维目标特征序列。本发明专利技术能够加强Transformer的特征提取能力。Transformer的特征提取能力。Transformer的特征提取能力。

【技术实现步骤摘要】
基于Transformer的图像处理方法及其系统


[0001]本专利技术涉及人工智能
，尤其涉及一种基于Transformer的图像处理方法及其系统。

技术介绍

[0002]随着深度学习的不断发展，图像分类技术得到了很大的提高。而基于Transformer(变换神经网络)的分类方法已经在各个领域展现出了较高的性能。
[0003]其中，Transformer以自注意力机制为核心进行特征相似性的计算，由于自注意力机制的计算方式，其更加关注全局特征，且计算量巨大，ViT(Vision Transformer，视觉变换神经网络)是首个进行视觉分类任务的只由transformer构造的神经网络，验证了将transformer用在视觉领域的可行性，但ViT从输入到结束都采用单一不变的特征尺寸，不适用于下游检测任务，研究人员开始研究构造多尺度的transformer网络。
[0004]随后出现的视觉Transformer变形网络如Swin
‑
Transformer(Shifted windowsr/>‑
T本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer的图像处理方法，其特征在于，包括：获取图像样本；通过卷积神经网络对所述图像样本进行局部特征提取，得到二维特征图；将所述二维特征图转化为第一一维特征序列；将所述第一一维特征序列中的特征向量与第一位置编码相加，得到第一一维编码特征序列；通过Transformer对所述第一一维编码特征序列进行全局特征提取，得到一维待处理特征序列；将所述一维待处理特征序列作为输入进行至少一次叠加操作，以使所述一维待处理特征序列进行至少一次Transformer的全局特征提取，得到一维目标特征序列。2.根据权利要求1所述的图像处理方法，其特征在于，所述叠加操作包括：对输入的一维特征序列进行下采样处理，得到第二一维特征序列；将所述第二一维特征序列中的特征向量与第二位置编码相加，得到第二一维编码特征序列；将所述第二一维编码特征序列输入至Transformer进行全局特征提取，得到一维全局特征序列；其中，所述输入的一维特征序列包括：所述一维待处理特征序列，或包括：所述一维待处理特征序列和所述一维全局特征序列；最后一次叠加操作得到的一维全局特征序列为一维目标特征序列。3.根据权利要求2所述的图像处理方法，其特征在于，所述对输入的一维特征序列进行下采样处理的步骤包括：采用一维卷积的方式对所述输入的一维特征序列进行卷积操作，得到一维卷积特征序列；通过所述一维卷积特征序列与预设的线性投影矩阵相乘，得到一维投影特征序列；将所述一维投影特征序列进行归一化处理，得到第二一维特征序列。4.根据权利要求2所述的图像处理方法，其特征在于，在所述通过Transformer对所述第一一维编码特征序列进行全局特征提取的步骤之前，所述图像处理方法还包括：通过第一激活函数对所述第一一维编码特征序列进行处理；在所述将所述第二一维编码特征序列输入至Transformer进行全局特征提取的步骤之前，所述图像处理方法还包括：通过第二激活函数对所述第二一维编码特征序列进行处理。5.根据权利要求1至4任一项所述的图像处理方法，其特征在于，在所述将所述一维待处理特征序列作为输入进行至少一次叠加操作的步骤之后，所述图像处理方法还包括：对所述一维目标特征序列中用于表示特征尺寸大小的元素进行取均值处理，得到多尺度一维均值特征序列；通过全连接层对所述多尺度一维均值特征序列进行处理，得到一维类别特征序列，所述一维类别特征序列包括多个类；通过归一化指数函数对所述一维类别特征序列进行处理，以得到每个类所对应的概率。
6.根据权利要求1至4任一项所述的图像处理方法，其特征在于，...

【专利技术属性】
技术研发人员：赵广艺，李勇周，谭红梅，
申请(专利权)人：许昌市投资集团有限公司，
类型：发明
国别省市：