全加法脉冲自注意力Transformer的分类方法技术

本发明专利技术提供一种全加法脉冲自注意力Transformer的分类方法，包括：获取待分类的图像；基于分类模型的预处理模块，对图像进行特征提取，得到基本特征图，对基本特征图进行相对位置编码，得到位置编码结果；基于分类模型的块混合模块，对位置编码结果进行脉冲序列转化，得到脉冲特征图，并在块维度上对脉冲特征图的第一脉冲矩阵进行脉冲驱动自注意力运算，得到膜电位特征图；基于分类模型的通道混合模块，在通道维度上对膜电位特征图的第二脉冲矩阵进行脉冲驱动自注意力运算，得到输出膜电位；基于分类模型的解码分类模块，应用输出膜电位进行图像分类。本发明专利技术提供的方法，可以在降低图像分类处理功耗的同时，保证图像分类处理的准确率。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其涉及一种全加法脉冲自注意力transformer的分类方法。

技术介绍

1、图像识别与图像分类是计算机视觉领域的基本研究问题，随着大数据时代的来临，大规模图像分类问题逐渐兴起，对准确而高效的图像分类算法和网络架构的研究已经成为技术人员的热点课题。

2、目前主流的图像分类模型中，大都使用传统的卷积神经网络架构，但由于卷积神经网络需要大量的多层堆叠才能实现可观的感受野，卷积神经网络质量的提升会引起运算成本的提高，带来难以接受的功耗。而近年来在自然语言处理领域提出的自注意力模型，通过其全局感受野和高识别效率，在计算机视觉领域也取得突破性运用。但自注意力模型需要大量的数据进行训练，其运算成本和功耗也不甚乐观。

3、如何实现准确、高效和低功耗的图像分类方法，是目前计算机视觉领域乃至边缘计算领域亟待解决的技术问题。

技术实现思路

1、本专利技术提供一种全加法脉冲自注意力transformer的分类方法，用以解决现有技术中图像分类处理功耗高、效率低的问题。

2本文档来自技高网...

【技术保护点】

1.一种全加法脉冲自注意力Transformer的分类方法，其特征在于，包括：

2.根据权利要求1所述的全加法脉冲自注意力Transformer的分类方法，其特征在于，所述第一脉冲矩阵包括查询矩阵Q1、键矩阵K1和值矩阵V1，所述在块维度上对所述第一脉冲矩阵进行脉冲驱动自注意力运算，包括：

3.根据权利要求2所述的全加法脉冲自注意力Transformer的分类方法，其特征在于，所述基于所述分类模型的块混合模块，对所述位置编码结果进行脉冲序列转化，得到脉冲特征图，提取所述脉冲特征图的第一脉冲矩阵，并在块维度上对所述第一脉冲矩阵进行脉冲驱动自注意力运算，得到所述图像的...

【技术特征摘要】

1.一种全加法脉冲自注意力transformer的分类方法，其特征在于，包括：

2.根据权利要求1所述的全加法脉冲自注意力transformer的分类方法，其特征在于，所述第一脉冲矩阵包括查询矩阵q1、键矩阵k1和值矩阵v1，所述在块维度上对所述第一脉冲矩阵进行脉冲驱动自注意力运算，包括：

3.根据权利要求2所述的全加法脉冲自注意力transformer的分类方法，其特征在于，所述基于所述分类模型的块混合模块，对所述位置编码结果进行脉冲序列转化，得到脉冲特征图，提取所述脉冲特征图的第一脉冲矩阵，并在块维度上对所述第一脉冲矩阵进行脉冲驱动自注意力运算，得到所述图像的膜电位特征图，包括：

4.根据权利要求1所述的全加法脉冲自注意力transformer的分类方法，其特征在于，所述第二脉冲矩阵包括查询矩阵q2、键矩阵k2和值矩阵v2，所述在通道维度上对所述第二脉冲矩阵进行脉冲驱动自注意力运算，包括：

5.根据权利要求4所述的全加法脉冲自注意力transformer的分类方法，其特征在于，所述基于所述分类模型的通道混合模块，提取所述膜电位特征图的第二脉冲矩阵，并在通道维度上对所述第...

【专利技术属性】
技术研发人员：李国齐，徐波，姚满，黄彦彬，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：