【技术实现步骤摘要】
本申请涉及人工智能，尤其涉及图像分类方法、装置、设备和存储介质。
技术介绍
1、在计算机视觉领域，图像分类是利用机器学习或深度学习技术，训练模型以根据图像的内容或特征将图像划分为不同的类别或标签，来识别和区分图像中的不同对象、场景或模式。图像分类的应用广泛，比如医学影像诊断、自动驾驶中的交通标志识别、安防监控中的人脸识别等。
2、相关技术中脉冲神经网络能够用于图像分类任务，但是脉冲神经网络在学习过程中会丢失部分信息，一些特征比较模糊，使得脉冲神经网络的分类准确率并不理想。
技术实现思路
1、本申请实施例的主要目的在于提出图像分类方法、装置、设备和存储介质，提升图像分类准确率。
2、为实现上述目的，本申请实施例的第一方面提出了一种图像分类方法，由训练好的图像分类模型执行，所述图像分类模型包括依次连接的脉冲卷积采样模块、脉冲编码器和分类头，所述脉冲卷积采样模块包括依次连接的多个脉冲卷积处理单元，所述方法包括：
3、将获取的目标图像转化成预设维度的二维图像序列；
4、将所述二维图像序列输入所述脉冲卷积采样模块，依次经过所述脉冲卷积处理单元进行脉冲转换得到脉冲特征向量；所述脉冲卷积处理单元对第一输入数据依次进行卷积操作、第一批归一化操作和第一脉冲叠加操作，得到第一输出数据，前一个所述脉冲卷积处理单元的所述第一输出数据为后一个所述脉冲卷积处理单元的所述第一输入数据，所述第一输入数据的初始值为所述二维图像序列，最后一个所述第一输出数据为所述脉冲特
5、将所述脉冲特征向量输入所述脉冲编码器进行脉冲编码，得到编码特征向量；
6、将所述编码特征向量输入所述分类头进行图像分类，得到所述目标图像的目标分类结果。
7、在一些实施例，每个所述脉冲卷积处理单元包括依次连接的卷积层、第一批归一化层和第一脉冲层；所述脉冲卷积处理单元对第一输入数据依次进行卷积操作、第一批归一化操作和第一脉冲叠加操作，得到第一输出数据，包括：
8、利用所述卷积层对所述第一输入数据进行卷积操作得到脉冲卷积数据；
9、利用所述第一批归一化层对所述第一卷积数据进行第一批归一化操作，得到脉冲归一化数据；
10、将所述脉冲归一化数据与所述第一脉冲层输入的第一脉冲信号进行第一脉冲叠加操作，得到脉冲化的所述第一输出数据。
11、在一些实施例，所述脉冲卷积采样模块的数量为预设数量；所述图像分类模型的训练过程包括以下步骤：
12、获取第一样本图像集和第二样本图像集；所述第一样本图像集包括多个预设维度的第一样本图像，所述第二样本图像集包括多个预设维度的第二样本图像和对应的分类标签；
13、在将所述二维样本图像依次输入所述脉冲卷积采样模块的过程中，根据预设掩码图像对每个所述脉冲卷积采样模块的输出脉冲数据进行掩码，得到掩码样本图像；
14、将所述掩码样本图像输入所述脉冲编码器进行脉冲编码，得到编码样本图像；
15、将所述编码样本图像和掩码令牌输入解码器进行图像重构，得到解码样本图像；
16、将所述第一样本图像和所述解码样本图像进行比较，计算编解码损失值，利用所述编解码损失值对所述编码器和所述图像分类模型进行权重调节，直至达到训练终止条件，得到预训练的所述图像分类模型；
17、利用所述第二样本图像和对应的分类标签对预训练后的所述图像分类模型进行分类训练，得到训练好的所述图像分类模型。
18、在一些实施例，所述在将所述二维样本图像依次输入所述脉冲卷积采样模块的过程中，根据预设掩码图像对每个所述脉冲卷积采样模块的输出脉冲数据进行掩码，得到掩码样本图像，包括：
19、对所述预设掩码图像进行所述预设数量的上采样过程得到所述预设数量的、互不相同的上采样掩码图像，并将所述上采样掩码图像与所述脉冲卷积采样模块进行关联；所述上采样过程的采样倍数逐次递减；
20、将每个所述脉冲卷积采样模块的输出数据与对应的所述上采样掩码图像相乘得到掩码输出图像，并将所述掩码输出图像作为下一个所述脉冲卷积采样模块的输入数据；
21、将最后一个所述掩码输出图像作为所述掩码样本图像。
22、在一些实施例，所述脉冲编码器包括脉冲自注意力层和多层感知器；所述将所述脉冲特征向量输入所述脉冲编码器进行脉冲编码，得到编码特征向量，包括：
23、利用所述脉冲自注意力层对所述脉冲特征向量进行注意力计算，得到注意力特征；
24、将所述注意力特征和所述脉冲特征向量进行叠加，得到感知输入向量；
25、将所述感知输入向量输入所述多层感知器进行特征计算得到感知特征向量；
26、将所述感知特征向量和所述感知输入向量叠加得到所述编码特征向量。
27、在一些实施例，所述多层感知器包括依次连接的两个脉冲感知单元，所述脉冲感知单元包括第一线性层、第二批归一化层和第二脉冲层；所述将所述感知输入向量输入所述多层感知器进行特征计算得到感知特征向量，包括：
28、所述脉冲感知单元利用所述第一线性层对第二输入数据进行第一线性操作得到线性特征向量，利用所述第二批归一化层对所述线性特征向量进行第二批归一化操作，得到线性归一化数据，再将所述线性归一化数据与所述第二脉冲层输入的第二脉冲信号进行第二脉冲叠加操作，得到脉冲化的第二输出数据；
29、前一个所述脉冲感知单元的所述第二输出数据为后一个所述脉冲感知单元的所述第二输入数据，所述第二输入数据的初始值为所述感知输入向量，最后一个所述第二输出数据为所述感知特征向量。
30、在一些实施例，所述利用所述脉冲自注意力层对所述脉冲特征向量进行注意力计算，得到注意力特征，包括：
31、计算所述脉冲特征向量的查询向量、键向量和值向量；
32、对所述查询向量、所述键向量和所述值向量分别进行缩放，得到缩放查询向量、缩放键向量和缩放值向量；
33、将所述缩放查询向量、所述缩放键向量和所述缩放值向量进行矩阵乘法，得到注意力矩阵；
34、对所述注意力矩阵依次进行第三脉冲叠加操作、第二线性操作、第三批归一化操作得到所述注意力特征。
35、为实现上述目的，本申请实施例的第二方面提出了一种图像分类装置，由训练好的图像分类模型执行，所述图像分类模型包括依次连接的脉冲卷积采样模块、脉冲编码器和分类头，所述脉冲卷积采样模块包括依次连接的多个脉冲卷积处理单元，所述装置包括：
36、图像序列转化模块：用于将获取的目标图像转化成预设维度的二维图像序列；
37、脉冲采样模块：用于将所述二维图像序列输入所述脉冲卷积采样模块，依次经过所述脉冲卷积处理单元进行脉冲转换得到脉冲特征向量；所述脉冲卷积处理单元对第一输入数据依次进行卷积操作、第一批归一化操作和第一脉冲叠加操作，得到第一输出数据，前一个所述脉冲卷积处理单元的所述第一输出数据本文档来自技高网...
【技术保护点】
1.一种图像分类方法，其特征在于，由训练好的图像分类模型执行，所述图像分类模型包括依次连接的脉冲卷积采样模块、脉冲编码器和分类头，所述脉冲卷积采样模块包括依次连接的多个脉冲卷积处理单元，所述方法包括：
2.根据权利要求1所述的图像分类方法，其特征在于，每个所述脉冲卷积处理单元包括依次连接的卷积层、第一批归一化层和第一脉冲层；所述脉冲卷积处理单元对第一输入数据依次进行卷积操作、第一批归一化操作和第一脉冲叠加操作，得到第一输出数据，包括：
3.根据权利要求1所述的图像分类方法，其特征在于，所述脉冲卷积采样模块的数量为预设数量；所述图像分类模型的训练过程包括以下步骤：
4.根据权利要求3所述的图像分类方法，其特征在于，所述在将所述二维样本图像依次输入所述脉冲卷积采样模块的过程中，根据预设掩码图像对每个所述脉冲卷积采样模块的输出脉冲数据进行掩码，得到掩码样本图像，包括：
5.根据权利要求1至4任一项所述的图像分类方法，其特征在于，所述脉冲编码器包括脉冲自注意力层和多层感知器；所述将所述脉冲特征向量输入所述脉冲编码器进行脉冲编码，得到编码特征
6.根据权利要求5所述的图像分类方法，其特征在于，所述多层感知器包括依次连接的两个脉冲感知单元，所述脉冲感知单元包括第一线性层、第二批归一化层和第二脉冲层；所述将所述感知输入向量输入所述多层感知器进行特征计算得到感知特征向量，包括：
7.根据权利要求5所述的图像分类方法，其特征在于，所述利用所述脉冲自注意力层对所述脉冲特征向量进行注意力计算，得到注意力特征，包括：
8.一种图像分类装置，其特征在于，由训练好的图像分类模型执行，所述图像分类模型包括依次连接的脉冲卷积采样模块、脉冲编码器和分类头，所述脉冲卷积采样模块包括依次连接的多个脉冲卷积处理单元，所述装置包括：
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的图像分类方法。
10.一种存储介质，所述存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的图像分类方法。
...【技术特征摘要】
1.一种图像分类方法，其特征在于，由训练好的图像分类模型执行，所述图像分类模型包括依次连接的脉冲卷积采样模块、脉冲编码器和分类头，所述脉冲卷积采样模块包括依次连接的多个脉冲卷积处理单元，所述方法包括：
2.根据权利要求1所述的图像分类方法，其特征在于，每个所述脉冲卷积处理单元包括依次连接的卷积层、第一批归一化层和第一脉冲层；所述脉冲卷积处理单元对第一输入数据依次进行卷积操作、第一批归一化操作和第一脉冲叠加操作，得到第一输出数据，包括：
3.根据权利要求1所述的图像分类方法，其特征在于，所述脉冲卷积采样模块的数量为预设数量；所述图像分类模型的训练过程包括以下步骤：
4.根据权利要求3所述的图像分类方法，其特征在于，所述在将所述二维样本图像依次输入所述脉冲卷积采样模块的过程中，根据预设掩码图像对每个所述脉冲卷积采样模块的输出脉冲数据进行掩码，得到掩码样本图像，包括：
5.根据权利要求1至4任一项所述的图像分类方法，其特征在于，所述脉冲编码器包括脉冲自注意力层和多层感知器；所述将所述脉冲特征向量输入所述脉冲编码器进...
【专利技术属性】
技术研发人员：周昭坤，袁粒，车凯威，方维，田永鸿，李鑫，王耀威，周晖晖，朱跃生，
申请(专利权)人：鹏城实验室，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。