【技术实现步骤摘要】
基于Transformer的动态稀疏化结合原型的分类方法及装置
[0001]本专利技术属于图像分类
，涉及一种基于Transformer的动态稀疏化结合原型的分类方法及装置。
技术介绍
[0002]图像分类任务一直是计算机视觉任务中的一项重要任务，而基于原型的分类方法则是图像分类方法中一种具有可解释性方面优势的方法。基于原型的分类方法思路来源于人类对物体的识别方法：通过“某物”看起来像“某物”来建立物体间的关系，进而进行归类；该分类方法通过建立图像级别的原型，通过在待分类的图像中不同部分寻找原型进行匹配，从而完成分类。由于可以通过图像激活了那些原型来解释模型的推理过程，基于原型的分类方法具有一定的人工智能可解释性，这使得这种方法具有更好的应用价值，例如应用在医学领域中，医生可以感觉图像中激活的疾病体征原型来分析人工智能模型的推理过程，进而决定是否要采用人工智能给出的诊断结果。
[0003]现有的基于原型的分类方法主要基于卷积神经网络，可解释性较差。
技术实现思路
[0004]本专利技术提供了一种...
【技术保护点】
【技术特征摘要】
1.一种基于Transformer的动态稀疏化结合原型的分类方法，其特征在于，包括以下步骤：S1：对Vision Transformer进行图像分类训练得到基于Vision Transformer的第一图像子块特征提取器；S2：将第一图像特征提取器作为教师模型采用蒸馏的方式对具有动态稀疏化能力的Vision Transformer进行图像分类训练得到基于Vision Transformer并具有动态稀疏化能力的第二图像子块特征提取器；S3：对训练图像进行特征提取并学习得到不同种类对应的多个原型；S4：对待分类图像进行原型匹配得到对应的分类结果。2.根据权利要求1所述的基于Transformer的动态稀疏化结合原型的分类方法，其特征在于，步骤S1具体为：将若干训练图像都切分成大小相同的多个图像子块；将切分结果输入已载入初始化参数的Vision Transformer中进行图像分子块的特征提取，得到每个图像的第一向量化特征表示序列；利用全连接分类器对第一向量化特征表示序列进行建模，得到维度为k维的分类向量化表示，其中k为待预测图像的类别数目；对模型进行训练得到基于Vision Transformer的第一图像子块特征提取器。3.根据权利要求2所述的基于Transformer的动态稀疏化结合原型的分类方法，其特征在于，步骤S2具体为：将若干训练图像都切分成大小相同的多个图像子块；在Vision Transformer的指定层中加入预测模块，同时在模型全局维护一个二值的决定掩码序列，构成具有动态稀疏化能力的Vision Transformer；将切分结果输入已载入初始化参数的具有动态稀疏化能力的Vision Transformer中进行图像分子块的特征提取，得到每个图像的第二向量化特征表示序列；利用全连接分类器对第二向量化特征表示序列进行建模，得到维度为k维的分类向量化表示，其中k为待预测图像的类别数目；将第一图像特征提取器作为教师模型采用蒸馏的方式对模型进行训练得到基于Vision Transformer并具有动态稀疏化能力的第二图像子块特征提取器。4.根据权利要求3所述的基于Transformer的动态稀疏化结合原型的分类方法，其特征在于，步骤S3具体为：将步骤S2中提取得到的第二向量化特征表示序列作为输入构建特征向量空间，将特征向量通过一个全连接层进行整形映射得到每张图像各个子块的特征，对每一个图像类别设定M个原型，令原型拟合至特征向量空间。5.根据权利要求4所述的基于Transformer的动态稀疏化结合原型的分类方法，其特征在于，步骤S4具体为：
将待分类图像切分成大小相同的多个图像子块；将切分结果输入第二图像子块特征提取器得到第三向量化特征表示序列；将第三向量化特征表示序列和原型进行匹配得到分类结果。6.一种基于Transformer的动态稀疏化结合原...
【专利技术属性】
技术研发人员：姚玉峰，袁洲航，方钲清，李英明，黄正行，吴飞，
申请(专利权)人：浙江大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。