一种基于CNN和Transformer的中药材识别方法技术

本发明专利技术公开了一种基于CNN和Transformer的中药材识别方法，包括以下步骤：利用网络爬虫爬取中药材图片；人工筛选保留符合要求的中药材图片并进行数据增强构建中药材图像数据集；构建基于CNN和Transformer的融合CNN

【技术实现步骤摘要】
一种基于CNN和Transformer的中药材识别方法


[0001]本专利技术涉及中药材识别
，具体为一种基于CNN和Transformer的中药材识别方法。

技术介绍

[0002]目前，对中药饮片的快速识别主要依靠具备相关知识的专业人员，最终的识别效果往往取决于工作者积累的经验。此外，由于缺乏专业的设备和知识，而且中药材种类众多，非专业人员很难准确的识别中药材。在深度学习和图像识别技术发展迅速的今天，利用深度学习并结合大量的中药材图像，通过训练相应的模型部署在APP或者小程序上就能实现中药材的快速准确识别。是的非专业人员也能分辨中药材。
[0003]现有技术中，如中国专利号为：CN 114998639 A的“一种基于深度学习的中药材品类识别方法”，包括建立学习模型和识别中药材饮片两个部分。其模型使用AlexNet、GoogLeNet、SqueezeNet作为基础网络结构进行训练。中国专利号为：CN 113989623 A的“一种中药饮片图像的自动识别方法”，其识别模型的构建则是基于ResNeSt卷积神经网络进行改进。即现有技术中，基于深度学习的中药材识别基本都是在经典卷积神经网络的基础上进行改进，在大幅增加中药材品类之后，识别率便十分有限。
[0004]近期，Vision Transformer在计算机视觉任务中取得巨大的成功，但也存在推理速度慢等问题。所以我们结合CNN和Transformer的优势提出一种基于CNN和Transformer的中药材识别方法以解决中药材种类增加时，识别率大幅下降的问题

技术实现思路

[0005]本专利技术的目的在于提供一种基于CNN和Transformer的中药材识别方法，以解决
技术介绍
提出的现有的基于图像识别的中药材自动识别技术识别准确率不高的问题
[0006]为实现上述目的，本专利技术提供如下技术方案：一种基于CNN和Transformer的中药材识别方法，包括以下步骤：
[0007]步骤S1，爬虫爬取中药材图片；
[0008]步骤S2，人工筛选保留符合要求的中药材图片并进行数据增强构建数据集；
[0009]步骤S3，构建融合CNN
‑
Transformer中药材识别模型；
[0010]步骤S4，将训练集的图像输入模型中进行训练，保存最优模型参数；
[0011]步骤S5，将待测样品照片输入训练后的网络中得出识别结果。
[0012]其中，所述S1中首先确定中药材种类，使种子类、根茎类、叶片类、动物类、矿物类等不同形态的药材种类均衡，然后通过爬虫程序在百度图片爬取相关中药材图片。
[0013]其中，所述S2中人工筛选保留符合要求的中药材图片得到原始数据集，按8:1:1的比例划分为训练集、测试集和验证集，对训练集、测试集和验证集分别经过随机缩放、中心裁剪、随机旋转30
°
、随机改变对比度和添加高斯噪声进行数据增强得到增强数据集。
[0014]其中，S3融合CNN
‑
Transformer中药材识别模型具体结构包括：
[0015]S30，融合CNN
‑
Transformer中药材识别模型遵循分层金字塔结构，共分五个阶段，在每个阶段配备Patch Embedding层和融合卷积模块FCB以及融合Transformer模块两个基本组成模块。其中FCB是以DSC深度可分离卷积取代MateFormer架构中的token混合器改进而来，DSC由卷积核为3
×
3，步距为1的DW卷积、BatchNorm层、ReLU激活函数和卷积核为1
×
1，步距为1的点卷积组成；FTB是在MateFormer架构的基础上将改进滑动窗口注意力E
‑
SWMHSA和DSC的输出进行拼接，先将输入的特征图按收缩比0.75缩减特征图通道数，并将缩减后的特征图输入E
‑
SWMHSA模块中，再将其输出的T特征图通道数继续缩减至输入特征图通道数的0.25并输入DSC模块中得到C特征图，最后拼接T和C特征图得到融合特征；
[0016]S31，模型第一阶段为Stem卷积层，对输入张量进行初步卷积提取特征，Stem卷积层由4层卷积层组成，卷积核大小均为3
×
3，输出通道数均为64，步距依次为2、1、1、2，输出空间分辨率为输入图像尺寸的1/4；
[0017]S32,模型第二阶段和第三阶段相同均为Patch Embedding层和3个融合卷积模块FCB堆叠而成，第二阶段的Patch Embedding层为卷积核1
×
1，输出通道数96的卷积层，第三阶段的Patch Embedding层由步距为2的平均池化层和卷积核为1
×
1，输出通道数192的卷积层组成，输出空间分辨率依次为输入图像尺寸的1/4和1/8，通道数则扩展为96和192；
[0018]S33,模型第四阶段为Patch Embedding层和3层混合模块组成，其中Patch Embedding层由步距为2的平均池化层和卷积核为1
×
1，输出通道数382的卷积层组成，混合模块由2层FCB和一层FTB组成，空间分辨率降低为输入图像尺寸的1/16，通道数扩展为512；
[0019]S34，模型第五阶段为Patch Embedding层和1层混合模块组成，其中Patch Embedding层由步距为2的平均池化层和卷积核为1
×
1，输出通道数768的卷积层组成，混合模块与S213中相同，空间分辨率降低为输入图像尺寸的1/32，通道数扩展为1024；
[0020]S35，最后将第五阶段的输出经过BatchNorm和平均池化操作之后展平，再进行线性映射以中药材种类数为输出通道数。
[0021]其中，步骤S4将训练集的图像输入模型中进行训练具体流程为：
[0022]S40，预处理将待训练的图片大小调整为224
×
224像素，然后随机上下翻转，再转化为Tensor张量并输入模型；
[0023]S41,不断调整模型超参数以取得最好的训练结果，并保存最优模型参数，取得最优模型参数的超参数配置为：批尺寸(batch
‑
size＝64)，学习率(lr＝0.0002)，权重衰减(weight
‑
decay＝0.0005)，迭代次数(epochs＝50)。
[0024]其中，步骤S5的具体流程为：
[0025]S50，将模型训练中保存的最优模型参数导入中药材识别模型中；
[0026]S52，将待识别的图片大小调整为224
×
224像素，然后随机上下翻转，再转化为Tensor张量输入到中药材识别模型中输出得到所有中药材种类的置信度；
[0027]S53，输出置信度最高的中药材种类名称作为输出结果。
[0028]与现有技术相比，本专利技术具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于CNN和Transformer的中药材识别方法，其特征在于，包括以下步骤：(1)爬虫爬取中药材图片；(2)人工筛选保留符合要求的中药材图片并进行数据增强构建数据集；(3)构建融合CNN
‑
Transformer中药材识别模型；(4)将训练集的图像输入模型中进行训练，保存最优模型参数；(5)将待测样品照片输入训练后的网络中得出识别结果。2.根据权利要求1所述基于CNN和Transformer的中药材识别方法，其特征在于，步骤(1)中首先确定中药材种类，使种子类、根茎类、叶片类、动物类、矿物类等不同形态的药材种类均衡，然后通过爬虫程序在百度图片爬取相关中药材图片。3.根据权利要求1所述基于CNN和Transformer的中药材识别方法，其特征在于，步骤(2)中人工筛选保留符合要求的中药材图片得到原始数据集，按8:1:1的比例划分为训练集、测试集和验证集，对训练集、测试集和验证集分别经过随机缩放、中心裁剪、随机旋转30
°
、随机改变对比度和添加高斯噪声进行数据增强得到增强数据集。4.根据权利要求1所述基于CNN和Transformer的中药材识别方法，其特征在于，步骤(3)中融合CNN
‑
Transformer中药材识别模型具体结构包括：(3
‑
1)融合CNN
‑
Transformer中药材识别模型遵循分层金字塔结构，共分五个阶段，在每个阶段配备Patch Embedding层和融合卷积模块FCB以及融合Transformer模块两个基本组成模块。其中FCB是以DSC深度可分离卷积取代MateFormer架构中的token混合器改进而来，DSC由卷积核为3
×
3，步距为1的DW卷积、BatchNorm层、ReLU激活函数和卷积核为1
×
1，步距为1的点卷积组成；FTB是在MateFormer架构的基础上将改进滑动窗口注意力E
‑
SWMHSA和DSC的输出进行拼接，先将输入的特征图按收缩比0.75缩减特征图通道数，并将缩减后的特征图输入E
‑
SWMHSA模块中，再将其输出的T特征图通道数继续缩减至输入特征图通道数的0.25并输入DSC模块中得到C特征图，最后拼接T和C特征图得到融合特征；(3
‑
2)模型第一阶段为Stem卷积层，对输入张量进行初步卷积提取特征，Stem卷积层由4层卷积层组成，卷积核大小均为3
×
3，输出通道数均为64，步距依次为2、1、1、2，输出空间分辨率为输入图像尺寸的1/4；(3
‑
3)模型第二阶...

【专利技术属性】
技术研发人员：王滢涛，
申请(专利权)人：昆明理工大学，
类型：发明
国别省市：