基于GPU和双尺度图像特征比对的中药识别方法及系统技术方案

本申请公开了基于GPU和双尺度图像特征比对的中药识别方法及系统，首先通过专门设计的图像采集装置进行双尺度图像的采集，将训练图像送入卷积神经网络进行训练，经过多层卷积池化的特征提取与选择，训练得到识别精度较高的卷积神经网络模型。将待测图像送入训练好的卷积神经网络模型中进行特征提取，基于提取的特征对中药材进行分类，输出分类识别结果。本发明专利技术有利于提高普通人对药材的识别能力，辅助药材领域专家更准确快速的辨别药材。

【技术实现步骤摘要】
基于GPU和双尺度图像特征比对的中药识别方法及系统
本公开涉及GPU高性能计算、图像处理、中药识别、深度学习、应用开发领域，尤其涉及基于GPU和双尺度图像特征比对的中药识别方法及系统。
技术介绍
本部分的陈述仅仅是提高了与本公开相关的
技术介绍
，并不必然构成现有技术。中药材的正确使用，对患者的生命安全起到了至关重要的作用。现在中药材领域专家稀少，很多药房实习医生不熟悉药材的辨别，错误使用药材，极有可能造成非常严重的后果。目前中药市场真药混杂假药，即使是医药相关人员也不一定能够确保药材的正确认识。中药材种类众多，极大的增大了辨别的难度。申请号为2017102991182，专利技术名称为：一种基于深度学习的中药材识别装置，其采用摄像模块获取识别中药材图像，经过对图像处理后，利用预先训练得到的深度学习网络识别待识别中药材图像，依次通过卷积层、池化层和全连接层厚得到中药材属性概率，进而确定中药材属性信息。该专利虽然能够实现中药材识别，但是，申请人认为，该专利的人工拍照环节没有采用特殊装置拍照，无法避免拍照光线不足、拍照反光、拍照手抖等问题拍摄出来的不能精确识别药材类型的图像，会导致后期卷积神经网络识别精度不高；且该专利采用的是普通的卷积神经网络算法，存在的问题是识别速度不快。
技术实现思路
为了解决现有技术的不足，本公开提供了基于GPU和双尺度图像特征比对的中药识别方法及系统；第一方面，本公开提供了基于GPU和双尺度图像特征比对的中药识别方法；基于GPU和双尺度图像特征比对的中药识别方法，包括：构建双尺度卷积神经网络，使用抽屉盒子采集每种药材相同分辨率下的整体和局部两张训练图像，设置训练图像对应的药材分类标签，对每种药材的两张训练图像均进行预处理，将预处理后的每种药材的两张训练图像作为一组输入值，两张训练图像并列输入到双尺度卷积神经网络中，将药材分类标签作为卷积神经网络的输出值，对卷积神经网络进行训练，得到训练好的卷积神经网络；将双尺度卷积神经网络第一卷积层部署到图形处理单元GPU上，双尺度卷积神经网络第一卷积层在GPU上工作；将已知药材分类标签的图像送入已经训练好的卷积神经网络中，得到进行若干次卷积和池化的特征提取，得到与药材一一对应的特征向量，将特征向量与对应的药材分类标签保存到特征数据库中；使用抽屉盒子采集待识别药材的相同分辨率下的整体和局部两张待测图像，对待识别药材的两张待测图像均进行预处理，将两张待测图像作为一组输入值，两张待测图像并列输入到训练好的卷积神经网络中，利用训练好的卷积神经网络提取到两张待测图像的图像特征向量，计算待测图像特征向量与特征数据库中所有特征向量的相似度；将特征数据库中相似度最高特征向量所对应的药材标签作为待测图像对应的药材的识别结果。进一步的，将双尺度卷积神经网络第一卷积层部署到图形处理单元GPU上，双尺度卷积神经网络第一卷积层在GPU上工作的具体步骤为：步骤S1：输入的一组训练图像，包括拍摄角度不同的两张训练图像，每张训练图像包括三个输入矩阵；两张训练图像一共包括六个输入矩阵；步骤S2：输入的一组图像与卷积核进行卷积操作；所述步骤S2包括如下步骤：步骤S21：初始化GPU参数；GPU参数，包括：线程块数与每个线程块的线程数；步骤S22：将每一个卷积过程中图像矩阵总数和卷积核总数传递到GPU的全局存储器中；步骤S23：为每一个卷积过程分配一个线程，将当前卷积过程中待使用的图像矩阵和卷积核送到对应的线程中，启动各线程，并行执行各线程；各线程并行计算每个线程对应的卷积结果；步骤S24：将步骤S23中所得到的卷积结果进行相应求和处理，得到相应矩阵。所述步骤S22，包括：步骤S221：针对输入的6个图像矩阵，每一个输入图像矩阵分别被复制为m个矩阵；针对m个卷积核，每一个卷积核分别被复制6份；其中，m为每一个输入图像矩阵所对应的卷积核数；步骤S222：将图像矩阵与卷积核分别一一对应后，分配到同一个线程中去。所述步骤S23的卷积公式为：其中，i∈[0,5],j∈[0,m-1],Iij为第i个输入图像矩阵的第j个复制图像矩阵，Kij为第i个输入图像矩阵的第j个卷积核，m为每一个图像复制后的数目，Cij为第i个输入图像矩阵的第j个卷积后的结果。因此具体的线程ID与卷积任务号的对应关系为，第i*6+j个线程负责图像矩阵Iij与卷积核Kij的卷积。m一般取20或24，本专利技术设置为20，这样就是20*6＝120个任务。常见的NVDIA显卡每个线程块一般有192个线程，因此本专利技术一般只需要用到一个线程块即可。由于不同显卡的主频限制，本部分计算的加速比可达到60到80倍左右。所述步骤S24包括：将步骤S23中的卷积计算结果进行求和，求和结果Mj为：进一步的，将已知药材分类标签的图像送入已经训练好的卷积神经网络中，得到进行若干次卷积和池化的特征提取，得到与药材一一对应的特征向量，将特征向量与对应的药材分类标签保存到特征数据库中的具体步骤为：将已知类别的每一组图像依次送入训练好的卷积神经网络中，依次进行第一次卷积、第一次池化、第二次卷积、第二次池化、第三次卷积和第三次池化过程；将最后一次池化后所得到的特征向量结果与该图像的类别一起保存下来，作为一条药材的特征记录；依次将每一条记录，保存到数据库中，构成特征数据库。进一步的，所述双尺度卷积神经网络，包括：依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层；所述输入层，包括六个通道，其中三个通道用于接收第一尺度的整体图像，另外三个通道用于接收第二尺度的局部图像；每张图像包括RGB三个通道即3个像素矩阵；所述输入层的输入为六个像素矩阵，六个像素矩阵中，有三个像素矩阵来源于拍摄的整体图像，另外三个像素矩阵的来源于拍摄的局部图像；矩阵大小为92*92*6；所述第一卷积层，用于与所述输入层的像素矩阵进行卷积操作，提取图像特征，卷积核选用5*5*6*20，偏置大小为20*1，得出特征图大小为88*88*20；所述第一池化层，用于对所述第一卷积层提取的图像特征像素矩阵进行降维操作，提取显著特征信息，选用卷积核大小为2*2，降维之后的特征图大小为44*44*20；所述第二卷积层，用于对所述第一池化层得出的特征图进一步的进行卷积操作，提取图像特征，卷积核选用5*5*6*24，偏置大小为24*1，得出特征图大小为40*40*24；所述第二池化层，用于对所述第二卷积层得出的特征图进一步降维，提取显著特征信息，选用卷积核大小为2*2，降维之后的特征图大小为20*20*24；所述第三卷积层，用于对所述第二池化层得出的特征图进一步卷积操作，提取图像特征，卷积核选用5*5*6*20，偏置大小为24*1，得出特征图大小为16*16*24；所述第三池化层，用于对所述第三卷积层得出的特征图进一步降维操作，提取显著特征信息，选用卷积核大小为2*2，降维之后特征图大小为8*8*24；所述全连接层，用于对所述第三池化层得出的图像特征进行整合，权重矩阵大小为p*1536，偏置为p*1。所述输出层，用于输出识别分类结果，输出矩阵大小为p*1，该结果代表输入样本中对应的p种药材类别的概率，取最大值所在的类别为分类结果。之所以采集相同分辨率下同一种本文档来自技高网...

【技术保护点】
1.基于GPU和双尺度图像特征比对的中药识别识别方法，其特征是，包括：构建双尺度卷积神经网络，使用抽屉盒子采集每种药材相同分辨率下的整体和局部两张训练图像，设置训练图像对应的药材分类标签，对每种药材的两张训练图像均进行预处理，将预处理后的每种药材的两张训练图像作为一组输入值，两张训练图像并列输入到双尺度卷积神经网络中，将药材分类标签作为卷积神经网络的输出值，对卷积神经网络进行训练，得到训练好的卷积神经网络；将双尺度卷积神经网络第一卷积层部署到图形处理单元GPU上，双尺度卷积神经网络第一卷积层在GPU上工作；将已知药材分类标签的图像送入已经训练好的卷积神经网络中，得到进行若干次卷积和池化的特征提取，得到与药材一一对应的特征向量，将特征向量与对应的药材分类标签保存到特征数据库中；使用抽屉盒子采集待识别药材的相同分辨率下的整体和局部两张待测图像，对待识别药材的两张待测图像均进行预处理，将两张待测图像作为一组输入值，两张待测图像并列输入到训练好的卷积神经网络中，利用训练好的卷积神经网络提取到两张待测图像的图像特征向量，计算待测图像特征向量与特征数据库中所有特征向量的相似度；将特征数据库中相似度最高特征向量所对应的药材标签作为待测图像对应的药材的识别结果。...

【技术特征摘要】
1.基于GPU和双尺度图像特征比对的中药识别识别方法，其特征是，包括：构建双尺度卷积神经网络，使用抽屉盒子采集每种药材相同分辨率下的整体和局部两张训练图像，设置训练图像对应的药材分类标签，对每种药材的两张训练图像均进行预处理，将预处理后的每种药材的两张训练图像作为一组输入值，两张训练图像并列输入到双尺度卷积神经网络中，将药材分类标签作为卷积神经网络的输出值，对卷积神经网络进行训练，得到训练好的卷积神经网络；将双尺度卷积神经网络第一卷积层部署到图形处理单元GPU上，双尺度卷积神经网络第一卷积层在GPU上工作；将已知药材分类标签的图像送入已经训练好的卷积神经网络中，得到进行若干次卷积和池化的特征提取，得到与药材一一对应的特征向量，将特征向量与对应的药材分类标签保存到特征数据库中；使用抽屉盒子采集待识别药材的相同分辨率下的整体和局部两张待测图像，对待识别药材的两张待测图像均进行预处理，将两张待测图像作为一组输入值，两张待测图像并列输入到训练好的卷积神经网络中，利用训练好的卷积神经网络提取到两张待测图像的图像特征向量，计算待测图像特征向量与特征数据库中所有特征向量的相似度；将特征数据库中相似度最高特征向量所对应的药材标签作为待测图像对应的药材的识别结果。2.如权利要求1所述的方法，其特征是，将双尺度卷积神经网络第一卷积层部署到图形处理单元GPU上，双尺度卷积神经网络第一卷积层在GPU上工作的具体步骤为：步骤S1：输入的一组训练图像，包括拍摄角度不同的两张训练图像，每张训练图像包括三个输入矩阵；两张训练图像一共包括六个输入矩阵；步骤S2：输入的一组图像与卷积核进行卷积操作；所述步骤S2包括如下步骤：步骤S21：初始化GPU参数；GPU参数，包括：线程块数与每个线程块的线程数；步骤S22：将每一个卷积过程中图像矩阵总数和卷积核总数传递到GPU的全局存储器中；步骤S23：为每一个卷积过程分配一个线程，将当前卷积过程中待使用的图像矩阵和卷积核送到对应的线程中，启动各线程，并行执行各线程；各线程并行计算每个线程对应的卷积结果；步骤S24：将步骤S23中所得到的卷积结果进行相应求和处理，得到相应矩阵；所述步骤S22，包括：步骤S221：针对输入的6个图像矩阵，每一个输入图像矩阵分别被复制为m个矩阵；针对m个卷积核，每一个卷积核分别被复制为6份；其中，m为每一个输入图像矩阵所对应的卷积核数；步骤S222：将图像矩阵与卷积核分别一一对应后，分配到同一个线程中去。3.如权利要求1所述的方法，其特征是，将已知药材分类标签的图像送入已经训练好的卷积神经网络中，得到进行若干次卷积和池化的特征提取，得到与药材一一对应的特征向量，将特征向量与对应的药材分类标签保存到特征数据库中的具体步骤为：将已知类别的每一组图像依次送入训练好的卷积神经网络中，依次进行第一次卷积、第一次池化、第二次卷积、第二次池化、第三次卷积和第三次池化过程；将最后一次池化后所得到的特征向量结果与该图像的类别一起保存下来，作为一条药材的特征记录；依次将每一条记录，保存到数据库中，构成特征数据库。4.如权利要求1所述的方法，其特征是，所述双尺度卷积神经网络，包括：依次连接的输入层、第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、全连接层和输出层；所述输入层，包括六个通道，其中三个通道用于接收第一尺度的整体图像，另外三个通道用于接收第二尺度的局部图像；每张图像包括RGB三个通道即3个像素矩阵；所述输入层的输入为六个像素矩阵，六个像素矩阵中，有三个像素矩阵来源于拍摄的整体图像，另外三个像素矩阵的来源于拍摄的局部图像；矩阵大小为92*92*6；所述第一卷积层，用于与所述输入层的像素矩阵进行卷积操作，提取图像特征，卷积核选用5*5*6*20，偏置大小为20*1，得出特征图大小为88*88*20；所述第一池化层，用于对所述第一卷积层提取的图像特征像素矩阵进行降维操作，提取显著特征信息，选用卷积核大小为2*2，降维之后的特征图大小为44*44*20；所述第二卷积层，用于对所述第一池化层得出的特征图进一步的进行卷积操作，提取图像特征，卷积核选用5*5*6*24，偏置大小为24*1，得出特征图大小为40*40*24；所述第二池化层，用于对所述第二卷积层得出的特征图进一步降维，提取显著特征信息，选用卷积核大小为2*2，降维之后的特征图大小为20*20*24；所述第三卷积层，用于对所述第二池化层得出的特征图进一步卷积操作，提取图像特征，卷积核选用5*5*6*20，偏置大小为24*1，得出特征图大小为16*16*24；所述第三池化层，用于对所述第三卷积层得出的特征图进一步降维操作，提取显著特征信息，选用卷积核大小为2*2，降维之后特征图大小为8*8*24；所述全连接层，用于对所述第三池化层得出的图像特征进行整合，权重矩阵大小为p*1536，偏置为p*1；所述输出层，用于输出识别分类结果，输出矩阵大小为p*1，该结果代表输入样本中对应的p种药材类别的概率，取最大值所在的类别为分类结果。5.如权利要求1所述的方法，其特征是，使用抽屉盒子采集每种药材相同分辨率下的整体和局部两张训练图像的具体步骤为：采用抽屉...

【专利技术属性】
技术研发人员：孙润元，孙风阳，王琳，杨华伟，张晓雪，倪庆瑞，于士国，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37