一种基于显著图的药用植物分类方法技术

本发明专利技术公开了一种基于显著图的药用植物分类方法。首先通过网络爬虫和图书提取的方式获取植物大规模图像，再经过算法去重和筛选，得到较高质量的常见药用植物数据集。利用卷积神经网络方法获取药用植物主体的显著性区域图，根据显著图采样对原图特征进行放大。分别通过卷积神经网络模型提取原图与采样图的特征，使用双线性池化将原图特征与采样图特征进行融合，得到表征效果更强的融合特征，最后使用分类器对融合特征进行分类，得到药用植物图像的类别。本发明专利技术可以根据图片识别药用植物类别，对中草药辨识知识的传播和学习有巨大的促进意义。

【技术实现步骤摘要】
一种基于显著图的药用植物分类方法
本专利技术涉及计算机视觉、细粒度图像分类、卷积神经网络、显著区域生成领域。特别是涉及一种基于显著图的药用植物分类方法。
技术介绍
中医指中国传统医学，是研究人体生理、病理以及疾病的诊断和防治等的一门学科。它承载着中国古代人民同疾病作斗争的经验和理论知识，是在古代朴素的唯物论和自发的辨证法思想指导下，通过长期医疗实践逐步形成并发展成的医学理论体系。药用植物辨识是中医药领域的基础性工作，只有确定了药用植物的类别，才能进行下一步的采摘，加工与研究等工作。然而植物种类繁多，只有有经验的专家才能通过纹理、颜色等信息正确判断药用植物种类。随着图像识别技术发展，特别是最近几年深度学习技术的兴起，让计算机识别药用植物类型成为了可能。借助计算机进行药用植物识别，一是可以帮助中医药研究人员与植物专家进行植物种类的鉴别，二是可以有效地降低大众学习中医药的门槛，有利于中医药的推广和普及。
技术实现思路
本专利技术的目的是克服现有技术的不足，提供一种基于显著图的药用植物分类方法。基于显著图的药用植物分类方法包括以下步骤：1)应用Selenium自动化测试工具进行网络图像获取；标注图书扫描图中的植物图像区域，对图书扫描图中的植物图像进行提取，得到大规模图像；2)采用感知哈希(pHash)算法，通过对灰度图进行离散余弦变换，取变换结果的低频部分，再用均值过滤的方法获取图像指纹，根据图像指纹对大规模图像进行去重，得到去重后的大规模植物图像数据集；筛选去重后的大规模植物图像数据集中的常见药用植物，得到较高质量的常见药用植物数据集；3)基于较高质量的常见药用植物数据集对ResNet18模型进行预训练，训练时采用Adam优化算法更新ResNet18模型参数，直至模型loss收敛于某一较小值；再使用类激活图(CAM)方法生成药用植物图像的显著图；4)根据显著图对较高质量的常见药用植物数据集中的原图进行采样；5)基于较高质量的常见药用植物数据集对ResNet101模型进行预训练；ResNet101模型是通过减少ResNet18中的残差结构参数，并重复堆叠该残差结构所形成的101层网络模型；分别将原图和采样图经过ResNet101模型的前馈运算，得到原图特征和采样图特征；6)使用双线性池化融合原图特征与采样图特征；记原图特征TA，采样图特征为TB，双线性池化包含以下步骤：先将h×w×d的特征张量TA转化成d×(hw)的特征矩阵XA，将同样是h×w×d尺寸的特征张量TB转化成(hw)×d的特征矩阵XB；再计算组合特征XA·XB；最后对组合特征进行开方运算和l2规范化，并将规范后的结果转换成一维向量vP；7)将一维向量vP使用全连接层映射至分类类别的维度N，本专利技术对228种常见药用植物进行分类，故N取228，再对228维向量用softmax函数进行分类得分的计算，取得分最高的一维为分类结果。本专利技术步骤2)所述的常见药用植物包含“银杏、金钱松、侧柏、榧树、胡桃、构树、无花果、薜荔、桑、牡丹、红茴香、豪猪刺、望春玉兰、厚朴、樟、月桂、花椒、常山、枫香树、杜仲、木瓜、枇杷、杏、郁李、桃、梅、金樱子、合欢、皂荚、槐树、吴茱萸、臭椿、香椿、苦树、楝、乌桕、黄杨、南酸枣、盐肤木、枳椇、枣、柽柳、芫花、胡颓子、八角枫、君迁子、白簕、山茱萸、柿、化香树、梣、女贞、连翘、密蒙花、欧洲夹竹桃、紫荆、牡荆、梓、细叶水团花、接骨木、日本七叶树、石楠、青钱柳、老鸦柿、南天竹、十大功劳、山楂、玫瑰、樱桃、卫矛、紫丁香、木槿、木芙蓉、石榴、枸杞、忍冬、紫藤、木通、大血藤、香花崖豆藤、中华猕猴桃、木鳖子、木香花、鸡矢藤、华中五味子、倒卵叶野木瓜、南蛇藤、苦皮藤、西番莲、萝藦、马兜铃、黄独、盾叶薯蓣、栝楼、白蔹、丝瓜、海金沙、何首乌、白首乌、杠柳、扶芳藤、绞股蓝、茑萝、络石、扁豆、千金藤、云实、地锦、凌霄、白薇、丹参、桔梗、地榆、鱼腥草、杜衡、虎杖、拳参、红蓼、杠板归、扁蓄、金荞麦、牛膝、千日红、青葙子、商陆、垂序商陆、乌头、芍药、白头翁、毛茛、延胡索、荠菜、垂盆草、佛甲草、虎耳草、龙牙草、委陵菜、翻白草、苦参、决明子、白鲜、续随子、大戟、紫花地丁、珊瑚菜、峨参、拐芹、明党参、杭白芷、紫花前胡、马鞭草、紫苏、益母草、夏枯草、金疮小草、半枝莲、地笋、荆芥、荔枝草、薄荷、活血丹、曼陀罗、玄参、地黄、车前、长叶车前、接骨草、败酱、华东杏叶沙参、半边莲、白术、茅苍术、红花、野菊、牛蒡、牡蒿、天名精、佩兰、茵陈蒿、蒲公英、鼠麹草、刺儿菜、大蓟、苍耳、半夏、掌叶半夏、东亚魔芋、蔓生百部、多花黄精、玉竹、万年青、阔叶山麦冬、麦冬、知母、紫菀、浙贝母、薏苡、萱草、绵枣儿、石蒜、长筒石蒜、忽地笑、换锦花、马蔺、白芨、姜黄、松果菊、黑心金光菊、紫萼、玉簪、灯心草、芦苇、菖蒲、石菖蒲、三白草、莲、睡莲、千屈草、香菇草、水烛、荇菜、水葱、水蓼、黄花水龙、水芹、泽泻、野慈姑、萍蓬草”的228种常见中药。所述的步骤4)的具体采样过程为：步骤4-1：通过双线性插值放大显著图，并用如下公式进行显著图预处理：其中，Ai,j代表步骤3)得到的显著图第i行j列的像素值，Si,j代表显著图预处理结果，α代表步骤3)得到的显著图所有像素的均值；步骤4-2：生成并输入和原图相同尺寸的空白图像；步骤4-3：根据如下公式得到α(x,y)：其中，H、W分别代表图像的长和宽，Z是归一化系数，其用于防止偏移量越过图像边界；x和y分别表示图像中像素的横、纵坐标；步骤4-4：根据如下公式得到β(x,y)：其中，H、W分别代表图像的长和宽，Z是归一化系数，其用于防止偏移量越过图像边界步骤4-5：根据如下公式得到J(x,y)：其中xα表示通过函数α得到的α(x,y)，yβ表示通过函数β得到的β(x,y)；I(i,j)表示原图在第i行j列的像素值；步骤4-6：将J(x,y)的值填入步骤4-2中空白图像的的第x行y列；得到采样图。本专利技术与现有技术相比具有的有益效果：1)由于药用植物图像之间，类间差别十分微小，想要正确地分类不同的药用植物图像，需要准确地定位到细微之处，而忽略背景噪音的影响，本专利技术通过显著图对原图进行采样，合理地定位到了药用植物图像的关键部位，并对关键部位进行放大，能有效提升分类算法的分类准确率；2)尽管采样得到的采样图可以提升分类准确率，但原图中的信息仍然存在巨大价值，本专利技术用双线性池化操作融合了原图特征和采样图特征，在测试集数据上达到了80.14％的分类准确率，该结果显示，本专利技术已经可以应用于实际，帮助广大中医爱好者、中医从业者辨识药用植物类别，对中草药辨识知识的传播和学习有巨大的促进意义；3)将图像识别技术用于中医药领域的研究当中，从而为两者的结合积累一定的经验。附图说明图1是基于显著图的药用植物分类方法的总体框架。图2是本专利技术的显著图生成结果。具体实施方式基于显著图的药用植物分类方法的总体框架如图1，主要包括以下步骤：1)应用Selenium自动化测试工具进行网络图像获取；标注图书扫描图中的植物图像区域，对图书扫描图中的植物图像进行提取，得到大规模图像；2)采用感知哈希(pHash)算法生成图像指纹，根据图像指纹对大规模图像进行去重，得到去重后的大规模植物图像数据集；筛选去重后的大规模植物本文档来自技高网...

【技术保护点】
1.一种基于显著图的药用植物分类方法，其特征在于包括以下步骤：1)应用Selenium自动化测试工具进行网络图像获取；标注图书扫描图中的植物图像区域，对图书扫描图中的植物图像进行提取，得到大规模图像；2)采用感知哈希算法生成图像指纹，根据图像指纹对大规模图像进行去重，得到去重后的大规模植物图像数据集；筛选去重后的大规模植物图像数据集中的常见药用植物，得到较高质量的常见药用植物数据集；3)基于较高质量的常见药用植物数据集对ResNet18模型进行预训练；再使用类激活图方法生成药用植物图像的显著图；4)根据显著图对较高质量的常见药用植物数据集中的原图进行采样；5)基于较高质量的常见药用植物数据集对ResNet101模型进行预训练；使用ResNet101模型的卷积层对原图和采样图进行特征提取；6)使用双线性池化融合原图特征与采样图特征；7)使用softmax进行分类。

【技术特征摘要】
1.一种基于显著图的药用植物分类方法，其特征在于包括以下步骤：1)应用Selenium自动化测试工具进行网络图像获取；标注图书扫描图中的植物图像区域，对图书扫描图中的植物图像进行提取，得到大规模图像；2)采用感知哈希算法生成图像指纹，根据图像指纹对大规模图像进行去重，得到去重后的大规模植物图像数据集；筛选去重后的大规模植物图像数据集中的常见药用植物，得到较高质量的常见药用植物数据集；3)基于较高质量的常见药用植物数据集对ResNet18模型进行预训练；再使用类激活图方法生成药用植物图像的显著图；4)根据显著图对较高质量的常见药用植物数据集中的原图进行采样；5)基于较高质量的常见药用植物数据集对ResNet101模型进行预训练；使用ResNet101模型的卷积层对原图和采样图进行特征提取；6)使用双线性池化融合原图特征与采样图特征；7)使用softmax进行分类。2.如权利要求1所述的基于显著图的药用植物分类方法，其特征在于步骤4)的具体采样步骤：步骤4-1：通过双线性插值放大显著图，并用如下公式进行显著图预处理：其中，Ai，j代表步骤3)得到的显著图第i行j列的像素值，Si，j代表显著图预处理结果，α代表步骤3)得到的显著图所有像素的均值；步骤4-2：生成并输入和原图相同尺寸的...

【专利技术属性】
技术研发人员：张引，田沈晶，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33