基于图卷积神经网络的中草药多标签识别模型制造技术

本发明专利技术公开了一种基于图卷积神经网络的中草药多标签识别模型，包括图像特征提取器、节点特征提取器、特征融合器、分类器；构建中草药多标签数据集，随机划分测试集和训练集；采用卷积神经网络模型构造图像特征提取器，训练集图片输入图像特征提取器获取图像特征矩阵；处理中草药样本数据中标签，统计训练集标签邻接矩阵；提取中草药词向量；以词向量和邻接矩阵分别作为图卷积神经网络模型的节点特征和边的权重，构造节点特征提取器；图像特征和节点特征经特征融合器得到特征融合矩阵，输入分类器中得到伪标签，经反向传播过程不断更新参数，训练整个模型，满足预设停止条件时保存模型，测试集图像输入到整个模型中得到最终的多标签分类结果。标签分类结果。标签分类结果。

【技术实现步骤摘要】
基于图卷积神经网络的中草药多标签识别模型


[0001]本专利技术涉及计算机视觉
，更具体的说，是涉及一种基于图卷积神经网络的中草药多标签识别模型。

技术介绍

[0002]申请号为CN201910254774.X，专利技术名称为：一种基于注意力机制的金字塔网络的中草药识别方法。该专利技术是首先通过专门设计的图像采集装置对中草药图像进行收集，并构建相对应的数据库，并对训练集和测试集进行预处理；然后，根据图像特征构建基于通道注意力机制的特征融合结构，引入竞争注意力模块，并结合空间注意力对信息流进行调整，最后完成中草药的识别。
[0003]该专利虽然引入注意力机制使模型对于不同特征赋予不同的权重，但是模型仅仅适用于单个标签的预测，对于一张图片中含有多种中草药的情况并未考虑，适用范围比较受限；此外，该专利仅注重于视觉特征本身，却忽视了一些外在的条件，比如不同中草药之间的共现和互斥的关系。因此，模型的鲁棒性较差，中草药的图像将在很大程度上决定分类的效果。

技术实现思路

[0004]为了克服现有技术中的不足，本专利技术提出了一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于图卷积神经网络的中草药多标签识别模型，其特征在于，整个模型包括图像特征提取器、节点特征提取器、特征融合器、分类器；具体工作过程如下：步骤S101：数据集准备，构建中草药多标签数据集，每张图片包含已有中药药方中的所有中草药，按一定比例把中草药样本的数据集随机划分测试集和训练集；步骤S102：采用卷积神经网络模型构造图像特征提取器，将训练集中的图片输入到图像特征提取器中，通过卷积层、池化层和非线性激活层获取图像特征矩阵；步骤S103：采用图卷积神经网络模型构造节点特征提取器对中草药样本数据中的标签进行处理，统计训练集中每种草药之间的数量以及与其他草药共现的次数，统计训练集标签邻接矩阵；根据中草药的名称从word2vec模型提取中草药词向量；以词向量作为图卷积神经网络模型的节点特征，邻接矩阵作为图卷神经网络模型边的权重；步骤S104：图像特征和节点特征经特征融合器进行特征融合得到特征融合矩阵，特征融合矩阵输入到分类器中得到中草药图像对应的伪标签，经过反向传播过程不断更新整个模型参数，对整个模型进行训练，在满足预设停止条件时保存整个模型，测试集图像输入到整个模型中得到最终的多标签分类结果。2.根据权利要求1所述的基于图卷积神经网络的中草药多标签识别模型，其特征在于，所述图像特征提取器用于提取每张多标签中草药图片的图像特征；所述节点特征提取器用于提取每种中草药的词向量以及中草药之间的关联矩阵分别作为图卷积的节点特征和邻接矩阵，图...

【专利技术属性】
技术研发人员：钮立强，杨柳，阮灿光，
申请(专利权)人：天津大学，
类型：发明
国别省市：