一种基于专家经验指导的深度学习烟叶分级方法技术

本发明专利技术公开了一种基于专家经验指导的深度学习烟叶分级方法，利用预先设定的深度特征提取网络获得烟叶图像的深度网络特征向量。利用传统计算机视觉方法获得烟叶图像的手工特征向量。将深度网络特征向量与手工特征向量拼接为联合特征向量。将联合特征向量输入预先设定的分级判断网络，输出烟叶分级结果。专家针对分级不正确的烟叶图像进行重新分级，得到更新后的分类标签，根据更新后的分类标签对分级判断网络进行学习，获取优化后的分级判断网络。本发明专利技术具有烟叶分级的客观性和一致性，且能够达到较高的分级准确率。针对偶然出现的错误烟叶分级情况，利用专家的领域知识，辅助提高分级准确率。高分级准确率。高分级准确率。

【技术实现步骤摘要】
一种基于专家经验指导的深度学习烟叶分级方法


[0001]本专利技术涉及一种基于专家经验指导的深度学习烟叶分级方法，属于计算机视觉与烟叶自动化分级


技术介绍

[0002]我国是烟叶生产大国，烟叶是一种重要的作物。在进行烟叶收购时，需要针对不同的烟叶条件进行烟叶分级，以给出合理的烟叶收购价格，但是烟叶复杂多样，分级标准难以量化，同时易受主观因素影响，往往需要经验丰富的专家进行分级，这导致了烟叶分级过程中产生效率低、精度不高的问题，并最终影响成品烟的质量。
[0003]计算机视觉及图像处理利用提取的特征进行相关任务。特征工程依靠专业知识选择有效特征，但手工特征限制了选择灵活性，难以大幅提升系统性能。随着深度学习发展，神经网络可以自动从图像中提取有效特征，但是模型参数更新需要大量数据。人工特征和深度特征的优势结合可有效提升系统分级精度并降低数据需求。
[0004]现有神经网络的训练需要大量数据，当数据并不充分时，可利用人的先验知识对模型进行指导。人在回路（human
‑
in
‑
the
‑
loop）是一种人机交互技术，其充分利用专家的相关领域知识，使人与机器相互反馈，不断提升模型性能。
[0005]热力图是一种机器学习可视化技术，用于展现当前模型的关注重点区域，可通过分析模型热力图进行人为引导模型更新从而提升模型性能。
[0006]神经网络架构搜索是一种自动机器学习技术。其针对相关数据进行模型结构设计，可以获得最适合数据集的模型结构，效果明显优于人为设计的网络模型。得益于计算能力的提高，神经网络架构搜索往往可以在预定义的参数空间内自动搜索，极大减轻了工作量。
[0007]因此，本领域技术人员急需要将以上技术进行融合，解决现有的烟叶分级方法过于依赖人工分级，导致效率低、精度不高的问题。

技术实现思路

[0008]目的：为了克服现有技术中存在的不足，本专利技术提供一种基于专家经验指导的深度学习烟叶分级方法。
[0009]技术方案：为解决上述技术问题，本专利技术采用的技术方案为：一种基于专家经验指导的深度学习烟叶分级方法，包括如下步骤：利用预先设定的深度特征提取网络获得烟叶图像的深度网络特征向量。
[0010]利用传统计算机视觉方法获得烟叶图像的手工特征向量。
[0011]将深度网络特征向量与手工特征向量拼接为联合特征向量。
[0012]将联合特征向量输入预先设定的分级判断网络，输出烟叶分级结果。
[0013]专家针对分级不正确的烟叶图像进行重新分级，得到更新后的分类标签，根据更新后的分类标签对分级判断网络进行学习，获取优化后的分级判断网络。
[0014]作为优选方案，还包括：深度特征提取网络输出注意力图，专家针对分级不正确的烟叶图像对应的注意力图进行关注区域修正，获得注意力引导图，根据注意力引导图对深度特征提取网络进行学习，获得优化后的深度特征提取网络，根据优化后的深度特征提取网络获得优化后的深度网络特征向量，根据优化后的深度网络特征向量得到优化后联合特征向量，根据优化后联合特征向量和更新后的分类标签，对分级判断网络进行学习，获取优化后的分级判断网络。
[0015]作为优选方案，预先设定的深度特征提取网络获取方法，包括如下步骤：确定神经网络架构搜索过程的神经网络基础参数，神经网络基础参数包括：图像分辨率、网络深度。
[0016]定义神经网络架构搜索的搜索空间，搜索空间包括：基础卷积模块、卷积核尺寸、扩张系数和通道数。
[0017]使用随机采样方法，对搜索空间的网络参数进行采样，并计算网络参数对应模型的搜索奖励。
[0018]重复网络参数采样，并计算网络参数对应模型的搜索奖励，直至模型搜索奖励达到要求或采样次数达到限制。选择搜索奖励最高的网络参数构建相应模型，作为深度特征提取网络。
[0019]作为优选方案，手工特征向量至少包括烟叶的长、宽、长宽比、周长、面积、圆形度、破损率、RGB红，绿，蓝通道均值或HSV色调，饱和度，明度通道均值其中之一。
[0020]作为优选方案，基础卷积模块的搜索空间为{MBConv,Fused
‑
MBConv}，卷积核尺寸的搜索空间为{3x3,5x5}，扩张系数的搜索空间为{1,2,4,6}，通道数的搜索空间为{32,64,128,256,512}。
[0021]作为优选方案，分级判断网络包含输入层、隐藏层、输出层，其中，输入层神经元数量与联合特征提取模块输出的联合特征向量长度相等，输出层神经元数量与烟叶类别数量相等。
[0022]作为优选方案，将联合特征向量输入预先设定的分级判断网络，输出烟叶分级结果的具体方法，包括如下步骤：将联合特征向量输入到分级判断网络，输出预测概率向量。
[0023]利用预测概率向量计算概率熵。
[0024]判断计算出的概率熵与设定阈值的关系。
[0025]当概率熵小于设定阈值时，分级结束，输出烟叶分级结果。
[0026]当概率熵大于设定阈值时，需要专家介入，对烟叶分级结果进行检查。
[0027]有益效果：本专利技术提供的一种基于专家经验指导的深度学习烟叶分级方法，针对现有烟叶分级主观性较强的情况，本方法具有烟叶分级的客观性和一致性，且能够达到较高的分级准确率。针对偶然出现的错误烟叶分级情况，本专利技术采用专家指导方法，利用专家的领域知识，辅助提高分级准确率。本专利技术方法不仅可用于烟叶分级，也可应用于其他分类领域，如农产品等。
附图说明
[0028]图1为本专利技术实施例的分级装置结构示意图。
[0029]图2为本专利技术联合特征提取的流程图。
[0030]图3为本专利技术使用神经网络架构搜索构建深度特征提取网络的流程图。
[0031]图4为本专利技术分级判断网络的方法流程图。
[0032]图5为本专利技术专家指导的方法流程图。
具体实施方式
[0033]下面结合具体实施例对本专利技术作更进一步的说明。
[0034]如图1所示，一种基于专家经验指导的深度学习烟叶分级装置，所提出装置包括三个模块，分别是联合特征提取模块，分级判断模块，专家指导模块。其中，利用烟叶分级经验，从烟叶图像中提取烟叶的有效手工特征若干种，同时使用深度神经网络提取烟叶深度网络特征，针对现有方法模型灵活性较低的缺点，本方法采用神经网络架构搜索，得到最适合烟叶数据的深度神经网络模型，最终将手工特征和深度特征融合得到用于分级的联合特征。联合特征输入分级判断模块的神经网络预测最终的分级结果，并计算分级误判概率，提示专家对不确定的烟叶进行再次判断。专家指导模块利用专家知识，不断提高整个模型的分级准确率。当由分级判断模块指出分级错误概率较高的烟叶，或专家主动发现错误分级的烟叶时，专家可向系统指出烟叶正确类别，并提供注意力引导图作为判断依据，辅助模型提升分级准确率。
[0035]一种基于专家经验指导的深度学习烟叶分级方法，本专利技术提出方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于专家经验指导的深度学习烟叶分级方法，其特征在于：包括如下步骤：利用预先设定的深度特征提取网络获得烟叶图像的深度网络特征向量；利用传统计算机视觉方法获得烟叶图像的手工特征向量；将深度网络特征向量与手工特征向量拼接为联合特征向量；将联合特征向量输入预先设定的分级判断网络，输出烟叶分级结果；专家针对分级不正确的烟叶图像进行重新分级，得到更新后的分类标签，根据更新后的分类标签对分级判断网络进行学习，获取优化后的分级判断网络。2.根据权利要求1所述的一种基于专家经验指导的深度学习烟叶分级方法，其特征在于：还包括：深度特征提取网络输出注意力图，专家针对分级不正确的烟叶图像对应的注意力图进行关注区域修正，获得注意力引导图，根据注意力引导图对深度特征提取网络进行学习，获得优化后的深度特征提取网络，根据优化后的深度特征提取网络获得优化后的深度网络特征向量，根据优化后的深度网络特征向量得到优化后联合特征向量，根据优化后联合特征向量和更新后的分类标签，对分级判断网络进行学习，获取优化后的分级判断网络。3.根据权利要求1或2所述的一种基于专家经验指导的深度学习烟叶分级方法，其特征在于：预先设定的深度特征提取网络获取方法，包括如下步骤：确定神经网络架构搜索过程的神经网络基础参数，神经网络基础参数包括：图像分辨率、网络深度；定义神经网络架构搜索的搜索空间，搜索空间包括：基础卷积模块、卷积核尺寸、扩张系数和通道数；使用随机采样方法，对搜索空间的网络参数进行采样，并计算网络参数对应模型的搜索奖励；重复网络参数采样，并计算网...

【专利技术属性】
技术研发人员：王辉，夏琛，程昌合，吴继忠，张晓兵，刘建国，毕一鸣，沈会良，俞贝楠，胡建欣，柳一昊，黄芳芳，钟永健，李波，童神，葛川，徐志强，朱宏福，沈蓓蕾，
申请(专利权)人：浙江大学，
类型：发明
国别省市：