烤后烟烟叶外观质量残伤指标的数字化方法及装置制造方法及图纸

本说明书实施例提供了一种烤后烟烟叶外观质量残伤指标的数字化方法、装置及电子设备，其中，方法包括：对烤后烟烟叶图片进行标注，基于标注的烤后烟烟叶图片基于深度自学习网络进行训练，得到语义分割模型，将烤后烟烟叶图片输入所述语义分割模型，根据所述语义分割模型的输出进行烟叶背景及烟叶放置平台上其他杂物的处理，获取处理后的烤后烟烟叶图片；对预处理后的烤后烟烟叶图片进行连通区域的计算分析，求取烟叶内部残伤区域；对预处理后的烤后烟烟叶图片进行边缘提取，对提取的边缘特征设计算法求取边缘上的残伤区域；根据提取的烟叶内部和边缘残伤区域信息，计算内部残伤比和边缘残伤比，作为烤后烟烟叶外观质量残伤指标的数字化结果。伤指标的数字化结果。伤指标的数字化结果。

【技术实现步骤摘要】
烤后烟烟叶外观质量残伤指标的数字化方法及装置


[0001]本文件涉及计算机
，尤其涉及一种烤后烟烟叶外观质量残伤指标的数字化方法、装置及电子设备。

技术介绍

[0002]随着烟草行业的发展，烟叶分级愈发重要，在通过外观质量指标对烟叶进行分级预测方面，目前行业的普遍做法还是人工定级，对人力，物力资源等均造成较大浪费。究其原因在于《中华人民共和国烤烟国家标准》中，对于外观质量中涉及的7个指标的规定均为定性规定。比如色度指标只有强弱中淡的划分，而残伤指标虽然有一个百分数表示，但该百分数是一个对应等级最大值，且未提及如何定义和计算该百分数，考虑到该百分数均为5％的倍数，所以应为按照分级专家的经验人为估计的。
[0003]综上所述，烟叶残伤是烟叶外观质量的重要影响因素，但目前烤烟的国家标准对该指标的品质规定均为定性规定，具有较强的主观性和不确定性，对烟叶的分级及后续加工等造成了负面影响。

技术实现思路

[0004]本专利技术的目的在于提供一种烤后烟烟叶外观质量残伤指标的数字化方法、装置及电子设备，旨在解决现有技术中的上述问题。
[0005]本专利技术提供一种烤后烟烟叶外观质量残伤指标的数字化方法，包括：
[0006]对烤后烟烟叶图片进行标注，基于标注的烤后烟烟叶图片基于深度自学习网络进行训练，得到语义分割模型，将烤后烟烟叶图片输入所述语义分割模型，根据所述语义分割模型的输出进行烟叶背景及烟叶放置平台上其他杂物的处理，获取处理后的烤后烟烟叶图片；
[0007]对预处理后的烤后烟烟叶图片进行连通区域的计算分析，求取烟叶内部残伤区域；对预处理后的烤后烟烟叶图片进行边缘提取，对提取的边缘特征设计算法求取边缘上的残伤区域；
[0008]根据提取的烟叶内部和边缘残伤区域信息，计算内部残伤比和边缘残伤比，作为烤后烟烟叶外观质量残伤指标的数字化结果。
[0009]本专利技术提供一种烤后烟烟叶外观质量残伤指标的数字化装置，包括：
[0010]语义分割模型模块，用于对烤后烟烟叶图片进行标注，基于标注的烤后烟烟叶图片基于深度自学习网络进行训练，得到语义分割模型，将烤后烟烟叶图片输入所述语义分割模型，根据所述语义分割模型的输出进行烟叶背景及烟叶放置平台上其他杂物的处理，获取处理后的烤后烟烟叶图片；
[0011]分析提取模块，用于对预处理后的烤后烟烟叶图片进行连通区域的计算分析，求取烟叶内部残伤区域；对预处理后的烤后烟烟叶图片进行边缘提取，对提取的边缘特征设计算法求取边缘上的残伤区域；
[0012]计算模块，用于根据提取的烟叶内部和边缘残伤区域信息，计算内部残伤比和边缘残伤比，作为烤后烟烟叶外观质量残伤指标的数字化结果。
[0013]本专利技术实施例还提供一种烤后烟烟叶外观质量残伤指标的数字化电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现上述烤后烟烟叶外观质量残伤指标的数字化方法的步骤。
[0014]本专利技术实施例还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有信息传递的实现程序，所述程序被处理器执行时实现上述烤后烟烟叶外观质量残伤指标的数字化方法的步骤。
[0015]采用本专利技术实施例，解决因人工定级，定性指标带来的主观性强，检测效率低，耗费资源多等问题。本专利技术实施例利用深度学习语义分割对烟叶图片进行预处理，并提取烟叶内部和边缘的相关特征信息，提供了一种对残伤指标进行量化的算法，使用部分已知等级的烟叶进行验证，并证实了量化方法的有效性，能够实现外观残伤指标的数字量化。相较于原有的定性分析更具备科学性，并有利于后续烟叶的智能分级，相关指标预测等方面的研究。本专利技术实施例所需的硬件设备简单，仅需要拍摄烟叶图片的高分辨率相机，相较于其他复杂硬件装置具有成本低，速度快的优势。
附图说明
[0016]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0017]图1是本专利技术实施例的烤后烟烟叶外观质量残伤指标的数字化方法的流程图；
[0018]图2是本专利技术实施例的烤后烟烟叶外观质量残伤指标的数字化方法的详细步骤流程图；
[0019]图3是本专利技术实施例的烟叶内部残伤比计算方法流程图；
[0020]图4是本专利技术实施例的烟叶边缘残伤比计算方法流程图；
[0021]图5是本专利技术实施例的烟叶图片语义分割标签标注示意图；
[0022]图6是本专利技术实施例的烟叶内部残伤区域示意图；
[0023]图7是本专利技术实施例的烟叶边缘残伤区域示意图；
[0024]图8是本专利技术实施例的烟叶边缘特征波形图；
[0025]图9是本专利技术实施例的烟叶边缘差分波形图；
[0026]图10是本专利技术实施例的烤后烟烟叶外观质量残伤指标的数字化装置的示意图；
[0027]图11是本专利技术实施例的烤后烟烟叶外观质量残伤指标的数字化电子设备的示意图。
具体实施方式
[0028]本专利技术提供了一种烤后烟烟叶外观质量残伤指标的数字化量化方法，主要目的在于对《中华人民共和国烤烟国家标准》中外观质量指标中的残伤进行定量算法的设计，解决
因人工定级，定性指标带来的主观性强，检测效率低，耗费资源多等问题。本专利技术首先运用深度学习语义分割和连通区域筛选对拍摄的烟叶图片预处理，排除背景和碎叶等杂物的干扰；其次通过裁剪框定烟叶区域，利用连通区域排序得到烟叶内部的残伤特征区域并计算内部残伤比；然后通过提取烟叶边缘，构造烟叶边缘特征波形图进行波形分析和处理，得到烟叶边缘残伤特征区域并计算边缘残伤比；最后将计算出的残伤比和国家标准的最大残伤百分数比较，验证算法的合理性和有效性。
[0029]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例。基于本说明书一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0030]方法实施例
[0031]根据本专利技术实施例，提供了一种烤后烟烟叶外观质量残伤指标的数字化方法，图1是本专利技术实施例的烤后烟烟叶外观质量残伤指标的数字化方法的流程图，如图1所示，根据本专利技术实施例的烤后烟烟叶外观质量残伤指标的数字化方法具体包括：
[0032]步骤101，对烤后烟烟叶图片进行标注，基于标注的烤后烟烟叶图片基于深度自学习网络进行训练，得到语义分割模型，将烤后烟烟叶图片输入所述语义分割模型，根据所述语义分割模型的输出进行烟叶背景及烟叶放置平台上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种烤后烟烟叶外观质量残伤指标的数字化方法，其特征在于，包括：对烤后烟烟叶图片进行标注，基于标注的烤后烟烟叶图片基于深度自学习网络进行训练，得到语义分割模型，将烤后烟烟叶图片输入所述语义分割模型，根据所述语义分割模型的输出进行烟叶背景及烟叶放置平台上其他杂物的处理，获取处理后的烤后烟烟叶图片；对预处理后的烤后烟烟叶图片进行连通区域的计算分析，求取烟叶内部残伤区域；对预处理后的烤后烟烟叶图片进行边缘提取，对提取的边缘特征设计算法求取边缘上的残伤区域；根据提取的烟叶内部和边缘残伤区域信息，计算内部残伤比和边缘残伤比，作为烤后烟烟叶外观质量残伤指标的数字化结果。2.根据权利要求1所述的方法，其特征在于，对烤后烟烟叶图片进行标注，基于标注的烤后烟烟叶图片基于深度自学习网络进行训练，得到语义分割模型，将烤后烟烟叶图片输入所述语义分割模型，根据所述语义分割模型的输出进行烟叶背景及烟叶放置平台上其他杂物的处理，获取处理后的烤后烟烟叶图片具体包括：对所述烤后烟烟叶图片的图片特征区域和背景进行像素级标注，在每张待训练的所述烤后烟烟叶图片上用自定义多边形曲线标注烟叶部分和背景部分，生成带有烟叶区域像素位置信息的像素级标签；采用基于mobilenetv2的DeepLab v3+语义分割网络，根据标注好标签的所述烤后烟烟叶图片进行训练，分割所述烤后烟烟叶图片中的烟叶部分，其中，所述基于mobilenetv2的DeepLab v3+语义分割网络共186层，每次通过卷积层进行卷积操作后根据公式1进行批归一化，然后输入激活层，根据公式2使用截断整流线性单元为激活函数，解码器用转置卷积将编码器输出结果还原为输入特征图的大小，并对比原图进行中心裁剪，通过如公式3所示的softmax激活函数后输出通道数为标签个数的分割结果，再将输出输入下一个卷积层。最终得到的语义分割结果为一个类别种类为标签种类的类别矩阵，即矩阵的元素为不同种类的标签名或者标签的标识字符串，即分别是烟叶部分的标签“StopSeg”和背景部分的标签“back”；其中，x
(k)
和y
(k)
分别为原始输入数据和输出数据，μ
(k)
和σ
(k)
分别是输入数据均值和标准差，β
(k)
和γ
(k)
分别为可学习的平移参数和缩放参数，上标k表示数据的第k维，ε是防止分母为0的一个小量；其中，ceiling为设定的阈值；其中，z
i
为第i个节点的输出值，C为标签种类的个数；针对背景利用语义分割模型输出的类别矩阵，提取元素为“back”的元素位置，对应到原图像素矩阵中，将对应位置像素值置0，进行初步处理，根据公式4将初步处理的烤后烟烟
叶图片转为单通道灰度图像，再转为二值图像求取连通区域，在灰度图像转二值图像时确定合适的像素阈值以将像素二值化，根据公式5采用计算前景背景类间方差的方法寻找像素阈值，计算时在灰度图像中遍历像素值，将高于当前像素值部分作为前景部分，其余为背景部分，依次计算类间方差后取最大方差对应的像素值作为阈值将灰度图像转为二值图像，在二值图像中求取连通区域，选取8连通的方式，即元素为1的像素点上下左右及斜方向共8个方向像素值均为1，则认为该区域为一个连通区域，求取所有的连通区域后选择最大的连通区域，其余区域像素值置0，经过两次处理后的图片背景部分像素值为0，没有烟叶放置平台上残留的碎叶等杂质的影响；I＝0.30R+0.59G+0.11B公式4；其中，R,G,B为彩色图片的三通道矩阵，I为合并后的单通道矩阵；std＝num1
×
(ave1
‑
ave)2+num2
×
(ave2
‑
ave)2公式5；其中，std为类间方差，num1为前景部分像素个数，num2为背景部分像素个数，ave1为前景部分平均灰度值，ave2为背景部分平均灰度值，ave为总的平均灰度值。3.根据权利要求2所述的方法，其特征在于，对预处理后的烤后烟烟叶图片进行连通区域的计算分析，求取烟叶内部残伤区域具体包括：预处理后的烤后烟烟叶图片使用一个最小矩形框进行裁剪，即，分别沿上下左右四个方向对图片像素矩阵逐行或逐列遍历，上下方向按行遍历，左右方向按列遍历，寻找第一个不为0的行或列作为最小矩形框的边界。获取的所述二值图片取反，再求取8连通模式的连通区域，比较各个连通区域中的元素个数并按降序排列，选取前四个区域，这四个区域对应于矩形框四个角和烟叶边缘构成的背景，去除该四个区域后剩下连通区域即为小连通区域，即烟叶内部的残伤特征区域。4.根据权利要求3所述的方法，其特征在于，对预处理后的烤后烟烟叶图片进行边缘提取，对提取的边缘特征设计算法求取边缘上的残伤区域具体包括：对所述烟叶内部残伤区域进行填充，再转为二值图片，其中，所述二值图片中前景和背景分别表示烟叶整体部分和图片背景；所述填充方式为：根据所述烟叶内部残伤区域，将残伤部分的R通道值置为255，即全部填充为红色，此时进行二值化后得到完整的烟叶区域；在二值图像中使用canny边缘检测算法提取烟叶边缘，其中，canny算子以高斯滤波来平滑图像去噪，差分计算图像梯度的幅值与方向，再对非极大值进行抑制，最后用双阈值对二值图像筛选提取边缘，其中，根据公式6和公式7确定图像中某一像素点C的梯度幅值和方向计，根据计算出的各像素点的梯度信息，通过8邻域遍历得到边缘点集：向计，根据计算出的各像素点的梯度信息，通过8邻域遍历得到边缘点集：其中G
c
为像素点C的幅值，θ为方向角，G
x
，G
y
分别为使用一阶边缘检测算子等方法计算出的点C在X和Y方向上的梯度值；在烟叶内部取一点，定为参考点O
r
，O
r
选取为烟叶图片的中心，分别计算边缘点集中所有点和O
r
的欧氏距离，以及与O
r
所连直线的倾斜角，并按倾斜角大小升序排列，设边缘点集R＝{(x1，y1)，(x2，y2)，...，(x
i
，y
i
)}，根据公式8确定距离集合L：
L＝{||(x1，y1)
‑
O
r
||2，||(x2，y2)
‑
O
r
||2，...，||(x
i
，y
i
)
‑
O
r
||2}
ꢀꢀꢀꢀ
公式8；根据公式9
‑
11计算倾斜角A需要当前点坐标与参考点O
r
的坐标(x
r
，y
r
)比较；当x
i
＜x
r
时，A计算公式为：当x
i
＞x
r
且y
i
＞y
r
时，A计算公式为：当x
i
＞x
r
且y
i
＜y
r
时，A计算公式为：其中，当x
i
＝x
r
且y
i
＞y
r
时，A＝270
°
；当x
i
＝x
r
且y
i
＜y
r
时，A＝90
°
；当x
i
＜x
r
且y
i
＝y
r
时，A＝180
°
；当x
i
＞x
r
且y
i
＝y
r
时，A＝0
°
；计算出边缘点集R中所有点对应的倾斜角A后，按升序排列，以排列后的倾斜角集合为横坐标，每个A对应的L中的距离为纵坐标，构造边缘特征波形图；去掉叶梗所在的起伏区域均在倾斜角
±
10
°
范围内，即倾斜角小于10
°
和大于350
°
部分，重新构造边缘特征波形图；处理后的波形图中起伏较大区域即反映边缘残伤特征区域，提取这些起伏区域所在位置时采用对边缘波形图做一阶差分处理，得到差分处理后的差分波形图，根据公式12对边缘波形图的横纵坐标分别做一阶差分：Δx＝x
t+1
‑
x
t
公式12；以3为阈值，对原差分波形信号处理，小于阈值部分幅值置为0，大于部分保持原值不变，此时差分波形图中幅值绝对值不为0的部分即为边缘残伤特征部分。5.根据权利要求1所述的方法，其特征在于，根据提取的烟叶内部和边缘残伤区域信息，计算内部残伤比和边缘残伤比，作为烤后烟烟叶外观质量残伤指标的数字化结果具体包括：根据公式13计算烟叶内部残伤比的公式：中，Rate_in为烟叶内部残伤比，num
i
为第i个连通区域的元素个数，N为连通区域的总数，block_all为烟叶部分所占的总像素值，总像素值的计算方法为：对裁剪后的图片的像素矩阵寻找非零元素构成集合，求取集合的元素总数。波形差分图中幅值不为0坐标对应的像素点集合为B＝{b1,b2,...,b
n
},bound_all为边缘点集的元素总数，则根据公式14计算烟叶边缘残伤比rate_bound：6.根据权利要求1所述的方法，其特征在于，所述方法进一步包括：拍摄待检烟叶图片，根据每张烟叶的真实等级按国家标准记录最小残伤值，比较算法得到的残伤结果是否符合国家标准的最小残伤要求。7.一种烤后烟烟叶外观质量残伤...

【专利技术属性】
技术研发人员：周渭皓，何彬，张龙，高宪辉，陈敬悦，史绍新，刘磊，尹晓东，赵庆华，尤谦谦，李艳红，段丽，杨艳波，张海，马云海，章维敏，张云伟，吴天南，郑娇，栾菲菲，孙浩巍，张轲，王春琼，
申请(专利权)人：云南省烟草烟叶公司，
类型：发明
国别省市：