基于多特征串行融合的菱种外观品质分级方法技术

本发明专利技术公开了基于多特征串行融合的菱种外观品质分级方法，属于农作物视觉检测技术领域。本发明专利技术通过工业相机采集菱种多角度图像数据，对菱种实际外形特征进行全面的描述，对所采集的图像进行预处理，分别提取菱种的几何特征、畸变特征和纹理特征，将三特征经过串行融合输入分类器进行分类识别，实现菱种的多品质分级输出。本发明专利技术对菱种多角度全方位特征信息进行分析分类，更能反映菱种的实际外形特征，更具有说服力；将优质菱种三个特征串行融合综合判定其品质和等级，有效的提升了菱种智能分级的准确度。级的准确度。级的准确度。

【技术实现步骤摘要】
基于多特征串行融合的菱种外观品质分级方法


[0001]本专利技术涉及一种菱种外观视觉分类方法，特别涉及基于多特征串行融合的菱种外观品质分级方法。

技术介绍

[0002]菱角为一年生水生草本植物，其营养成分丰富，茎叶可做饲料，果实富含淀粉，可供食用，此外还能净化水质、改良环境。菱种品种极易退化，退化的品种表现为长角、壳变厚、口感变差和产量下降。为保证菱角的品种不断优化，要在菱角收获完毕后进行选种工作。传统的选种分级方式主要由人工完成，人工选种的方式工作量大、效率低、成本高，且人工方式仅凭经验主观性较强，导致错误率较高。
[0003]现有的对于菱角的研究大体分为两类：菱角的采摘与后处理。在菱角的采摘方面，2018年，长沙宁湖机械设备有限公司专利技术了一种手持摘菱角器(授权公告号：CN 109429693 B)，该专利技术可以方便采摘一些手动无法到达的菱角，增大了摘取范围和采摘效率；2018年，江苏集萃智能制造技术研究所有限公司的刘志鹏等人专利技术了一种菱角采摘机器人(申请公告号：CN 108124585 A)，该专利技术可以对菱角进行柔性采摘，不伤菱角秧，根据成熟果实的大小调整拨轮的间隙；2021年，安徽省农业科学院农产品加工研究所的程江华等人专利技术了一种用于菱角的无损伤型自动分级采收装置(申请公告号：CN 113950944 A)，该专利技术在采收船外侧安装有梯形分布的环形结构的网格输送带，并在底部和顶部分别接有输送辊，能够对打捞的果实进行采收和分拣，降低对植株的损伤，提高采摘效率。
[0004]在菱角后处理方面，2019年，华中农业大学张国忠等人专利技术了一种鲜菱角自动脱壳机(授权公告号：CN 109645506 B)，该专利技术分别设有切割装置、脱壳装置、分离装置等，可一次性完成脱壳、分离工作，用以提高菱角脱壳生产效率。由上述文献可见，现有的菱角相关研究大多是基于机械机构的，通过合适的机械机构实现菱角的采摘、剥壳等工作，机械机构对于菱角的处理难免产生机械破损，同时又由于当前对于菱角外形检测的文献还很空缺，因此，本专利技术采用基于机器视觉的无损检测方式对菱种的外观进行检测分级。
[0005]现有的基于机器视觉的农作物分级选种方法存在以下问题：
[0006](1)未综合考虑农作物多种品质特征，对农作物外观视觉分类效果较差。
[0007](2)仅采集农作物单张图像，不能全面的表达其特征，导致分类分级准确度较低。
[0008]以上问题的存在制约着农作物智能分级分类的发展，不能以较高的准确度完全代替人工选种分级工作。本专利先检索菱种外观的专利和论文，由于菱角视觉检测方面的文献空缺，因此检索了与菱角类似的农作物的外观视觉检测的文献。
[0009]2013年，中国农业大学的谭豫之等人提出了一种基于机器视觉的绿化马铃薯检测分级方法(授权公告号：CN 103394472 A)，该专利技术通过图像分割、去除轮廓，对扫描的马铃薯目标区域逐点计算H值，判断马铃薯是否为正常马铃薯。其缺点是，该方法仅通过马铃薯图像的颜色特征对马铃薯的品质等级进行划分，具有局限性，不能保证马铃薯分级的准确性。
[0010]2017年，山东理工大学的赵静等人提出了一种基于机器视觉的玉米种子在线破损检测分类方法(申请公布号：CN 108020556 A)，该专利技术通过玉米种子在线破损检测分类方法识别破损玉米种粒，提取玉米种粒包括7个Hu不变矩在内的16个特征值，建立了玉米种粒破损识别模型，能准确高效的识别出破损玉米种粒。其缺点是，该专利技术虽结合了玉米种粒的多种特征，但仅能分类出破损和完整两类玉米，不能满足多类品质的分级，具有一定的局限性。
[0011]针对上述专利所存在的问题，2019年，济南大学的申涛等人提出了一种基于机器视觉的苹果分级方法及系统(申请公布号：CN 110276386 A)，该专利技术分别提取待检测样本图像的颜色特征、果形特征、果径特征以及表面缺陷特征，利用遗传算法和BP神经网络建立样本特征与等级的分类模型，将待检测苹果以特级、一级、二级分类。其缺点是，该专利技术对每个苹果仅拍摄一张图像，所获取的仅是该苹果一部分的外形特征信息，不能代表苹果的综合特征信息，导致最终分类准确度的降低。
[0012]综上所述，要提高菱种及其他农作物在采用视觉方式进行分级分类时的准确度，就必须针对菱种的实际外形特征，建立合适的特征提取算法，并采用合适的分类器。

技术实现思路

[0013]本专利技术的目的是克服现有技术缺陷，提供基于多特征串行融合的菱种外观品质分级方法，能够有效的利用菱种外观信息实现菱种品质分级分类。
[0014]本专利技术的目的是这样实现的：一种基于多特征串行融合的菱种外观品质分级方法，其特征在于，包括以下步骤：
[0015]步骤1)采集菱种图像，通过工业相机采集菱种三个角度的图像信息；
[0016]步骤2)菱种图像预处理；
[0017]步骤3)提取菱种三特征，包括几何特征数据提取、畸变特征数据提取和纹理特征提取；
[0018]步骤4：特征融合与分类识别；
[0019]作为本专利技术的进一步限定，所述步骤1)具体包括：以菱种的重心为原点，三个相机分别位于空间直角坐标系的x轴、y轴和z轴上，镜头与菱种的距离相同，其中A侧为菱种的侧脊面、B侧为菱种的腹部、C侧为菱种的长角端部；每个菱角分别采集A、B、C三侧的图像。
[0020]作为本专利技术的进一步限定，步骤3)中所述几何特征数据提取包括：对获取的菱种三角度图像分别运用开运算，先进行腐蚀运算，再进行膨胀运算，消除图像的噪声，并消除尖角对后期矩形拟合的影响；对上述去噪后的二值图利用Sobel边缘检测算法提取光滑、连续的菱种主体边缘；
[0021]利用OpenCV开源图像处理函数对上述轮廓进行最小矩形拟合，每个菱种分别获得三个主体轮廓外接矩形，其中A侧外接矩形长L
A
、宽W
A
，B侧外接矩形长L
B
、宽W
B
，C侧外接矩形长L
C
、宽W
C
，近似认为L
A
＝L
B
、W
A
＝L
C
、W
B
＝W
C
，因此菱种主体外接最小长方体体积V：
[0022]V＝L
A
×
L
C
×
W
B
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0023]作为本专利技术的进一步限定，步骤3)中所述畸变特征数据提取包括：在菱种的A侧和B侧投影图像中，提取菱种图像边界轮廓，确定该图像的形心，过形心做一条与菱种长轴相垂直的直线L，即把菱种图像轮廓分为左右两边，同理，在菱种的C侧投影图像中，过形心做
一条与菱种短轴相垂直的直线，同样将C侧投影图像分为左右两边。过直线L在图像上界和下界之间的每个像素点做一条与之垂直的直线l
i
，这些直线分别与菱种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多特征串行融合的菱种外观品质分级方法，其特征在于，包括以下步骤：步骤1)采集菱种图像，通过工业相机采集菱种三个角度的图像信息；步骤2)菱种图像预处理；步骤3)提取菱种三特征，包括几何特征数据提取、畸变特征数据提取和纹理特征提取；步骤4：特征融合与分类识别。2.根据权利要求1所述的基于多特征串行融合的菱种外观品质分级方法，其特性在于，所述步骤1)具体包括：以菱种的重心为原点，三个相机分别位于空间直角坐标系的x轴、y轴和z轴上，镜头与菱种的距离相同，其中A侧为菱种的侧脊面、B侧为菱种的腹部、C侧为菱种的长角端部；每个菱角分别采集A、B、C三侧的图像。3.根据权利要求1所述的基于多特征串行融合的菱种外观品质分级方法，其特性在于，步骤3)中所述几何特征数据提取包括：对获取的菱种三角度图像分别运用开运算，先进行腐蚀运算，再进行膨胀运算，消除图像的噪声，并消除尖角对后期矩形拟合的影响；对上述去噪后的二值图利用Sobel边缘检测算法提取光滑、连续的菱种主体边缘；利用OpenCV开源图像处理函数对上述轮廓进行最小矩形拟合，每个菱种分别获得三个主体轮廓外接矩形，其中A侧外接矩形长L
A
、宽W
A
，B侧外接矩形长L
B
、宽W
B
，C侧外接矩形长L
C
、宽W
C
，近似认为L
A
＝L
B
、W
A
＝L
C
、W
B
＝W
C
，因此菱种主体外接最小长方体体积V：V＝L
A
×
L
C
×
W
B
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)。4.根据权利要求1所述的基于多特征串行融合的菱种外观品质分级方法，其特性在于，步骤3)中所述畸变特征数据提取包括：在菱种的A侧和B侧投影图像中，提取菱种图像边界轮廓，确定该图像的形心，过形心做一条与菱种长轴相垂直的直线L，即把菱种图像轮廓分为左右两边，同理，在菱种的C侧投影图像中，过形心做一条与菱种短轴相垂直的直线，同样将C侧投影图像分为左右两边。过直线L在图像上界和下界之间的每个像素点做一条与之垂直的直线l
i
，这些直线分别与菱种投影图像轮廓的两边各有交点，坐标分别是(x
i
,h
i
)和(y
i
,h
i
)，而对应直线L的像素点为(o
i
,h
i
)，则A侧畸变量r
A
的计算公式为：其中，n为直线L在图像上界和下界之间的像素点的个数；菱种B侧和C侧的畸变量r
B
和r...

【专利技术属性】
技术研发人员：孙进，谢文涛，周威，雷震霆，马昊天，梁立，
申请(专利权)人：扬州大学江都高端装备工程技术研究所，
类型：发明
国别省市：