一种玉米大豆间作模式下大豆收获边界检测方法及系统技术方案

本发明专利技术提供了一种玉米大豆间作模式下大豆收获边界检测方法及系统，包括以下步骤：获取相机采集的收获机前方图像，并对图像进行语义分割，用不同颜色掩膜图代表不同类别的区域；对掩膜图进行颜色区域提取，得到RGB图像；图像预处理；将预处理后的图像平面上的每个像素点转换为世界平面上对应的像素点，再转换为消除透视畸变的对应的像素点；提取割台区域的上边界线，并根据割台区域上边界线设置动态ROI；提取大豆区域RGB图；提取大豆区域左右边界线，并拟合成直线，得到大豆收获左右边界。本发明专利技术能够同时准确检测大豆左右两侧边界，避免大豆两侧玉米植株影响机手观察收获边界造成漏割、机器碰撞损伤玉米植株、操作强度大等问题，实现更好的大豆收获。实现更好的大豆收获。实现更好的大豆收获。

【技术实现步骤摘要】
一种玉米大豆间作模式下大豆收获边界检测方法及系统


[0001]本专利技术属于视觉智能大豆收获边界检测
，尤其涉及一种玉米大豆间作模式下大豆收获边界检测方法及系统。

技术介绍

[0002]玉米、大豆是关系国家粮食和食品安全的重要粮油作物，玉米大豆带状间作复合种植技术能充分利用资源、提高土地产出率，已经连续多年入选国家主推技术。玉米大豆间作模式下先收大豆时，大豆两侧玉米植株容易遮挡收获机机手的视线，为保证收获机在收大豆时不会误收玉米，需要机手具备良好的驾驶技能，且长时间的工作强度大，易疲劳，不能保证收割效率。目前，智能农业机械逐渐登上历史舞台，能够替代人工收获，在精准作业的同时，提高收获效率。因此，收获边界检测对进一步满足玉米大豆间作模式下作物间和谐共生种植模式的智能收获需求显得特别重要。
[0003]目前，针对玉米大豆间作模式下大豆收获边界检测的研究鲜有报道，专利CN106508256B“一种稻麦联合收割机及其割幅检测装置和检测方法”和专利CN103914071B“一种基于双目视觉的宽窄行再生稻收获调控系统及方法”分别使用激光传感器和双目相机通过对比作物收获区域与未收获区域高度得到收获边界，专利CN109215071B“基于视觉的智能稻麦收割机割幅测量方法”基于形态学的传统图像处理方法提取已收割作物和未收割作物的边界线，以上方法主要通过提取作物的已收获区域与未获区域的边界来检测收获边界线，均无法区分出玉米和大豆区域，难以准确定位大豆区域边界。

技术实现思路

[0004]针对上述技术问题，本专利技术的一个方式的目的之一是提供一种玉米大豆间作模式下大豆收获边界检测方法，综合应用语义分割、图像提取和动态ROI技术，能够实时准确提取大豆收获边界，检测精度高，检测速度快，可以解决当前作物边界检测方法不适用于玉米大豆间作模式下的收获场景，难以有效区分玉米和大豆区域，不能准确定位大豆边界的问题，能为玉米大豆间作模式下大豆收获机智能控制提供有效可靠的基础数据。
[0005]针对上述技术问题，本专利技术的一个方式的目的之一是提供一种玉米大豆间作模式下大豆收获边界检测系统，包括图像分类模块、图像提取模块、图像预处理模块、图像变换模块、动态ROI模块和边界获取模块，综合应用语义分割、图像提取和动态ROI技术，能够实时准确提取大豆收获边界，为玉米大豆间作模式下大豆收获机智能控制提供基础数据，实现更好的大豆收获。
[0006]注意，这些目的的记载并不妨碍其他目的的存在。本专利技术的一个方式并不需要实现所有上述目的。可以从说明书、附图、权利要求书的记载中抽取上述目的以外的目的。本专利技术是通过以下技术手段实现上述技术目的的。
[0007]一种玉米大豆间作模式下大豆收获边界检测方法，包括以下步骤：
[0008]步骤S1：图像分类：获取相机采集的收获机前方图像，并对图像进行语义分割，对
收获场景进行像素级分类后，用不同颜色的掩膜图代表不同类别的区域；
[0009]步骤S2：图像区域提取：对步骤S1获取的掩膜图进行颜色区域提取，得到只包含大豆区域和割台区域的RGB图像；
[0010]步骤S3：图像预处理：对步骤S2获取的RGB图像进行图像预处理操作；
[0011]步骤S4：图像变换：通过逆透视映射将所述步骤S3图像预处理后的图像转换为消除透视畸变的二维平面图像上对应的像素点；
[0012]步骤S5：设置动态ROI:在步骤S4消除透视畸变的二维平面图像中提取割台区域的上边界线，并根据割台区域上边界线设置动态ROI；
[0013]步骤S6：提取大豆区域RGB图：在步骤S5ROI区域内提取对应大豆区域掩膜的颜色，得到只包含大豆区域的RGB图；
[0014]步骤S7：获取大豆区域边界：在步骤S6的只包含大豆区域的RGB图中提取大豆区域左右边界线，并将边界线拟合成直线，得到玉米大豆间作模式下的大豆收获左右边界。
[0015]上述方案中，所述步骤S1对收获场景进行像素级分类分为大豆区域、玉米区域、割台区域以及背景，并对每个区域分别附上不同颜色掩膜，输出掩膜图。
[0016]上述方案中，所述步骤S2图像区域提取只对大豆区域和割台区域对应的掩膜颜色进行指定颜色区域提取，得到包含大豆区域和割台区域的RGB图像。
[0017]上述方案中，所述步骤S3图像预处理的具体操作为先将图像腐蚀，再对腐蚀的结果进行膨胀。
[0018]上述方案中，所述步骤S4中逆透视映射具体为：将所述步骤S3图像预处理后的图像平面上的每个像素点转换为世界平面上对应的像素点，再将世界平面的每个像素点转换为消除透视畸变的二维平面图像上对应的像素点；其中，将图像预处理后的图像平面上的每个像素点转换为世界平面上对应的像素点采用公式如下：
[0019][0020][0021]其中，(x，y)为世界平面上的像素点的坐标，(u，v)为预处理后的图像平面上的每个像素点的坐标，H为相机距地面高度，α为相机视场角一半，h表示图像的高度，w表示图像的宽度，γ0表示相机的航向角，θ0表示相机的俯仰角。
[0022]上述方案中，所述步骤S4将所述世界平面的每个像素点转换为消除透视畸变的二维平面图像上对应的像素点，采用公式如下：
[0023][0024][0025]其中，(m，n)为消除透视畸变的二维平面图像上对应的像素点的坐标。
[0026]上述方案中，所述步骤S5设置动态ROI的具体步骤包括：
[0027]步骤S5.1：对步骤S4所述二维平面图像进行从上到下的扫描处理，当扫描到与步骤S1所述割台区域对应掩膜颜色的RGB值相同的像素点时，以该像素点的纵坐标j为基准，将RGB图上纵坐标为j的点相连，得到割台区域上边界线；
[0028]步骤S5.2：从所述割台区域上边界线上方取纵坐标在(j
‑
s，j)内的区域为动态ROI，其中s为动态ROI的宽度。
[0029]上述方案中，所述步骤S6提取大豆区域RGB图的具体操作为根据大豆区域对应掩膜颜色的RGB值，提取ROI中对应RGB值的像素点，得到ROI内只包含大豆区域对应掩膜的RGB图。
[0030]上述方案中，所述步骤S7获取大豆区域边界的具体步骤包括：
[0031]步骤S7.1：对所述ROI内只包含大豆区域的RGB图进行从上到下的扫描处理，当扫描到与步骤S1所述大豆区域对应掩膜颜色的RGB值相同的像素点时，保存对应像素的坐标点；
[0032]步骤S7.2：将所述坐标点按纵坐标相同的点进行排列，选取横坐标最小和最大的点为大豆区域边界线上的点，将所有行中横坐标最小的像素点连接起来作为大豆区域的左边界线，将所有行中横坐标最大的像素点连接起来作为大豆区域的右边界线；
[0033]步骤S7.3：对所述大豆区域左右边界线用最小二乘法拟合成直线，得到玉米大豆间作模式下的大豆收获左右边界。
[0034]一种玉米大豆间作模式下大豆收获边界检测系统，包括图像分类模块、图像提取模块、图像预处理模块本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种玉米大豆间作模式下大豆收获边界检测方法，其特征在于，包括以下步骤：步骤S1：图像分类：获取相机采集的收获机前方图像，并对图像进行语义分割，对收获场景进行像素级分类后，用不同颜色的掩膜图代表不同类别的区域；步骤S2：图像区域提取：对步骤S1获取的掩膜图进行颜色区域提取，得到只包含大豆区域和割台区域的RGB图像；步骤S3：图像预处理：对步骤S2获取的RGB图像进行图像预处理操作；步骤S4：图像变换：通过逆透视映射将所述步骤S3图像预处理后的图像转换为消除透视畸变的二维平面图像上对应的像素点；步骤S5：设置动态ROI:在步骤S4消除透视畸变的二维平面图像中提取割台区域的上边界线，并根据割台区域上边界线设置动态ROI；步骤S6：提取大豆区域RGB图：在步骤S5ROI区域内提取对应大豆区域掩膜的颜色，得到只包含大豆区域的RGB图；步骤S7：获取大豆区域边界：在步骤S6的只包含大豆区域的RGB图中提取大豆区域左右边界线，并将边界线拟合成直线，得到玉米大豆间作模式下的大豆收获左右边界。2.根据权利要求1所述玉米大豆间作模式下大豆收获边界检测方法，其特征在于，所述步骤S1对收获场景进行像素级分类分为大豆区域、玉米区域、割台区域以及背景，并对每个区域分别附上不同颜色掩膜，输出掩膜图。3.根据权利要求1所述玉米大豆间作模式下大豆收获边界检测方法，其特征在于，所述步骤S2图像区域提取只对大豆区域和割台区域对应的掩膜颜色进行指定颜色区域提取，得到包含大豆区域和割台区域的RGB图像。4.根据权利要求1所述玉米大豆间作模式下大豆收获边界检测方法，其特征在于，所述步骤S3图像预处理的具体操作为先将图像腐蚀，再对腐蚀的结果进行膨胀。5.根据权利要求1所述玉米大豆间作模式下大豆收获边界检测方法，其特征在于，所述步骤S4中逆透视映射具体为：将所述步骤S3图像预处理后的图像平面上的每个像素点转换为世界平面上对应的像素点，再将世界平面的每个像素点转换为消除透视畸变的二维平面图像上对应的像素点；其中，将图像预处理后的图像平面上的每个像素点转换为世界平面上对应的像素点采用公式如下：上对应的像素点采用公式如下：其中，(x，y)为世界平面上的像素点的坐标，(u，v)为预处理后的图像平面上的每个像素点的坐标，H为相机距地面高度，α为相机视场角一半，h表示图像的高度，w表示图像的宽度，γ0表示相机的航向角，θ0表示相机的俯仰角。6.根据权利要求5所述玉米大豆间作模式下大豆收获边界检测方法，其特征在于，所述步骤S4将所述世界平面的每个像素点转换为消除透视畸变的二维平面图像上对应的像素点，采用公式如下：
其中，(m，n)为消除透视畸变的二维平面图像上对应的像素点的坐标。7.根据权利...

【专利技术属性】
技术研发人员：徐立章，刘朋，胡金鹏，余杨，张千，崔志鸿，
申请(专利权)人：江苏大学，
类型：发明
国别省市：