一种甘蔗末梢位置高度估计方法技术

本发明专利技术涉及图像处理技术领域，尤其是一种甘蔗末梢位置高度估计方法，包括下述步骤：使所述双目深度摄像头及所述彩色摄像头的主光轴相互平行；对所述双目深度摄像头及所述彩色摄像头进行标定和校准，使得两幅图中对应同一空间位置的点一一对应；获取甘蔗末梢区域的彩色图片及深度图片；处理所述彩色图片及所述深度图片，以获得轮廓图像及深度图像，对所述双目深度摄像头及所述彩色摄像头进行配准，并获得甘蔗末梢区域的配准彩色深度图像；根据双目视差估计获得所述配准彩色深度图像甘蔗末梢位置的高度。本发明专利技术通过对甘蔗末梢区域的高度进行识别，为甘蔗收割机切割位置提供调节参数，以准确对甘蔗末梢位置进行切割。以准确对甘蔗末梢位置进行切割。以准确对甘蔗末梢位置进行切割。

【技术实现步骤摘要】
一种甘蔗末梢位置高度估计方法


[0001]本专利技术涉及图像处理
，尤其是一种甘蔗末梢位置高度估计方法。

技术介绍

[0002]蔗是温带和热带农作物，是制造蔗糖的原料，且可提炼乙醇作为能源替代品。全世界有一百多个国家出产甘蔗。甘蔗中含有丰富的糖分、水分，还含有对人体新陈代谢非常有益的各种维生素、脂肪、蛋白质、有机酸、钙、铁等物质。为了降低甘蔗收获含杂率，需要对甘蔗的末梢进行切割，甘蔗收割机对甘蔗的末梢位置切割时，通过驾驶员双目观察具体末梢位置进行手动调控末梢割刀位置，同时驾驶员还需手动调控地面割刀切割尾部，人工同时调控容易造成末梢位置切割区域误差较大，导致甘蔗收获杂质率过高。

技术实现思路

[0003]为了解决上述问题，本专利技术提供一种甘蔗末梢位置高度估计方法，通过对甘蔗末梢区域的高度进行识别，为甘蔗收割机切割位置提供调节参数，以准确对甘蔗末梢位置进行切割。
[0004]为了实现上述目的，本专利技术采用的技术方案为：
[0005]一种甘蔗末梢位置高度估计方法，包括下述步骤：
[0006]S1.设置双目深度摄像头及彩色摄像头的位置，以使所述双目深度摄像头及所述彩色摄像头的主光轴相互平行；
[0007]S2.对所述双目深度摄像头及所述彩色摄像头进行标定和校准，以获得所述双目深度摄像头及所述彩色摄像头的内参和畸变参数；
[0008]S3.采用所述双目深度摄像头和所述彩色摄像头拍摄甘蔗上半部，以获得甘蔗的深度图片及彩色图片；
[0009]S4.通过立体匹配方法处理双目深度摄像头采集的所述深度图片中甘蔗末梢区域左右图像，以获得甘蔗末梢区域的深度图像；
[0010]S5.根据甘蔗茎秆和蔗叶颜色的差异处理彩色摄像头采集的所述彩色图片中甘蔗末梢区域图片，以获得甘蔗末梢位置及甘蔗顶部蔗叶的轮廓图像；
[0011]S6.对所述双目深度摄像头及所述彩色摄像头进行配准，以使所述深度摄像头及所述彩色摄像头处于同一个世界坐标系下，且不同摄像头采集的图片中对应同一空间位置的点一一对应，以使所述双目深度摄像头及所述彩色摄像头的图片信息融合；
[0012]S7.根据双目视差估计获得所述配准彩色深度图像甘蔗末梢位置的高度。
[0013]进一步地，在步骤S2中，所述彩色摄像头利用棋盘法标定，所述双目深度摄像头利用红外光源照射的棋盘法进行立体校准。
[0014]进一步地，在步骤S4中，通过所述双目深度摄像头的两个视图中末梢区域的特征，建立左右图像的对应关系，以在左图中的每一个像素点在右图中找到其对应点，并且通过水平移动像素矩形框时计算匹配代价，确定像素匹配的相似程度，以获得计算拍摄的左右
图像的视差，且通过左右图像的视差获得所述深度图像。
[0015]进一步地，在步骤S5中，所述轮廓图像的获得方法包括下述步骤：
[0016]A1.通过对所述彩色图片进行颜色转换获得H分量图像；
[0017]A2.通过对所述H分量图像进行绿色分量提取获得二值化图像；
[0018]A3.通过对所述二值化图像进行形态学操作获得形态学操作图像；
[0019]A4.通过对所述形态学操作图像进行轮廓检测及去除大连通区域获得所述轮廓图像。
[0020]进一步地，在步骤A1中，将所述彩色图片的RGB图像转换为HSV图像，且根据绿色在HSV空间中的范围，提取HSV分量中的H分量图像，以获得H分量图像；
[0021]在步骤A2中，通过预先设计的双阈值算法确定HSV的上边界标数组值和下边界数组值，以分割所述H分量图像中的分割蔗叶和茎节；设置lower数组及upper数组，当H分量图像中的像素各通道值在[lower(i)，upper(i)]之间输出才为255，颜色为白色，否则令其为0，颜色为黑色，且根据HSV图像二值化计算出二值图像，
[0022][0023]其中，g(x,y)是二值图像；f(x,y)是原图像；lower是数组的上边界阈值；upper是数组的下边界阈值；
[0024]在步骤A3中，根据形态学闭运算消除所述二值图像的消除噪声和填充空洞，以获得所述形态学操作图像；
[0025]在步骤A4中，通过Canny算子对所述形态学操作图像中末梢位置与顶端之间的大连通区域去除，以获得所述轮廓图像。
[0026]进一步地，所述配准包括下述步骤：
[0027]B1.根据小孔成像模型获得所述深度摄像头坐标下某点的世界坐标：
[0028]p
ir
＝H
ir
P
ir
公式(2.1)
[0029]其中，P
ir
为在深度摄像头坐标下某点的世界坐标；p
ir
为该点在像平面上的投影坐标，其中x、y单位为像素，z等于深度值，单位为毫米；H
ir
为深度摄像头的内参矩阵；
[0030]根据RGB摄像头的内参矩H
rgb
对P
rgb
投影，获得该点对应的投影RGB坐标p
rgb
，且p
rgb
的计算方式为：
[0031]p
rgb
＝H
rgb
P
rgb
公式(2.2)
[0032]B2.根据所述深度摄像头的坐标和RGB摄像头的坐标不同，通过旋转平移变换P
rgb
与P
ir
进行联系，以获得
[0033]P
rgb
＝RP
ir
+T公式(2.3)
[0034]其中，P
rgb
为在RGB摄像头坐标下同一点的世界坐标；H
rgb
为RGB摄像头的内参矩阵，R为旋转矩阵，T为平移向量；
[0035]B3.根据外参矩阵分别对深度摄像头和RGB摄像头进行变换：
[0036]P
ir
＝R
ir
P+T
ir
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2.4)
[0037]P
rgb
＝R
rgb
P+T
rgb
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式(2.5)
[0038]其中，R
ir
，R
rbg
为旋转矩阵；T
ir
，T
rbg
为平移向量，外参矩阵为表示将一个世界坐标系下的点P变换到摄像头坐标系；
[0039]B4.根据公式(2.3)及公式(2.4)，将P通过P
ir
，R
ir
，T
ir
表示，获得：
[0040][0041]根据公式(2.6)及公式(2.2)，将P
ir
变换为P本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种甘蔗末梢位置高度估计方法，包括下述步骤：S1.设置双目深度摄像头及彩色摄像头的位置，以使所述双目深度摄像头及所述彩色摄像头的主光轴相互平行；S2.对所述双目深度摄像头及所述彩色摄像头进行标定和校准，以获得所述双目深度摄像头及所述彩色摄像头的内参和畸变参数；S3.采用所述双目深度摄像头和所述彩色摄像头拍摄甘蔗上半部，以获得甘蔗的深度图片及彩色图片；S4.通过立体匹配方法处理双目深度摄像头采集的所述深度图片中甘蔗末梢区域左右图像，以获得甘蔗末梢区域的深度图像；S5.根据甘蔗茎秆和蔗叶颜色的差异处理彩色摄像头采集的所述彩色图片中甘蔗末梢区域图片，以获得甘蔗末梢位置及甘蔗顶部蔗叶的轮廓图像；S6.对所述双目深度摄像头及所述彩色摄像头进行配准，以使所述深度摄像头及所述彩色摄像头处于同一个世界坐标系下，且不同摄像头采集的图片中对应同一空间位置的点一一对应，以使所述双目深度摄像头及所述彩色摄像头的图片信息融合；根据所述深度图像及所述彩色图片获得甘蔗末梢区域的配准彩色深度图像；S7.根据双目视差估计获得所述配准彩色深度图像甘蔗末梢位置的高度。2.根据权利要求1所述的一种甘蔗末梢位置高度估计方法，其特征在于：在步骤S2中，所述彩色摄像头利用棋盘法标定，所述双目深度摄像头利用红外光源照射的棋盘法进行立体校准。3.根据权利要求1所述的一种甘蔗末梢位置高度估计方法，其特征在于：在步骤S4中，通过所述双目深度摄像头的两个视图中末梢区域的特征，建立左右图像的对应关系，以在左图中的每一个像素点在右图中找到其对应点，并且通过水平移动像素矩形框时计算匹配代价，确定像素匹配的相似程度，以获得计算拍摄的左右图像的视差，且通过左右图像的视差获得所述深度图像。4.根据权利要求1所述的一种甘蔗末梢位置高度估计方法，其特征在于：在步骤S5中，所述轮廓图像的获得方法包括下述步骤：A1.通过对所述彩色图片进行颜色转换获得H分量图像；A2.通过对所述H分量图像进行绿色分量提取获得二值化图像；A3.通过对所述二值化图像进行形态学操作获得形态学操作图像；A4.通过对所述形态学操作图像进行轮廓检测及去除大连通区域获得所述轮廓图像。5.根据权利要求4所述的一种甘蔗末梢位置高度估计方法，其特征在于：在步骤A1中，将所述彩色图片的RGB图像转换为HSV图像，且根据绿色在HSV空间中的范围，提取HSV分量中的H分量图像，以获得H分量图像；在步骤A2中，通过预先设计的双阈值算法确定HSV的上边界标数组值和下边界数组值，以分割所述H分量图像中的分割蔗叶和茎节；设置lower数组及upper数组，当H分量图像中的像素各通道值在[lower(i)，upper(i)]之间输出才为255，颜色为白色，否则令其为0，颜色为黑色，且根据HSV图像二值化计算出二值图像，
其中，g(x,y)是二值图像；f(x,y)是原图像；lower是数组的上边界阈值；upper是数组的下边界阈值；在步骤A3中，根据形态学闭运算消除所述二值图像的消除噪声和填充空洞，以获得所述形态学操作图像；在步骤A4中，通过Canny算子对所述形态学操作图像中末梢位置与顶端之间的大连通区域去除，以获得所述轮廓图像。6.根据权利要求1所述的一种甘蔗末梢位置高度估计方法，其特征在于：所述配准包括下述步骤：B1.根据小孔成像模型获得所述深度摄像头坐标下某点的世界坐标：p
ir
＝H
ir
P
ir
公式(2.1)其中，P
ir
为在深度摄像头坐标下某点的世界坐标；p
ir
为该点在像平面上的投影坐标，其中x、y单位为像素，z等于深度值，单位为毫米；H
ir
为深度摄像头的内参矩阵；根据RGB摄像头的内参矩H
rgb
对P
rgb
投影，获得该点对应的投影RGB坐标p
rgb
，且p
rgb
的计算方式为：p
rgb
＝H
rgb
P
rgb
公式(...

【专利技术属性】
技术研发人员：文春明，侯炳旭，吴婉玲，崔文璇，晏云芝，李凯华，廖义奎，李建衡，郭环宇，何网网，张慧，欧阳裕昆，
申请(专利权)人：广西民族大学，
类型：发明
国别省市：