目标识别系统及基于其的拖拉机倒车与农具连接方法技术方案

本发明专利技术提供了一个基于机器视觉的实时、准确的目标识别系统及相应的拖拉机倒车与农具连接方法，通过部署能够精确提取特征点的特殊目标图案或者标志物在农具上，用于目标的实时检测和相对位置计算；将摄像机成像仪中目标图案特征点带入至校正后的摄像机模型中，可精确推导出目标相对于摄像头的位置，即距离和方向角，由于摄像机与拖拉机相对静止，本发明专利技术可精确测量出的农机具和拖拉机各自连接点的相对位置和方向信息，计算规划导航路径，提供出建议车速与方向盘转角，以供驾驶员参考，以便手动或自动驾驶拖拉机到达农机具安装位置。相对于摄像机直接检测机械本身，本发明专利技术方法可极大的降低检测的计算量，提高准确性、可靠性和计算速度。

【技术实现步骤摘要】
目标识别系统及基于其的拖拉机倒车与农具连接方法
本专利技术属于农机设备与计算机
，涉及一种目标识别系统及基于其的拖拉机倒车与农具连接方法。
技术介绍
在农业生产中，拖拉机常与农具配合使用来进行除草、喷药、耕地、浇水等工作，因此要做到合理安装与调整农具。农具的安装方式多种多样，以图1所示的三点悬挂装置为例，装置前端的三点固定在拖拉机后端，装置后端通过机构中间的通孔与农具进行连接。在安装时，螺栓要紧固连接带有通孔的悬挂装置和农具，因此要保证两个通孔的相对位置精确对准；其次，还要保证悬挂装置的连接杆顺利穿过，两孔的方向也要对准才能进行后续连接。由于拖拉机与农具体积重量都较大，实际生产中常常将农具水平放置在地面上，让拖拉机驾驶员低档小油门倒车至适当位置，使农具相应部位与拖拉机后端的三点悬挂装置对齐，方便后续进行安装，工作过程如图2所示。此过程精度要求较高（距离误差约±2cm，方向角误差约±1°），因此驾驶员要准确把握两个孔的实时位置和方向角关系，而驾驶员工作时通常是边观察车尾部的情况边倒车，操作比较困难，有经验的驾驶员一般也要来回十几次才能成功，且拖拉机体积越大，倒车时视野越差，增加了倒车难度。且仅凭肉眼观察待连接部位之间的位置和方向角关系，误差较大。
技术实现思路
为解决上述问题，本专利技术设计了一个基于机器视觉的实时、准确的目标识别系统及相应的拖拉机倒车与农具连接方法，能够辅助驾驶员手动倒车或实现拖拉机自动倒车，完成这一耦合过程，使驾驶员更快更精准地操作拖拉机倒车速度和转弯角度至安装位置。>本专利技术通过部署能够精确提取特征点的特殊目标图案或者标志物在农具上，用于目标的实时检测和相对位置计算；将摄像机成像仪中目标图案特征点带入至校正后的摄像机模型中，可精确推导出目标相对于摄像头的位置，即距离和方向角，由于摄像机与拖拉机相对静止，本专利技术可精确测量出农机具和拖拉机各自连接点的相对位置和方向信息，计算规划导航路径，提供出建议车速与方向盘转角，以供驾驶员参考，以便手动或自动驾驶拖拉机到达农机具安装位置。相对于摄像机直接检测机械本身，本专利技术方法可极大地降低检测的计算量，提高准确性、可靠性和计算速度。为了达到上述目的，本专利技术提供如下技术方案：拖拉机倒车与农具连接方法，包括如下步骤：步骤1，建立摄像机模型及畸变校正步骤1.1，建立摄像机模型如下：(1)其中，；上述公式中的(xy)T代表的是物体在摄像机采集到的图像的像素坐标点；H是摄像机自身特性矩阵，描述了摄像机本身光学成像系统的特性；Ik是物体相对于摄像机定义的坐标系中的坐标值；步骤1.2，校正透镜畸变误差将摄像头采集到的原始图像去除畸变，得到经透镜畸变校正后的图像上被映射点的坐标i’，真实世界中的点I’与校正后摄像机镜头拍摄画面中的点i’之间的映射关系，如公式(2)所示：(2)其中，；上述公式中，i’中的(x’y’)T为经透镜畸变校正后的图像上被映射点的坐标，而I’中的(XYZ)T为物理点的世界坐标，R是描述世界坐标系与摄像机坐标系关系的3×4外部参数矩阵，是旋转矩阵S与平移向量u的组合，世界坐标系与摄像机坐标系之间的映射关系如公式(3)所示：(3)将公式(3)变形得公式(4)：(4)其中，旋转矩阵S表示了摄像机与目标之间绕三维坐标系x，y，z轴的旋转角度；而平移向量u代表了摄像机与目标在三维空间的平移关系，即三维空间各方向上的距离；步骤2，计算位置关系步骤2.1，在要连接的农具上设置目标图案；步骤2.2，摄像机采集步骤2.1中设置的目标图案的原始图像，去除原始图像由摄像机光学成像系统带来的畸变，得到去畸变的图像；步骤2.3，得到去畸变的图像后，检测提取到图案的若干特征点，得到各特征点在图像中的像素坐标点；步骤2.4，根据公式(2)，输入摄像机的成像特性矩阵H，经校准后的特征点的像素坐标点i’，特征点在目标图案定义的自己的坐标系中的物理坐标I’，得到描述两个坐标系的相对关系的外部参数矩阵R；步骤2.5，基于R得到旋转矩阵S与平移向量u，根据旋转矩阵S计算出目标图案对应摄像机在x、y、z三个方向的俯仰、偏航和滚转角，进而得到拖拉机和农机具的偏移角度关系，通过平移向量u得到两个坐标系的平移位置关系；将多个特征点在图像中的像素坐标点和自己在目标图案坐标系中的物理坐标代入公式(4)，得到目标图案相对于摄像机的位置关系；步骤3，规划路径：步骤3.1，设坐标系先绕X轴、再绕Y轴、最后绕Z轴分别旋转αx、αy和αz角得到旋转矩阵Rx、Ry和Rz，整个旋转矩阵R由三部分旋转矩阵相乘得到R=Rx*Ry*Rz，其中整理后得到R与αx、αy和αz的关系为：（5）记拖拉机三点悬挂安装孔的坐标矩阵为，拖拉机上的摄像头坐标矩阵为，农机具上的目标图案坐标矩阵为，农机具安装孔的坐标矩阵为。由于在拖拉机上安装摄像头时已知拖拉机三点悬挂安装孔与摄像头在各轴上的偏移角度和平移位置关系，代入得R12与t12；从而得拖拉机三点悬挂安装孔与拖拉机上摄像头的相对位置关系：其中R12为拖拉机三点悬挂安装孔与拖拉机上的摄像头之间的3×3旋转矩阵，t12为拖拉机三点悬挂安装孔与拖拉机上的摄像头之间的3×1平移向量；由步骤2得拖拉机上的摄像头和农机具上的目标图案的相对位置关系为：其中，R23为拖拉机上的摄像头和农机具上的目标图案之间的3×3旋转矩阵，t23为拖拉机上的摄像头和农机具上的目标图案之间的3×1平移向量；得到目标图案和农机具安装孔的相对位置关系：其中R34为目标图案和农机具安装孔之间的3×3旋转矩阵，t34为目标图案和农机具安装孔之间的3×1平移向量；令，，整理可得拖拉机三点悬挂安装孔和农机具安装孔的相对位置关系：，其中R’为拖拉机三点悬挂安装孔和农机具安装孔之间的3×3旋转矩阵，t’为拖拉机三点悬挂安装孔和农机具安装孔之间的3×1平移向量；根据得到的拖拉机三点悬挂安装孔和农机具安装孔之间的旋转矩阵与平移向量，根据公式(5)计算出农机具安装孔对应拖拉机三点悬挂安装孔在x、y、z三个方向的俯仰、偏航和滚转角，通过平移向量u得到两个坐标系的平移位置关系；步骤3.2，将拖拉机的农机具安装孔的位置定义为原点O’，车辆正前方的方向定义为y轴正方向，与y轴垂直且与地面平行指向车辆右侧的方向定义为x轴正方向，垂直地面向上的方向定义为z轴正方向，得到农机具上的安装孔P’在该坐标系中的坐标位置和方向作为驾驶系统规划轨迹的目标位置坐标和方向，拖拉机的农机具安装孔的位置和朝向在该定义的坐标系作为出发点的坐标和朝向；根据出发点O’和目标点P’的位置和朝向后，计算拖拉机倒车的导航轨迹；步骤3.3，农机按照模拟出的导航轨迹行走，计算在每一小段路径上的转弯半径r和转向角度，计算机控制农机方向，使得农机按照导航轨迹行驶；取本文档来自技高网...

【技术保护点】
1.拖拉机倒车与农具连接方法，其特征在于，包括如下步骤：/n步骤1，建立摄像机模型及畸变校正/n步骤1.1，建立摄像机模型如下：/n

【技术特征摘要】
1.拖拉机倒车与农具连接方法，其特征在于，包括如下步骤：
步骤1，建立摄像机模型及畸变校正
步骤1.1，建立摄像机模型如下：

(1)
其中，；
上述公式中的(xy)T代表的是物体在摄像机采集到的图像的像素坐标点；H是摄像机自身特性矩阵，描述了摄像机本身光学成像系统的特性；Ik是物体相对于摄像机定义的坐标系中的坐标值；
步骤1.2，校正透镜畸变误差
将摄像头采集到的原始图像去除畸变，得到经透镜畸变校正后的图像上被映射点的坐标i’，真实世界中的点I’与校正后摄像机镜头拍摄画面中的点i’之间的映射关系，如公式(2)所示：

(2)
其中，；
上述公式中，i’中的(x’y’)T为经透镜畸变校正后的图像上被映射点的坐标，而I’中的(XYZ)T为物理点的世界坐标，R是描述世界坐标系与摄像机坐标系关系的3×4外部参数矩阵，是旋转矩阵S与平移向量u的组合，世界坐标系与摄像机坐标系之间的映射关系如公式(3)所示：

(3)
将公式(3)变形得公式(4)：

(4)
其中，旋转矩阵S表示了摄像机与目标之间绕三维坐标系x，y，z轴的旋转角度；而平移向量u代表了摄像机与目标在三维空间的平移关系，即三维空间各方向上的距离；
步骤2，计算位置关系
步骤2.1，在要连接的农具上设置目标图案；
步骤2.2，摄像机采集步骤2.1中设置的目标图案的原始图像，去除原始图像由摄像机光学成像系统带来的畸变，得到去畸变的图像；
步骤2.3，得到去畸变的图像后，检测提取到图案的若干特征点，得到各特征点在图像中的像素坐标点；
步骤2.4，根据公式(2)，输入摄像机的成像特性矩阵H，经校准后的特征点的像素坐标点i’，特征点在目标图案定义的自己的坐标系中的物理坐标I’，得到描述两个坐标系的相对关系的外部参数矩阵R；
步骤2.5，基于R得到旋转矩阵S与平移向量u，根据旋转矩阵S计算出目标图案对应摄像机在x、y、z三个方向的俯仰、偏航和滚转角，进而得到拖拉机和农机具的偏移角度关系，通过平移向量u得到两个坐标系的平移位置关系；将多个特征点在图像中的像素坐标点和自己在目标图案坐标系中的物理坐标代入公式(4)，得到目标图案相对于摄像机的位置关系；
步骤3，规划路径：
步骤3.1，设坐标系先绕X轴、再绕Y轴、最后绕Z轴分别旋转αx、αy和αz角得到旋转矩阵Rx、Ry和Rz，整个旋转矩阵R由三部分旋转矩阵相乘得到R=Rx*Ry*Rz，其中



整理后得到R与αx、αy和αz的关系为：

（5）
记拖拉机三点悬挂安装孔的坐标矩阵为，拖拉机上的摄像头坐标矩阵为，农机具上的目标图案坐标矩阵为，农机具安装孔的坐标矩阵为；由于在拖拉机上安装摄像头时已知拖拉机三点悬挂安装孔与摄像头在各轴上的偏移角度和平移位置关系，代入得R12与t12；
从而得拖拉机三点悬挂安装孔与拖拉机上摄像头的相对位置关系：



其中R12为拖拉机三点悬挂安装孔与拖拉机上的摄像头之间的3×3旋转矩阵，t12为拖拉机三点悬挂安装孔与拖拉机上的摄像头之间的3×1平移向量；
由步骤2得拖拉机上的摄像头和农机具上的目标图案的相对位置关系为：



其中，R23为拖拉机上的摄像头和农机具上的目标图案之间的3×3旋转矩阵，t23为拖拉机上的摄像头和农机具上的目标图案之间的3×1平移向量；
得到目标图案和农机具安装孔的相对位置关系：



其中R34为目标图案和农机具安装孔之间的3×3旋转矩阵，t34为目标图案和农机具安装孔之间的3×1平移向量；
令，，
整理可得拖拉机三点悬挂安装孔和农机具安装孔的相对位置关系：

，
其中R’为拖拉机三点悬挂安装孔和农机具安装孔之间的3×3旋转矩阵，t’为拖拉机三点悬挂安装孔和农机具安装孔之间的3×1平移向量；
根据得到的拖拉机三点悬挂安装孔和农机具安装孔之间的旋转矩阵与平移向量，根据公式(5)计算出农机具安装孔对应拖拉机三点悬挂安装孔在x、y、z三个方向的俯仰、偏航和滚转角，通过平移向量u得到两个坐标系的平移位置关系；
步骤3.2，将拖拉机的农机具安装孔的位置定义为原点O’，车辆正前方的方向定义为y轴正方向，与y轴垂直且与地面平行指向车辆右侧的方向定义为x轴正方向，垂直地面向上的方向定义为z轴正方向，得到农机具上的安装孔P’在该坐标系中的坐标位置和方向作为驾驶系统规划轨迹的目标位置坐标和方向，拖拉机的农机具安装孔的位置和朝向在该定义的坐标系...

【专利技术属性】
技术研发人员：李吉，
申请(专利权)人：南京艾格慧元农业科技有限公司，
类型：发明
国别省市：江苏;32