一种基于深度视觉信息的运动车斗自动识别与定位方法技术

本发明专利技术涉及一种基于深度视觉信息的运动车斗自动识别与定位方法，包含如下步骤：S1：解算相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵t；S2：从相机读取一帧包含深度视觉信息的深度图像，及一帧点云数据；S3：将点云数据进行降采样处理；S4：将相机坐标系下的点云数据转换为世界坐标系下的点云数据；S5：对转换后的点云数据进行阈值处理，保留车斗所在的大致高度区域的点阵，对阈值处理后的点云进行降维处理，投影至二维平面；S6：采用图像处理技术对降维处理后的点云进行拟合以获得车斗的边沿直线，并计算其角点。可以自动识别拖车的车斗的外轮廓，及其相对机械臂喷头的角度和位置，自动控制喷头高度和角度实时做出相应的调整。

【技术实现步骤摘要】
一种基于深度视觉信息的运动车斗自动识别与定位方法
本专利技术涉及机器视觉与农业自动化领域，具体涉及一种基于深度视觉信息对运动中的农业运载拖车车斗自动识别与定位方法。
技术介绍
青饲机是一种常用农业收获机械，主要用来收获青绿牧草、燕麦、甜菜茎叶等低矮青饲作物。青饲机大体由前方割台、机身喂入装置及切碎抛送装置组成。前方割台为一个装有多把甩刀旋转切碎器用于高速收割作物，机身收集作物并将其切碎，然后由抛送装置抛出。抛送装置的主要组成部分是可控制角度和高度的二自由度机械臂结构。青饲机抛出的物料由后方或侧方同向行驶的拖车承接，完成物料填充，拖车装载足量后再替换空车，以保证收获机持续工作，提升工作效率。拖车一般由牵引车体的车头和载物使用的高大矩形车斗组成，车斗用于承接青饲机抛出的饲料。目前，我国青饲机的物料填充过程仍为人工操作，需要一名操作员通过人眼识别拖车车斗的位置，然后手动控制机械臂喷头的高度和角度，存在喷射不精准，反应不及时，物料浪费，人力劳顿等各种缺陷。视觉是人类获取环境信息的主要途径。机器视觉用机器代替人眼获取图像，用计算机模拟人脑处理信息，从图片中提取出所需信息让机器有效感知客观世界。机器视觉主要分为二维视觉及三维视觉技术，二维视觉主要应用于安防、表面检测等需要获取物体平面信息的领域。三维视觉通过分析一幅或几幅相关图片的信息或采用激光测距等技术，来获取物体的三维特征，主要用于导航、搬运、装配等需要获取环境空间状态的领域。机器视觉的引入具有以下优势：机器视觉相对人眼观察具有更高的可靠性；机器视觉依靠电脑处理数据比人工更精确；机器视觉可以适应更复杂、高危险的工作环境。目前针对运动物体检测的方法主要有帧间差分、背景差分、光流法等较为成熟的算法。此类方法用于在连续的视频图像中检测出相对环境运动的物体，并描绘出轮廓。也有升级后的相关算法可排除部分动态背景的干扰，定位目标物体。以上方法从二维视觉的角度解决运动物体识别问题，此类常规方法对本专利技术研究对象不适用。本专利技术并非只定位运动的拖车，而是需要找出拖车车斗相对于青饲机抛送装置的具体位置。因此本专利技术引入深度视觉信息实现车斗定位。深度视觉信息来源于深度图像，这是一种2.5D的图像。作为图像深度图同样以矩阵的方式进行存储，不同之处是它的各个像素点的像素值不代表亮度，它的含义是场景中某目标点到相机参考平面的距离。深度图像的获取技术分为四类：被动式和主动式，接触式与非接触式。被动式传感器接收场景发射或反射的光能量，形成该场景中光能量的分布函数，即灰度图像。主动式传感器向场景中物体发射能量束，然后接收目标场景反射的能量。接触式方法要求接触被测量物体或跟被测量的物体间隔距离很近。非接触式即为不需要与被测量物体接触。本专利技术使用的传感器为主动式非接触RGB-D相机。
技术实现思路
针对青饲机拖车车斗手动跟随方式存在的不足，本专利技术利用机器视觉技术提出了一种基于深度视觉信息对运动车斗自动识别与定位方法，可以自动识别拖车的车斗的外轮廓，及其相对机械臂喷头的角度和位置，进而可以自动控制喷头高度和角度实时做出相应的调整，实现物料自动填充。本专利技术采用的技术方案如下：本专利技术提供一种基于深度视觉信息对运动车斗自动识别与定位方法，该方法是基于包含一个固定在青饲机抛送物料的机械臂上的可输出深度视觉信息的RGB-D相机，相机安装角度朝向拖车车斗方向，其包含如下步骤：步骤S1：选定世界坐标系，分析相机坐标系与世界坐标系之间的关系，解算相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵t；步骤S2：从相机读取一帧包含深度视觉信息的深度图像，及一帧点云数据；步骤S3：将点云数据进行降采样处理，定位车斗并不需要如此稠密的点云，预先进行点云降采样可提升后续步骤的处理速度；步骤S4：将相机坐标系下的点云转化到世界坐标系下，旋转矩阵和平移矩阵已在步骤S1中求得；步骤S5：对坐标值转换后的点云数据进行阈值处理，保留车斗所在的大致高度区域的点阵，对阈值处理后的点云进行降维处理，投影至二维平面，为车斗的识别定位做准备；步骤S6：采用图像处理技术对降维处理后的点云进行拟合以获得车斗的边沿直线，确定车斗边沿，并计算其角点。通过以上技术方案确定了车斗角点在世界坐标系下的位置，由于抛送物料的机械臂所在世界坐标系位置已知，因此可以得到机械臂喷头与车斗的位置关系，实现定位。本专利技术采用RGB-D相机，通过多种计算机视觉技术协同，最终实现青饲机物料自动填充系统中最为重要的运动车斗目标识别与定位。本专利技术实现成本较低、计算量少、计算速度快，目标识别定位效果好，自动化程度高，基于本专利技术开发的青饲机物料自动填充技术可显著提高青饲机收获效率和降低劳动强度。附图说明图1为本专利技术实施例中的工作环境示意图。图2为本专利技术实施例中的方法的工作流程图。图3为本专利技术实施例中的方法的随机点阵图。图4为本专利技术实施例中的随机点阵按最小二乘法的拟合效果图。图5为本专利技术实施例中的随机点阵按RANSAC算法的拟合效果图。具体实施方式下面结合附图和具体实施例对本专利技术进行详细说明，本实施例在以本专利技术技术方案为前提下进行实施，给出了详细的实施方式和过程，但本专利技术的保护范围不限于下述的实施例。如图1所示，图中的1为青饲机收获车，2为机械臂，3为喷头，4为青饲料，5为相机，6为车斗，7为拖车，青饲机收获饲料后通过主要由机械臂组成的抛送装置抛出，并由拖车的车斗承接。用计算机代替人工实现物料自动填充系统的关键在于确定青饲机机械臂喷头与拖车车斗之间的相对位置。此两者相对位置确定后，根据抛送的青饲料的速度确定青饲料的落点，控制机械臂到达指定位置，就可完成自动填充操作。相机安装固定在机械臂上，朝向拖车的车斗。采用的RGB-D相机是图漾公司生产的PERCIPIO.XYZ系列深度相机，型号为FM811-DH。如图2为本实施例的基于深度视觉信息对运动车斗自动识别与定位方法的工作流程图。识别拖车车斗并进行角点定位，主要包含以下6个步骤完成。1)解算相机坐标系与世界坐标系间的旋转平移矩阵。此处涉及3D-3D的位姿估计问题，该问题可转化为如下数学描述。假设有一组配对好的3D点：P＝{p1,p2,...,pn},P'＝{p'1,p'2,...,p'n},(1)需要找到一个欧氏变换R，t，使得：上式中，P’表示相机坐标系下的点矩阵，P表示世界坐标系下的点矩阵，R表示表示相机坐标系到世界坐标系的旋转矩阵，t表示相机坐标系到世界坐标系的平移矩阵，i表示某组3D参考点的序号。本实施例中需要进行匹配的两组点阵分别是：参考物上选择的参考点在世界坐标系下的坐标值及其在相机坐标系下的对应坐标值。通过该匹配可获得两个坐标系间的相对关系。世界坐标系的x-y平面平行于地面，以收获车体与机械臂的链接处为原点，世界坐标系下参考点坐标值通过实际测量获得。在深度图像中指定参考点，获得其像素坐标值和深度信息，然后通过相机内参K转换为相机坐标系下的三维坐标值。本专利技术采用SVD(SingularValueDecomposition，奇异值分解)算法完成R,t解算。通过构建最小二乘问题，求使得误差平方和达到极小的R,t。上式中，P’表示相机坐标系下的点矩阵，P表示世界坐标系下的点矩阵，R表示表示相机坐标系到世界坐标系的旋转矩阵，t表示相机坐标本文档来自技高网...

【技术保护点】
1.一种基于深度视觉信息的运动车斗自动识别与定位方法，包含如下步骤：S1：解算相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵t；S2：从相机读取一帧包含深度视觉信息的深度图像，及一帧点云数据；S3：将点云数据进行降采样处理；S4：将相机坐标系下的点云数据转换为世界坐标系下的点云数据；S5：对转换后的点云数据进行阈值处理，保留车斗所在的大致高度区域的点阵，对阈值处理后的点云进行降维处理，投影至二维平面；S6：采用图像处理技术对降维处理后的点云进行拟合以获得车斗的边沿直线，并计算其角点。

【技术特征摘要】
1.一种基于深度视觉信息的运动车斗自动识别与定位方法，包含如下步骤：S1：解算相机坐标系与世界坐标系之间的旋转矩阵R和平移矩阵t；S2：从相机读取一帧包含深度视觉信息的深度图像，及一帧点云数据；S3：将点云数据进行降采样处理；S4：将相机坐标系下的点云数据转换为世界坐标系下的点云数据；S5：对转换后的点云数据进行阈值处理，保留车斗所在的大致高度区域的点阵，对阈值处理后的点云进行降维处理，投影至二维平面；S6：采用图像处理技术对降维处理后的点云进行拟合以获得车斗的边沿直线，并计算其角点。2.根据权利要求1所述的基于深度视觉信息的运动车斗自动识别与定位方法，其特征在于，所述的世界坐标系以收获车体与机械臂的链接处为原点，并且其x-y平面平行于地面。3.根据权利要求1所述的基于深度视觉信息的运动车斗自动识别与定位方法，其特征在于，所述S1步骤中解算的步骤包括：S11：在深度图像中指定参考点，获得其像素在世界坐标系下的坐标值和深度信息；S12：然后通过相机内参K转换为相机坐标系下的三维坐标值；S13：采用...

【专利技术属性】
技术研发人员：何创新，苗中华，刘成良，陈苏跃，
申请(专利权)人：上海大学，
类型：发明
国别省市：上海,31