基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法技术

本发明专利技术公开了基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，所述识别方法是将机器视觉采集到的铲斗所装物料的外部轮廓图像信息与铲斗的动作状态信息进行融合来确定铲斗内所装物料的体积，进而获得装载机的满斗率，其中，通过位移传感器分别获取空斗和满斗状态下的铲斗工作装置结构信息，并进一步确定空斗位置信息和满斗位置信息，通过空斗位置信息和满斗位置信息计算获得转换矩阵，并作为迭代最近点算法的初始矩阵对空斗三维模型点集和满斗三维模型点集进行点集配准。本发明专利技术将机器视觉和铲斗位置信息融合，使装载机在作业过程中能够快速准确的识别铲斗满斗率，并克服在进行体积估算时必须保持铲斗位置固定的限制。

Full bucket rate recognition method of Loader Based on machine vision and bucket position information fusion

【技术实现步骤摘要】
基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法
本专利技术属实时非接触式测量
，具体涉及基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法。
技术介绍
满斗率是指铲斗铲入的物料体积与铲斗的额定容积的比值，铲斗满斗率是确定挖掘机、铲运机和装载机等土方机械的性能和生产率的主要参数之一。尤其对于无人驾驶土方机械，由于没有驾驶员操作，机器需要通过每一次的铲掘信息来自主调整铲掘策略，满斗率属于其中一个重要的铲掘信息，每次挖掘后通过准确测量满斗率来调整下一次的操作策略，以更好地进行作业。现有研究成果中对铲斗满斗率的测量方法主要为通过称重系统来测量，该称重系统通过液压缸受到的力来计算负载重量。但是，这种方法在实际应用中存在一定问题，因为这种方法测量的是铲斗中物料的重量，而我们真正关注的是铲斗中物料的体积，如果事先没有获得装载物料的密度值，仅测得重量，就无法确定铲斗的满斗率。获得物料的精确密度值是一个难题，例如料堆中可能存在岩石碎石沙砾等，导致物料的密度并非定值，使得该系统无法精确计算满斗率。国外研究者还提出了一种使用视觉传感器估本文档来自技高网...

【技术保护点】
1.基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：/n具体过程如下：/n步骤一：获得铲斗在空斗状态下的轮廓图像模型信息和铲斗工作装置在空斗状态下的结构信息；/n步骤二：获得铲斗在满斗状态下的轮廓图像模型信息和铲斗工作装置在满斗状态下的结构信息；/n步骤三：在满斗状态下的装载机处于不同角度状态下，重复上述步骤二，获得装载机在不同角度下的三组满斗外轮廓图像的三维点云，与此同时，在装载机的不同角度下获取相应的铲斗工作装置在满斗状态下的结构信息；/n步骤四：获取完整的满斗外轮廓图像信息，并计算转换矩阵；/n步骤五：采用迭代最近点算法，将转换矩阵作为初始转换矩阵，对空斗三维模型点集和...

【技术特征摘要】
1.基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：
具体过程如下：
步骤一：获得铲斗在空斗状态下的轮廓图像模型信息和铲斗工作装置在空斗状态下的结构信息；
步骤二：获得铲斗在满斗状态下的轮廓图像模型信息和铲斗工作装置在满斗状态下的结构信息；
步骤三：在满斗状态下的装载机处于不同角度状态下，重复上述步骤二，获得装载机在不同角度下的三组满斗外轮廓图像的三维点云，与此同时，在装载机的不同角度下获取相应的铲斗工作装置在满斗状态下的结构信息；
步骤四：获取完整的满斗外轮廓图像信息，并计算转换矩阵；
步骤五：采用迭代最近点算法，将转换矩阵作为初始转换矩阵，对空斗三维模型点集和满斗三维模型点集进行点集配准，将空斗三维模型点集与满斗三维模型点集合并；
步骤六：对已合并的空斗三维模型点集与满斗三维模型点集进行表面插值，以获得包括铲斗内表面与铲斗内物料的上表面在内的两个表面数据信息；
步骤七：将铲斗内表面与铲斗内物料的上表面的两个表面上分别相对应地划分尺寸均匀的正方形网格，将每个正方形网格的面积乘以铲斗内表面与铲斗内物料的上表面上相应的正方形之间的距离，获得单个正方形网格对应的空间体积，然后将所有正方形网格对应的空间体积相加，获得铲斗内表面与铲斗内物料的上表面之间的体积，即获得铲斗内物料的体积，最后用铲斗内物料体积除以铲斗的额定容积，即得到装载机满斗率。


2.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：
所述铲斗在空斗状态下的外轮廓图像模型信息的获取过程具体如下：
A1：空斗轮廓图像采集；
通过双目立体相机对处于空斗状态下的铲斗的轮廓图像进行采集；
A2：空斗轮廓图像双目校正；
对双目立体相机采集到的空斗状态下的铲斗的轮廓图像进行双目校正，以使空斗状态下铲斗的轮廓上的同一特征点位于双目立体相机左右镜头采集到的两张图像水平方向上的同一直线上；
A3：空斗轮廓图像立体匹配；
对双目校正后的两张图片采用计算机双目视觉中的半全局匹配算法进行立体匹配，以获取视差图；
A4：三维重建空斗轮廓图像；
根据获取到的视差图，通过几何关系计算得到视差图上每个像素点的深度值，并利用相机内参计算出三维坐标，从而生成一组空斗三维模型点集；
获取铲斗工作装置在空斗状态下的结构信息的具体过程如下：
通过位移传感器甲采集动臂油缸的伸缩量，通过位移传感器乙采集转斗油缸的伸缩量，进而确定铲斗工作装置在空斗状态下的结构信息。


3.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：
所述铲斗在满斗状态下的轮廓图像模型信息的获取过程具体如下：
B1：满斗外轮廓图像采集；
通过双目立体相机对处于满斗状态下的铲斗的轮廓图像进行采集；
B2：满斗外轮廓图像双目校正；
对双目立体相机采集到的满斗状态下的铲斗的轮廓图像进行双目校正，以使满斗状态下铲斗的轮廓上的同一特征点位于双目立体相机左右镜头采集到的两张图像水平方向上的同一直线上；
B3：满斗外轮廓图像立体匹配；
对双目校正后的两张图片采用计算机双目视觉中的半全局匹配算法进行立体匹配，以获取视差图；
B4：三维重建满斗外轮廓图像；
根据获取到的视差图，通过几何关系计算得到视差图上每个像素点的深度值，并利用相机内参计算出三维坐标，从而生成一组满斗三维模型点集；
获取铲斗工作装置在满斗状态下的结构信息的具体过程如下：
通过位移传感器甲采集动臂油缸的伸缩量，通过位移传感器乙采集转斗油缸的伸缩量，进而确定铲斗工作装置在满斗状态下的结构信息。


4.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：
采用现有的迭代最近点算法对步骤三中获取的装载机在不同角度下的满斗外轮廓图像的三维点云进行配准与拼接，补全装满物料的铲斗两侧面轮廓，以获取完整的满斗外轮廓图像信息。


5.如权利要求1所述基于机器视觉和铲斗位置信息融合的装载机满斗率识别方法，其特征在于：
通过步骤一获得的铲斗工作装置在空斗状态下的结构信息确定空斗位置信息，通过步骤三获得的铲斗工作装置在满斗状态下的结构信息确定满斗位置信息；
计算所述的空斗位置信息、满斗位置信息和转换矩阵具体过程如下：
以双目立体相机的中...

【专利技术属性】
技术研发人员：李学飞，陈冠龙，陆锦雄，李英男，毕秋实，姚宗伟，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林;22