一种用于挖掘机的图像识别方法和设备技术

本发明专利技术涉及图像识别技术领域，特别是涉及一种用于挖掘机的图像识别方法及设备，该图像识别方法包括步骤：(1)通过摄像头获取挖掘机周围环境的图像；(2)采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块；(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面；(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。本发明专利技术有效解决了挖掘机在复杂环境下的破碎工况中石块难以识别的技术问题，使挖掘机能够完成智能驾驶和自动化破碎作业，提高了生产效率。

An image recognition method and equipment for excavator

The invention relates to the technical field of image recognition, in particular to an image recognition method and equipment for excavators, the image recognition method comprises the steps of: (1) obtaining an image of the surrounding environment of the excavators through a camera; (2) using the canny edge detection algorithm of OpenCV to realize the extraction of the edge of the stone to be broken in the image, and recognizing the obstacles and stones in the image (3) the image is successively processed with corrosion and expansion to obtain clear stone edge and determine the working face of the excavator to break the stone; (4) the application of binocular vision system includes the steps of camera calibration, stereo correction, stereo matching and 3D reconstruction to obtain the 3D coordinates of the working target stone in the working face. The invention effectively solves the technical problem that the stone of the excavator is difficult to identify under the crushing condition of the complex environment, enables the excavator to complete the intelligent driving and automatic crushing operation, and improves the production efficiency.

【技术实现步骤摘要】
一种用于挖掘机的图像识别方法和设备
本专利技术涉及图像识别
，特别是涉及一种用于挖掘机的图像识别方法和设备。
技术介绍
挖掘机被广泛应用于在矿山开采、楼房建筑、路桥修建等工程的施工工地。现有技术中，挖掘机普遍采用液压系统驱动，人工操控的方式进行施工；但是由于施工工地环境较为恶劣，使得工作人员的工作舒适性较差；而且随着用工成本提高，受工人体力和外界天气等的影响，挖掘机不能全天候工作，给企业和业主带来巨大的资源浪费。对于挖掘机破碎作业而言，为了实现破碎锤自动化施工，机器视觉识别待碎石块是其中重要一环。只有能够准确地识别待破碎石块，才能顺利地引导破碎锤将石块破碎，完成自动化施工。然而，由于石块的结构比较复杂多样，而且是多面体，不同的表面对于接受光照度不同，导致石块的灰度分布非常复杂，这就增大了识别难度。且由于不同光照环境下的被测物的反光现象，使得图像识别工作更加难以精确。因此，目前还未公开或报道过任何一种专门用于挖掘机的图像识别方法和设备，来针对石块破碎作业这一应用场景，以解决挖掘机不能准确识别待破碎石块及工作面的问题。
技术实现思路
有鉴于此，本专利技术的目的是提供一种用于挖掘机的图像识别方法和设备，以实现自动识别挖掘机周围的待破碎石块，确定工作面，以及对目标作业石块的位置定位。为了达到上述目的，本专利技术提供一种用于挖掘机的图像识别方法，包括以下步骤：(1)通过摄像头获取挖掘机周围环境的图像；(2)图像处理器采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块；(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面；(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。优选地，所述步骤(1)中，采用相机曝光自动调节算法，根据目标拍摄图像的灰度值进行实时曝光量的调整，提高图像的对比度和清晰度。采用自动调节相机曝光量有多种方式，包括调整相机光圈，相机增加滤光片以及调节CCD相机曝光时间的方式。本专利技术中主要依靠增加滤光片和调整CCD相机曝光时间的方式来实时调整曝光量。进一步优选地，所述相机曝光自动调节算法为均值法AE。根据曝光分区系统，将人对于从黑到白渐进的变化分为11阶(即0，I，II，III，IV，V，VI，VII，VIII，IX，X；其中，全黑为0阶，全白为X阶)，将处于当中的块V认为是适中的曝光强度，称为中灰。而V阶区块的光照反射率是18％，也就是定义的18％灰。均值法AE是计算测光区域的曝光强度的一种方法，基于下面这个公式，Output是我们期望的曝光输出值，也就是18％灰的曝光强度，Gamma一般都是2.2。根据公式Input＝255x(Output/255)gamma在灰度卡上以0～255为计算区域的话，那么18％灰的Ouput就是122，Input就是50。也就是测光区域的实际曝光强度应该为50。从而计算出所需的曝光量和曝光时间。根据目标拍摄图片的灰度值进行实时曝光量的调整，提高图像的对比度和清晰度，这样首先在照片来源上进行了质量的保证，有利于后续识别准确性的提升。优选地，所述步骤(2)中，对于石块的识别采用Canny边缘检测算法去检测石块的边缘。由于石块与背景灰度存在一定的差异性，可以通过Canny边缘检测算法初步描绘出石块的边缘，具体包括以下步骤：a)滤波CANNY边缘检测算法主要是基于图像强度的一阶和二阶导数，但是导数对于噪声很敏感，因此需要采用滤波器来改善与噪声有关的边缘检测器的性能。应用高斯滤波器与图像卷积降噪，以平滑图像；所述高斯滤波器的模板K(size＝5)为：b)增强增强边缘的基础是确定图像各点邻域强度的变化值。应用增强算法，可以将图像中的石块边缘与背景图案有显著变化的点凸显出来；c)检测应用双阈值检测，获得石块的边缘。邻域中有很多的点的梯度值较大，但是在特定的应用中，这些点并不是要找的石块边缘点，需要取舍。标准为：a.若某一像素位置的幅值超过高阈值，该像素被保留为边缘像素；b.若某一像素位置的幅值小于低阈值，该像素被排除；c.若某一像素位置的幅值在两个阈值之间，该像素仅仅在连接一个高于高阈值的像素时被保留。优选地，本专利技术中，经过上述处理后的图像采用先腐蚀后膨胀的处理方式，也就是开运算，可以比较清晰地描绘出石块边缘。该处理方式具有消除细小物体，在纤细处分离物体和平滑较大物体边界的作用。其中，腐蚀为求局部最小值的操作，将图像与核进行卷积，即计算核覆盖区域的像素点最小值，并赋值给参考点指定的像素，这样就会使图像中高亮区域逐渐增长。而膨胀为求局部最大值的操作，将图像与核进行卷积，即计算核覆盖区域的像素点最大值，并把最大值赋值给参考点指定像素，这样就会使图像中高亮区域逐渐增长。优选地，所述步骤(4)中，所述相机标定具体为通过OpenCV使用平面黑白棋盘来标定双目视觉系统的摄像机，具体方法为调用findChessboardCorners()函数获得棋盘格角点的像素坐标，再调用findcornerSubpix函数获得棋盘格角点的亚像素坐标；调用drawChessboardCorners()函数绘制出检测到的棋盘角点，然后使用stereoCalibrate()函数完成双目标定。所述立体校正具体为通过OpenCV的stereoRectify函数得到图像校正所需的映射矩阵来完成校正功能。输入参数为摄像机矩阵，畸变向量，左右旋转矩阵R和平移向量T。输出参数为左右投影矩阵P，以及重投影矩阵Q。可调用函数InitUndistortRectifyMap()生成图像校正所需的映射矩阵。其中，所述立体匹配和三维重建的方法具体为：利用所述双目视觉系统的左右摄像机分别获取作业目标石块的左右图像，根据左摄像机图像和右摄像机图像的图像坐标，通过OpenCV的立体匹配算法SGBM(semi-globalblockmatching)进行三维坐标计算，得到工作面中的作业目标石块的三维坐标和距离信息。具体地，所述双目视觉系统的左右摄像机获取的左右图像经过立体匹配后得到视差图，再通过三角形相似原理计算得到作业目标石块的距离。在一些实施例中，还通过激光测距方法对图像识别和作业目标石块的定位进行辅助。本专利技术还提供一种用于挖掘机的图像识别设备，包括与挖掘机的中央处理器连接的视觉模块，所述视觉模块包括：双目视觉系统，其包括左摄像头和右摄像头，用于获取挖掘机周围环境的图像；图像处理器，用于执行上述的图像识别方法，其与中央处理器连接。该图像识别设备通过摄像头拍摄图像，然后传送至图像处理器，由图像处理器对图像进行上述的各个运算，图像处理器将图像运算处理结果转换为数字格式后发送给中央处理器，中央控制器根据处理后的图像信号信息发出控制指令给挖掘机工本文档来自技高网...

【技术保护点】
1.一种用于挖掘机的图像识别方法，其特征在于，包括：/n(1)通过摄像头获取挖掘机周围环境的图像；/n(2)图像处理器接收所述图像并采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块；/n(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面；/n(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。/n

【技术特征摘要】
1.一种用于挖掘机的图像识别方法，其特征在于，包括：
(1)通过摄像头获取挖掘机周围环境的图像；
(2)图像处理器接收所述图像并采用OpenCV的Canny边缘检测算法实现对所述图像中待破碎石块边缘的抽取，识别出所述图像中的障碍物和石块；
(3)对所述图像先后进行腐蚀和膨胀处理，获得清晰的石块边缘并确定挖掘机破碎石块的工作面；
(4)利用双目视觉系统应用包括相机标定、立体校正、立体匹配和三维重建的步骤，获取工作面中的作业目标石块的三维坐标。


2.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(1)中，采用相机曝光自动调节算法，根据目标拍摄图像的灰度值进行实时曝光量的调整，提高图像的对比度和清晰度。


3.根据权利要求2所述的用于挖掘机的图像识别方法，其特征在于，所述相机曝光自动调节算法为均值法AE。


4.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(2)中，所述Canny边缘检测算法具体包括以下步骤：
a)应用高斯滤波器与图像卷积降噪，以平滑图像；所述高斯滤波器的模板K为：



b)应用增强算法，将图像中的石块边缘与背景图案有显著变化的点凸显出来；
c)应用双阈值检测，获得石块的边缘。


5.根据权利要求1所述的用于挖掘机的图像识别方法，其特征在于，所述步骤(3)中，所述相机标定具体为通过OpenCV使用平面黑白棋盘来标定摄像机，具体方法为调用findChessboardCorners函数获得棋盘格角点的像素坐标，再调用findcornerSubpix函数获得棋盘格角点的...

【专利技术属性】
技术研发人员：张彦群，朱玉田，
申请(专利权)人：爱克斯维智能科技苏州有限公司，
类型：发明
国别省市：江苏;32