一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法技术方案

本发明专利技术提供的一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法，基于双目视觉测量系统，包括以下步骤：步骤1，构建目标的三维点云信息；步骤2，重建起重机工作场景中的静态障碍物，得到参照样本集；步骤3，采集起重机转运负载过程的图像信息，与步骤2中得到的基准样本进行比对，分别得到负载和动态障碍物的三维坐标；步骤4，根据步骤3中分别得到的负载和动态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞；步骤5，根据判断结果控制起重机的运行；本发明专利技术将双目视觉应用于桥式起重机吊装安全防撞，具有非接触性，强鲁棒性，能够很大程度上降低防碰撞系统的复杂程度，提高了系统工作的可靠性。提高了系统工作的可靠性。

【技术实现步骤摘要】
一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法


[0001]本专利技术属起重机自动控制领域，特别涉及一种基于图像处理的桥式起重机吊装安全防撞系统及方法。

技术介绍

[0002]桥式起重机在吊装运行过程中，操作人员当发现吊装对象周围出现可能的危险人员物品时，会按下起重机紧急停止按钮，以实现起重机运行的紧急应急停止。但这种常规操作方式容易受操作人员的操作状态影响，紧急停止时机不易把握，安全风险高。

技术实现思路

[0003]本专利技术的目的在于提供一种基于动态双目视觉的桥式起重机吊装安全防撞系统及方法，解决了现有的桥式起重机在吊装运行过程中存在紧急停止时机不易把握，安全风险高的缺陷。
[0004]为了达到上述目的，本专利技术采用的技术方案是：
[0005]本专利技术提供的一种基于动态双目视觉系统的桥式起重机吊装安全防撞方法，包括以下步骤：
[0006]步骤1，通过动态双目视觉系统采集起重机吊装工作场景的图像信息，得到两张图像信息，之后分别对两张图像信息进行处理，获得两张图像中的静态障碍物对应的特征点对，根据特征点对构建图像中的静态障碍物的三维点云信息；
[0007]步骤2，根据步骤1中得到的静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本；
[0008]步骤3，通过动态双目视觉系统采集起重机转运负载过程的图像信息，并对每帧图像信息进行处理，之后与步骤2中得到的基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标；
[0009]步骤4，根据步骤3中分别得到的负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，得到预测结果；
[0010]步骤5，根据预测结果控制起重机的运行，其中，若预测结果为会发生碰撞，则起重机开启语音报警提示；若预测出不会发生碰撞，则起重机继续正常运行。
[0011]优选地，步骤1中，对每帧图像信息进行处理，获得特征点，具体方法是：
[0012]S201，对采集到的起重机吊装工作场景的图像依次进行去噪、均衡化、匹配法和锐化法处理，得到预处理后的图像；
[0013]S202，利用SURF算法对S201中得到的预处理后图像进行特征点检测，得到特征点。
[0014]优选地，
[0015]步骤1中，根据特征点构建图像中的静态障碍物的三维点云信息，具体方法是：
[0016]采用三维重建SFM算法，获得静态障碍物的三维点云信息。
[0017]优选地，步骤2中，根据步骤1中得到的静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本集，具体方法是：
[0018]S201，获取左图像的视差图；
[0019]S202，将视差图上每一行的具有相同水平视差的所有像素个数进行累加，同时，从每一行的具有相同水平视差的所有像素点中选择X坐标值最大的像素点作为新的像素点坐标；之后将所有像素点个数的累加值作为该新的像素点的灰度值，得到V-视差图；
[0020]S203，将视差图上每一列的具有相同水平视差的所有像素个数进行累加，同时，从每一列的具有相同水平视差的所有像素点中选择Y坐标值最大的像素点作为新的像素点坐标；之后将所有像素个数的累加值作为该新的像素点的灰度值，得到U-视差图；
[0021]S204，利用Hough变换直线检测算法分别从V-视差图和U-视差图中提取直线，分别得到障碍物的高度、宽度和触地点；
[0022]S205，将得到的障碍物的高度、宽度和触地点和步骤1中得到的目标的三维点云信息相结合，得到起重机工作场景中的静态障碍物，进而得到基准样本。
[0023]优选地，步骤3中，对每帧图像信息进行处理，之后与步骤2中得到的基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标，具体方法是：
[0024]S301，采用全局运动模型参数估计算法分别对左相机拍摄的第k帧图像与第k-1帧图像进行处理，得到参数估计结果；
[0025]利用全局运动补偿算法结合参数估计结果对左相机拍摄的第k-1帧图像进行运动补偿，得到左摄像机第k-1帧校正后的图像；
[0026]将左摄像机第k-1帧校正后的图像与左摄像机第k帧图像的对应像素点的灰度值相减，得到连续帧间的灰度差分图；
[0027]S302，对左摄像机的第k-1帧图像和右摄像机的第k-1帧图像进行立体匹配，得到第k-1帧图像立体匹配后的视差图；
[0028]利用全局运动补偿算法结合S301中得到的参数估计结果对第k-1帧图像立体匹配后的视差图进行运动补偿，得到第k-1帧图像校正后的视差图；
[0029]对左摄像机的第k帧图像和右摄像机的第k帧图像进行立体匹配，得到第k帧图像立体匹配后的视差图；
[0030]将第k帧图像立体匹配后的视差图与第k-1帧图像立体匹配后的视差图的对应像素点的视差值进行相减，得到连续帧之间的视差差分图；
[0031]S303，再将连续帧间的灰度差分图和连续帧之间的视差差分图直接相乘，进而得到结合灰度和视差的连续帧间差分图像；
[0032]S304，在每新拍摄一帧图像的同时，利用S301中得到的参数估计结果对步骤3中得到的基准样本进行运动补偿，得到更新后的基准样本；
[0033]S305，将S303得到的结合灰度和视差的连续帧间差分图像与S304中得到的更新后的基准样本的对应像素点的灰度值相减，得到运动目标所在区域；对动目标所在区域的全图依次进行二值化处理、形态学滤波、连通性分析处理，得到负载和动态障碍物的三维坐标；
[0034]同时，对更新后的基准样本进行处理，获得特征点，根据特征点得到静态障碍物的三维坐标。
[0035]优选地，步骤4中，根据步骤3中分别得到的负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，具体方法是：
[0036]S401，利用CamShift跟踪算法对对步骤3中分别得到负载和动态障碍物的三维坐标进行跟踪，分别得到负载和动态障碍物的当前位置信息；
[0037]S402，利用Kalman滤波算法结合S401中分别得到的负载和动态障碍物的当前位置信息预测负载和动态障碍物下一刻的位置信息；
[0038]S403，利用基于方向包围盒碰撞检测算法结合S402中预测得到的负载和动态障碍物下一刻的位置信息，实时预测负载是否与动态障碍物或静态障碍物发生碰撞。
[0039]一种基于动态双目视觉的桥式起重机吊装安全防撞系统，该系统能够用于实现权利要求1-6中任一项所述的基于动态双目视觉系统的桥式起重机吊装安全防撞方法，包括采集模块、重建模块、处理模块、预测模块以及报警模块；其中，
[0040]采集模块用于通过动态双目视觉系统采集起重机吊装工作场景的图像信息，得到两张图像信息，之后分别对两张图像信息进行处理，获得两张图像中的静态障碍物对应的特征点对，根据特征点对构建图像中的静态障本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态双目视觉系统的桥式起重机吊装安全防撞方法，其特征在于，包括以下步骤：步骤1，通过动态双目视觉系统采集起重机吊装工作场景的图像信息，得到两张图像信息，之后分别对两张图像信息进行处理，获得两张图像中的静态障碍物对应的特征点对，根据特征点对构建图像中的静态障碍物的三维点云信息；步骤2，根据步骤1中得到的静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本；步骤3，通过动态双目视觉系统采集起重机转运负载过程的图像信息，并对每帧图像信息进行处理，之后与步骤2中得到的基准样本进行比对，分别得到负载、动态障碍物和静态障碍物的三维坐标；步骤4，根据步骤3中分别得到的负载、动态障碍物和静态障碍物的三维坐标预测负载是否与动态障碍物或静态障碍物发生碰撞，得到预测结果；步骤5，根据判断结果控制起重机的运行，其中，若预测结果为会发生碰撞，则起重机开启语音报警提示；若预测出不会发生碰撞，则起重机继续正常运行。2.根据权利要求1所述的一种基于动态双目视觉系统的桥式起重机吊装安全防撞方法，其特征在于，步骤1中，对每帧图像信息进行处理，获得特征点，具体方法是：S201，对采集到的起重机吊装工作场景的图像依次进行去噪、均衡化、匹配法和锐化法处理，得到预处理后的图像；S202，利用SURF算法对S201中得到的预处理后图像进行特征点检测，得到特征点。3.根据权利要求1所述的一种基于动态双目视觉系统的桥式起重机吊装安全防撞方法，其特征在于，步骤1中，根据特征点构建图像中的静态障碍物的三维点云信息，具体方法是：采用三维重建SFM算法，获得静态障碍物的三维点云信息。4.根据权利要求1所述的一种基于动态双目视觉系统的桥式起重机吊装安全防撞方法，其特征在于，步骤2中，根据步骤1中得到的静态障碍物的三维点云信息重建起重机工作场景中的静态障碍物，得到基准样本集，具体方法是：S201，获取左图像的视差图；S202，将视差图上每一行的具有相同水平视差的所有像素个数进行累加，同时，从每一行的具有相同水平视差的所有像素点中选择X坐标值最大的像素点作为新的像素点坐标；之后将所有像素点个数的累加值作为该新的像素点的灰度值，得到V-视差图；S203，将视差图上每一列的具有相同水平视差的所有像素个数进行累加，同时，从每一列的具有相同水平视差的所有像素点中选择Y坐标值最大的像素点作为新的像素点坐标；之后将所有像素个数的累加值作为该新的像素点的灰度值，得到U-视差图；S204，利用Hough变换直线检测算法分别从V-视差图和U-视差图中提取直线，分别得到障碍物的高度、宽度和触地点；S205，将得到的障碍物的高度、宽度和触地点和步骤1中得到的目标的三维点云信息相结合，得到起重机工作场景中的静态障碍物，进而得到基准样本。5.根据权利要求1所述的一种基于动态双目视觉系统的桥式起重机吊装安全防撞方法，其特征在于，步骤3中，对每帧图像信息进行处理，之后与步骤2中得到的基准样本进行
比对，分别得到负载、动态障碍物和静态障碍物的三维坐标，具体方法是：S301，采用全局运动模型参数估计算法分别对左相机拍摄的第k帧图像与第k-1帧图像进行处理，得到参数估计结果；利用全局运动补偿算法结合参数估计结果对左相机拍摄的第k-1帧图像进行运动补偿，得到左摄像机第k-1帧校正后的图像；将左摄像机第k-1帧校正后的图像与左摄像机第k帧图像的对应像素点的灰度值相减，得到连续帧间的灰度差分图；S302，对左摄像机的第k-1帧图像和右摄像机的第k-1帧图像进行立体匹配，得到第k-1帧图像立体匹配后的视差...

【专利技术属性】
技术研发人员：何祯鑫，王欣，于传强，陈珊，冯永保，李良，
申请(专利权)人：中国人民解放军火箭军工程大学，
类型：发明
国别省市：