一种基于激光视觉融合和深度学习的集卡防吊起方法、系统技术方案

本发明专利技术提供一种基于激光视觉融合和深度学习的集卡防吊起方法，包括如下步骤：获取集装箱和集卡车架的视频信息3D点云数据；采用语义分割算法识别集装箱和集卡车架特征数据；并与3D点云图进行配准；利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；根据几何空间的形状和位置判断车架是否被吊起；若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。本发明专利技术提供的方法通过激光和视觉手段的融合，根据吊具、集装箱、集卡等多维信息，全面精确地实现吊起状态的判定，达到安全生产的要求。

【技术实现步骤摘要】
一种基于激光视觉融合和深度学习的集卡防吊起方法、系统
本专利技术涉及起重机装卸领域，特别是指一种基于激光视觉融合和深度学习的集卡防吊起方法、系统及可读存储介质。
技术介绍
在场桥从集卡上卸箱作业过程中，由于集卡锁销未完全解锁，吊具将集装箱连同集卡一并吊起或是半边吊起，通常称为吊集卡事故，吊集卡事故会导致人员和车辆的危险。通过对目前市场上针对该问题的安全检测保护系统的调研得出以下结论：大部分通过使用光电开关装置判断集装箱与托架之间的空间从而得出是否安全分离的判断，然而弊端在于该装置过于依赖大车PLC获取吊具编码器、开闭锁状态等数据，而且检测受到集装箱卡车托架的高度影响，分离检测存在很大的不确定性，从而无法满足安全生产的需要。
技术实现思路
本专利技术的主要目的在于克服现有技术中的上述缺陷，提出一种基于激光视觉融合和深度学习的集卡防吊起方法，通过激光和视觉手段的融合，根据吊具、集装箱、集卡等多维信息，全面精确地实现吊起状态的判定，达到安全生产的要求。本专利技术采用如下技术方案：一种基于激光视觉融合和深度学习的集卡防吊起方法，包括如下步骤：利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；根据几何空间的形状和位置判断车架是否被吊起；若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。具体地，所述采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡特征数据；具体包括：调整视频信息中的图像尺寸，并对图像中的每个像素进行归一化处理，获得像素归一化后的图像；将得到的像素归一化后的图像输入到UNet网络中，对图像中的集装箱和集卡车架进行轮廓提取；将轮廓提取后的结果利用腐蚀和膨胀等形态学操作去除轮廓中的噪点，得到集装箱和集卡车架特征数据。具体地，所述归一化处理具体为：其中，xi为原有像素值，为像素平均值，s2为像素方差值，xd为归一化后的像素值。具体地，所述将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；配准操作具体包括：通过对基准雷达进行移动建图；将其余雷达数据对基准雷达的重建地图进行迭代配准与计算；根据一致性假设减少匹配误差，直到算法收敛且满足标定矩阵刚性不变特性；根据一致性算法得出最终标定矩阵。具体地，所述利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与车架之间的几何空间进行计算，具体包括：所述利用视觉识别出的集装箱和集卡车架特征数据，确定集装箱与车架在图像中的位置，进一步利用配准过的数据，提取出集装箱与车架的真实世界三维坐标；对车架和集装箱的数据利用线性回归方法对车架顶部和集装箱底部进行平面拟合；利用拟合出的车架顶部平面和集装箱底部的平面，计算出两个平面的夹角。具体地，所述利用拟合出的车架顶部平面和集装箱底部的平面，计算出两个平面的夹角，具体为：两平面夹角的余弦为：根据余弦进一步计算出夹角α＝cos-1(cosα)；其中，拟合出的车架顶部和集装箱底部的平面表达式分别为A1x+B1y+C1z+D1＝0和A2x+B2y+C2z+D2＝0。具体地，根据几何空间的形状和位置判断车架是否被吊起，具体为：若两个平面的夹角超过设定阈值角度，则认为集装箱被吊起；如果两个平面的夹角小于设定阈值角度，且两个平面的最大距离小于设定阈值距离，则认为集装箱被吊起；否则，认为集装箱正常起升，即未被吊起。本专利技术实施例另一方面提供一种基于激光视觉融合和深度学习的集卡防吊起系统，包括：数据获取单元：利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；视频信息处理单元：采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；数据配准单元：将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；定位计算单元：利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；吊起判定单元：根据几何空间的形状和位置判断车架是否被吊起；操作执行单元：若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。本专利技术实施例再一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述基于激光视觉融合和深度学习的集卡防吊起方法步骤。由上述对本专利技术的描述可知，与现有技术相比，本专利技术具有如下有益效果：(1)本专利技术提出一种基于激光视觉融合和深度学习的集卡防吊起方法，通过激光和视觉手段的融合，并进行数据配准，且方案中根据吊具、集装箱、集卡等多维信息，从而实现精确全面数据的获取，为下一步吊起状态的精确判定提供基础，从而达到安全生产的要求。(2)本专利技术中利用面阵激光传感器获取集装箱和集卡的3D点云数据，能够全面获取集装箱和集卡的数据信息，解决了现有技术中采用线扫激光容易被阻挡导致数据不全的问题。(3)本专利技术提供的判定方法，能够支持所有集卡吊起的状态识别，便于下一步的吊起状态解除操作。附图说明图1为本专利技术实施例提供的基于激光视觉融合和深度学习的集卡防吊起方法流程图；图2为本专利技术实施例提供的视频信息中的图像示例图；图3为本专利技术实施例提供的3D点云数据；图4为本专利技术实施例提供的车架顶部和集装箱底部平面拟合示意图；图5为本专利技术实施例提供的基于激光视觉融合和深度学习的集卡防吊起系统框图。图6为本专利技术实施例提供的可读存储介质结构框图。具体实施方式本专利技术实施例提供了一种基于激光视觉融合和深度学习的集卡防吊起方法、系统及可读存储介质，通过激光和视觉手段的融合，并进行数据配准，根据吊具、集装箱、集卡等多维信息，全面精确地实现吊起状态的判定，达到安全生产的要求。本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法本文档来自技高网...

【技术保护点】
1.一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，包括如下步骤：/n利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；/n采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；/n将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；/n利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；/n根据几何空间的形状和位置判断车架是否被吊起；/n若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。/n

【技术特征摘要】
1.一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，包括如下步骤：
利用摄像头获取集装箱和集卡车架的视频信息，利用面阵激光传感器获取集装箱和集卡的3D点云数据；
采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡车架特征数据；
将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；
利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与集卡车架之间的几何空间进行计算；
根据几何空间的形状和位置判断车架是否被吊起；
若为未被吊起状态，则循环进行判断，直到吊具提升至设定位置为止，若是吊起状态，则停止并返回结果给PLC。


2.根据权利要求1所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述采用语义分割算法识别摄像头获取的所述视频信息中的集装箱和集卡特征数据；具体包括：
调整视频信息中的图像尺寸，并对图像中的每个像素进行归一化处理，获得像素归一化后的图像；
将得到的像素归一化后的图像输入到UNet网络中，对图像中的集装箱和集卡车架进行轮廓提取；
将轮廓提取后的结果利用腐蚀和膨胀等形态学操作去除轮廓中的噪点，得到集装箱和集卡车架特征数据。


3.根据权利要求2所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述归一化处理具体为：









其中，xi为原有像素值，为像素平均值，s2为像素方差值，xd为归一化后的像素值。


4.根据权利要求1所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述将得到的集装箱和集卡特征数据与面阵激光传感器获取的3D点云图进行配准；配准操作具体包括：
通过对基准雷达进行移动建图；
将其余雷达数据对基准雷达的重建地图进行迭代配准与计算；
根据一致性假设减少匹配误差，直到算法收敛且满足标定矩阵刚性不变特性；
根据一致性算法得出最终标定矩阵。


5.根据权利要求1所述的一种基于激光视觉融合和深度学习的集卡防吊起方法，其特征在于，所述利用视觉识别出的集装箱和集卡车架特征数据进行定位，进一步利用3D点云数据对集装箱与车架之间的几何空...

【专利技术属性】
技术研发人员：罗永祥，严志展，陈志辉，刘键涛，魏秋新，
申请(专利权)人：福建电子口岸股份有限公司，
类型：发明
国别省市：福建;35