本发明专利技术公开了一种基于激光视觉融合的场桥防打保龄装置和方法。该装置包括数据获取单元、数据处理单元和数据运算单元，其中，数据获取单元，用于获取吊具和各个集装箱的2D点云数据和RGB图像数据；数据处理单元用于根据2D点云数据确定吊具高度和各个集装箱的高度，并根据RGB图像数据确定各个集装箱的长度、宽度和边界框信息；数据运算单元用于根据数据处理单元的确定信息计算得到吊具带箱底面与集装箱顶面的最小高度差，以及吊具带箱边界框和吊具行进方向上集装箱边界框的最小间距，并根据最小高度差和最小间距输出防打保龄预警信息。本发明专利技术能够防止吊具与其行驶路径上摆放的集装箱发生碰撞，从而能够有效避免安全事故的发生。生。生。
【技术实现步骤摘要】
基于激光视觉融合的场桥防打保龄装置和方法
[0001]本专利技术涉及集装箱吊装
，尤其涉及一种基于激光视觉融合的场桥防打保龄装置和方法。
技术介绍
[0002]集装箱龙门吊在集装箱装卸作业过程中，龙门吊吊具及其起吊集装箱因起升高度不足而发生碰箱，造成作业箱堆及相邻箱堆连锁倾翻事故，俗称为“打保龄”。为了避免此类事故的发生，传统的方案是要求司机作业时必须走“门字形”轨迹，但该方案操作效率低不适宜当今物流的快速发展；另外的方案是采用PLC(Programmable Logic Controller，可编程逻辑控制器)系统结合GPS(Global Positioning System，全球定位系统)技术和堆场控制系统，利用绝对值编码器的精准度，提前调节小车及起升的速度，在防撞的同时实现作业曲线优化，但该方案改造费用高，改造周期较长。
技术实现思路
[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提供一种基于激光视觉融合的场桥防打保龄装置，该装置能够防止吊具及吊箱在小车运动过程中，起升高度未到足够高度情况下，小车与其行驶路径上摆放的集装箱发生碰撞，从而能够有效避免安全事故的发生。
[0004]本专利技术第二个目的在于提供一种基于激光视觉融合的场桥防打保龄方法。
[0005]为达到上述目的，本专利技术通过以下技术方案实现：
[0006]一种基于激光视觉融合的场桥防打保龄装置，包括：
[0007]数据获取单元，用于获取吊具和各个集装箱的2D点云数据和RGB图像数据；
[0008]数据处理单元，与所述数据获取单元连接，所述数据处理单元用于根据所述2D点云数据确定吊具高度和各个集装箱的高度，并根据所述RGB图像数据确定各个集装箱的长度、宽度和边界框信息；
[0009]数据运算单元，与所述数据处理单元连接，所述数据运算单元用于根据所述数据处理单元的确定信息计算得到吊具带箱底面与集装箱顶面的最小高度差，以及吊具带箱边界框和吊具行进方向上集装箱边界框的最小间距，并根据所述最小高度差和所述最小间距输出防打保龄预警信息。
[0010]可选的，所述数据获取单元包括：
[0011]第一激光雷达和第二激光雷达，用于获取所述吊具和各个集装箱的2D点云数据；
[0012]第一相机和第二相机，用于获取各个集装箱的所述RGB图像数据。
[0013]可选的，所述数据处理单元具体用于：
[0014]将第一激光雷达所在坐标系和第二激光雷达所在坐标系统一至同一坐标系，以在同一坐标系下对所述第一激光雷达获取的2D点云数据和所述第二激光雷达获取的2D点云数据进行拼接，并根据拼接后的2D点云数据确定吊具高度和各个集装箱的高度。
[0015]可选的，所述数据处理单元根据所述RGB图像数据确定各个集装箱的长度、宽度和边界框信息时具体用于：
[0016]将所述RGB图像数据输入至预训练YOLOv3模型，并通过所述预训练YOLOv3模型确定各个集装箱的锁孔位置，以便通过各个集装箱的所述锁孔位置确定各个集装箱的长度、宽度和边界框信息。
[0017]可选的，所述预训练YOLOv3模型确定集装箱的边界框信息时具体用于：
[0018]对所述RGB图像数据进行预处理，得到带有锁孔中心点的二值化图像；
[0019]以所述二值化图像中的所述锁孔中心点为角点，采用基于区域生长方法定位集装箱并得到集装箱边界框，所述集装箱边界框通过如下能量函数描述：
[0020]E(X,Y)＝E
keyhole
(Y)+E
structure
(X,Y)
[0021]E
keyhole
(Y)＝
‑
|{Y|Y≠Ο}|
[0022][0023]其中，X为图像检测到的所有角点，Y为根据X重建的集装箱矩形外轮廓，E
keyhole
(Y)为当前图像内角点总数的负值，E
structure
(X,Y)描述了用两个相邻角点来预测第3个角点的匹配程度，c
i
、c
j
、c
k
为检测到的集装箱矩形在行或列方向上相邻的3个角点，O为检测到的异常情况，T为检测到的集装箱矩形在某一行或某一列方向上的角点集合。
[0024]可选的，所述数据运算单元计算所述最小高度差时具体用于：
[0025]获取吊具带箱尺寸信息，根据所述吊具带箱尺寸信息和所述吊具高度，确定吊具带箱底面距离地面的高度；
[0026]根据吊具带箱底面距离地面的高度和吊具行进方向上集装箱顶面距离地面的高度确定所述最小高度差。
[0027]可选的，所述数据运算单元计算所述最小间距时具体用于：
[0028]根据集装箱的高度、长度和宽度信息确定集装箱的空间三维信息；
[0029]根据各个集装箱的所述空间三维信息确定吊具行进方向上是否存在集装箱；
[0030]若存在，则获取吊具带箱的边界框信息和行进方向上所述集装箱的边界框信息，并根据两者的边界框信息确定所述最小间距。
[0031]可选的，所述数据运算单元根据所述最小高度差和所述最小间距输出防打保龄预警信息时具体用于：
[0032]若所述最小高度差和所述最小间距均处于相应的预设减速区间，则发出减速报警信息；
[0033]若所述最小高度差和所述最小间距均处于相应的预设警停区间，则发出警停报警信息。
[0034]为达到上述目的，本专利技术第二方面提供了一种基于激光视觉融合的场桥防打保龄方法，包括：
[0035]获取吊具和各个集装箱的2D点云数据和RGB图像数据；
[0036]根据所述2D点云数据确定吊具高度和各个集装箱的高度，并根据所述RGB图像数据确定各个集装箱的长度、宽度和边界框信息；
[0037]根据吊具高度、各个集装箱的高度、长度、宽度和边界框信息计算得到吊具带箱底面与集装箱顶面的最小高度差，以及吊具带箱边界框和吊具行进方向上集装箱边界框的最小间距，并根据所述最小高度差和所述最小间距输出防打保龄预警信息。
[0038]本专利技术至少具有以下技术效果：
[0039](1)本专利技术将视觉手段和激光手段进行结合，并利用视觉图像数据训练得到的YOLOv3模型，检测识别集装箱的各参数特征，然后根据两种识别方法得出的参数特征共同实现防打保龄精确判定，从而能够避免安全事故的发生，并能够降低吊装的改造成本，且能够提高装卸效率。
[0040](2)本专利技术采用双激光融合方案，无检测死角实时扫描场内集装箱高度和位置，从而能够对吊车是否动作及其动作速度进行实时控制，进而能够进一步提高装置的安全性和稳定性。
[0041]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到。
附图说明
[0042]图1为本专利技术一实施例提供的基于激光视觉融本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于激光视觉融合的场桥防打保龄装置，其特征在于，包括：数据获取单元，用于获取吊具和各个集装箱的2D点云数据和RGB图像数据；数据处理单元，与所述数据获取单元连接，所述数据处理单元用于根据所述2D点云数据确定吊具高度和各个集装箱的高度，并根据所述RGB图像数据确定各个集装箱的长度、宽度和边界框信息；数据运算单元，与所述数据处理单元连接，所述数据运算单元用于根据所述数据处理单元的确定信息计算得到吊具带箱底面与集装箱顶面的最小高度差，以及吊具带箱边界框和吊具行进方向上集装箱边界框的最小间距，并根据所述最小高度差和所述最小间距输出防打保龄预警信息。2.如权利要求1所述的基于激光视觉融合的场桥防打保龄装置，其特征在于，所述数据获取单元包括：第一激光雷达和第二激光雷达，用于获取所述吊具和各个集装箱的2D点云数据；第一相机和第二相机，用于获取各个集装箱的所述RGB图像数据。3.如权利要求2所述的基于激光视觉融合的场桥防打保龄装置，其特征在于，所述数据处理单元具体用于：将第一激光雷达所在坐标系和第二激光雷达所在坐标系统一至同一坐标系，以在同一坐标系下对所述第一激光雷达获取的2D点云数据和所述第二激光雷达获取的2D点云数据进行拼接，并根据拼接后的2D点云数据确定吊具高度和各个集装箱的高度。4.如权利要求3所述的基于激光视觉融合的场桥防打保龄装置，其特征在于，所述数据处理单元根据所述RGB图像数据确定各个集装箱的长度、宽度和边界框信息时具体用于：将所述RGB图像数据输入至预训练YOLOv3模型，并通过所述预训练YOLOv3模型确定各个集装箱的锁孔位置，以便通过各个集装箱的所述锁孔位置确定各个集装箱的长度、宽度和边界框信息。5.如权利要求4所述的基于激光视觉融合的场桥防打保龄装置，其特征在于，所述预训练YOLOv3模型确定集装箱的边界框信息时具体用于：对所述RGB图像数据进行预处理，得到带有锁孔中心点的二值化图像；以所述二值化图像中的所述锁孔中心点为角点，采用基于区域生长方法定位集装箱并得到集装箱边界框，所述集装箱边界框通过如下能量函数描述：E(X,Y)＝E
keyhole
(Y)+E
structure
(X,Y)E
keyhole
(Y)＝
‑
...
【专利技术属性】
技术研发人员：张志伟，曹仪明，王寒斌，施浩杰，凤宇飞，宓超，沈阳，冯杰，闻丹杰，
申请(专利权)人：上海海瞩智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。