【技术实现步骤摘要】
本申请涉及岸桥自动化，具体而言，涉及一种岸桥吊具控制方法、装置及电子设备。
技术介绍
1、随着自动化运输系统的开发及应用，集装箱运输环节效率得到大大提高，对集装箱装卸作业的效率提出更高要求，但装卸作业部分仍处于人工操作阶段。港口起重机作为港口作业的主要机械设备，主要负责集装箱的装卸，通过使用集装箱吊具来提升集装箱。集装箱的装卸是由专业操作人员在港口起重机操作室里通过操纵吊具来实现的。
2、而在对吊具进行控制过程中，对吊具位姿估计是必要的技术手段，通过对吊具位姿的确定实现吊具控制的精准性。
技术实现思路
1、为了解决以上的问题，本申请提供一种岸桥吊具控制方法、装置及电子设备，采用机器视觉方案确定集装箱的主要特征点，并建立吊具与集装箱之间的坐标关系确定吊具的最优姿势，从而通过最优姿势实现对于集装箱的精准吊装作业。
2、为了达到上述目的，本申请实施例采用的技术方案如下：
3、第一方面，提供一种岸桥吊具控制方法，应用于岸桥系统，所述岸桥系统包括行车、吊具以及设置在所述吊具上的图像采集装置，还包括与所述行车、所述吊具和所述图像采集装置通信的服务器，所述行车用于带动所述吊具进行移动，所述吊具用于对集装箱进行吊装作业，所述图像采集装置用于采集区域内的图像信息，所述方法应用于所述服务器；所述方法包括：获取所述图像采集装置已采集到的集装箱图像，并对所述集装箱图像基于识别模型进行特征点识别，得到关于集装箱的四个锁孔边框；获取四个所述锁孔边框中任意三个特征点，并对三个
4、进一步的，所述识别模型包括特征提取模块、特征融合模块和检测模块，所述特征提取模块包括三个卷积层子模块和三个跨阶段局部残差子模块，三个所述跨阶段局部残差子模块设置在两个所述卷积层子模块输出后，并与剩余一个所述卷积层子模块连接；所述特征融合模块包括两个基本卷积子模块，两个所述基本卷积子模块自适应选择尾部特征，然后经过上采样扩充特征尺度，最后使扩充后的尾部特征与中部特征连接；所述检测模块包括两个检测头，每个所述检测头由一个基本卷积子模块和一个卷积层组成，两个所述检测头的输出密度包括第一密度和第二密度，所述第一密度为13×13×18，所述第二密度26×26×18。
5、进一步的，所述第一密度对应第一组锚框，所述第二密度对应第二组锚框；所述第一组锚框包括(81，82)、(135，169)和(344，319)三组尺寸，所述第二组锚框包括(10，14)、(23，27)和(37，58)三组尺寸。
6、进一步的，所述识别模型的损失函数基于下式确定：losstatol＝lossconf+λ1lossbox+λ2lossclass，其中lossconf为置信度损失函数，lossbox为边框中心位置尺度损失函数，lossclass为类别损失函数，λ1和λ2均为置信度损失函数、边框中心位置尺度损失函数和类别损失函数之间的平衡系数；其中置信度损失函数基于下式确定：其中s和a分别表示每个检测头对应的单元密度和单元匹配的锚框数，r(i,j)表示第i个单元网格中的第j个锚框对应的样本类型，为检测头输出参数取值在[0,1]，λnoobj为超参数；其中边框中心位置尺度损失函数基于下式确定：
7、，其中ox和oy分别表示目标真实中心位置，ow和oh分别表示目标真实尺度，和分别表示网络输出的目标中心位置，和分别表示网络输出的目标尺度；其中类别损失函数基于下式确定：其中c为标注类别概率，为预测类别概率，classes为网络需要检测的类别。
8、进一步的，所述预测类别概率基于下式确定：其中表示检测头输出参数，n表示类别数，表示第i类目标的概率。
9、进一步的，在对三个所述特征点投影到三维空间中得到相机坐标系下的三维坐标之后，还包括通过高斯牛顿优化算法，迭代最小化投影误差。
10、进一步的，所述特征点投影基于下式表示：其中(u,v,1)t表示图像的齐次坐标，(cu,cv)表示相机的主点，t＝(tx ty tz)t表示相机坐标系与世界坐标系之间的平移向量，r(r)表示相机坐标系与世界坐标系之间的旋转向量，x＝(x y z)t表示三维点的坐标，[r(r) t]表示吊具位姿。
11、进一步的，所述迭代最小化投影误差基于下式表示：其中(r,t)表示变换矩阵，xi表示第i个特征点，π(x；r,t)表示投影点坐标。
12、第二方面，提供一种岸桥吊具控制装置，所述装置应用于岸桥系统，所述岸桥系统包括行车、吊具以及设置在所述吊具上的图像采集装置，还包括与所述行车、所述吊具和所述图像采集装置通信的服务器，所述行车用于带动所述吊具进行移动，所述吊具用于对集装箱进行吊装作业，所述图像采集装置用于采集区域内的图像信息，所述装置应用于所述服务器；所述装置包括：特征点提取模块，用于获取所述图像采集装置已采集到的集装箱图像，并对所述集装箱图像基于识别模型进行特征点识别，得到关于集装箱的四个锁孔边框；位姿识别模块，用于获取四个所述锁孔边框中任意三个特征点，并对三个所述特征点投影到三维空间中得到相机坐标系下的三维坐标，并基于3d-2d的点对计算得到有关所述吊具的位姿。
13、第三方面，提供一种电子设备，用于执行上述任一项所述的方法。
14、第四方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的方法。
15、本申请实施例提供的技术方案中，通过机器视觉方案获取集装箱的特征点，并根据特征点通过投影到三维空间中得到相机坐标系下的三维坐标，并基于3d-2d的点对计算得到有关所述吊具的位姿。实现了在吊具进行吊装过程中位姿的准确预估，提高了整体吊装过程的准确性和安全性。
本文档来自技高网...【技术保护点】
1.一种岸桥吊具控制方法，其特征在于，应用于岸桥系统，所述岸桥系统包括行车、吊具以及设置在所述吊具上的图像采集装置，还包括与所述行车、所述吊具和所述图像采集装置通信的服务器，所述行车用于带动所述吊具进行移动，所述吊具用于对集装箱进行吊装作业，所述图像采集装置用于采集区域内的图像信息，所述方法应用于所述服务器；所述方法包括：
2.根据权利要求1所述的岸桥吊具控制方法，其特征在于，所述识别模型包括特征提取模块、特征融合模块和检测模块，所述特征提取模块包括三个卷积层子模块和三个跨阶段局部残差子模块，三个所述跨阶段局部残差子模块设置在两个所述卷积层子模块输出后，并与剩余一个所述卷积层子模块连接；所述特征融合模块包括两个基本卷积子模块，两个所述基本卷积子模块自适应选择尾部特征，然后经过上采样扩充特征尺度，最后使扩充后的尾部特征与中部特征连接；所述检测模块包括两个检测头，每个所述检测头由一个基本卷积子模块和一个卷积层组成，两个所述检测头的输出密度包括第一密度和第二密度，所述第一密度为13×13×18，所述第二密度26×26×18。
3.根据权利要求2所述的岸桥吊具控制
4.根据权利要求3所述的岸桥吊具控制方法，其特征在于，所述识别模型的损失函数基于下式确定：
5.根据权利要求4所述的岸桥吊具控制方法，其特征在于，所述预测类别概率基于下式确定：
6.根据权利要求5所述的岸桥吊具控制方法，其特征在于，在对三个所述特征点投影到三维空间中得到相机坐标系下的三维坐标之后，还包括通过高斯牛顿优化算法，迭代最小化投影误差。
7.根据权利要求6所述的岸桥吊具控制方法，其特征在于，所述特征点投影基于下式表示：
8.根据权利要求7所述的岸桥吊具控制方法，其特征在于，所述迭代最小化投影误差基于下式表示：
9.一种岸桥吊具控制装置，其特征在于，所述装置应用于岸桥系统，所述岸桥系统包括行车、吊具以及设置在所述吊具上的图像采集装置，还包括与所述行车、所述吊具和所述图像采集装置通信的服务器，所述行车用于带动所述吊具进行移动，所述吊具用于对集装箱进行吊装作业，所述图像采集装置用于采集区域内的图像信息，所述装置应用于所述服务器；所述装置包括：
10.一种电子设备，其特征在于，用于执行权利要求1～8任一项所述岸桥吊具控制方法。
...【技术特征摘要】
1.一种岸桥吊具控制方法，其特征在于，应用于岸桥系统，所述岸桥系统包括行车、吊具以及设置在所述吊具上的图像采集装置，还包括与所述行车、所述吊具和所述图像采集装置通信的服务器，所述行车用于带动所述吊具进行移动，所述吊具用于对集装箱进行吊装作业，所述图像采集装置用于采集区域内的图像信息，所述方法应用于所述服务器；所述方法包括：
2.根据权利要求1所述的岸桥吊具控制方法，其特征在于，所述识别模型包括特征提取模块、特征融合模块和检测模块，所述特征提取模块包括三个卷积层子模块和三个跨阶段局部残差子模块，三个所述跨阶段局部残差子模块设置在两个所述卷积层子模块输出后，并与剩余一个所述卷积层子模块连接；所述特征融合模块包括两个基本卷积子模块，两个所述基本卷积子模块自适应选择尾部特征，然后经过上采样扩充特征尺度，最后使扩充后的尾部特征与中部特征连接；所述检测模块包括两个检测头，每个所述检测头由一个基本卷积子模块和一个卷积层组成，两个所述检测头的输出密度包括第一密度和第二密度，所述第一密度为13×13×18，所述第二密度26×26×18。
3.根据权利要求2所述的岸桥吊具控制方法，其特征在于，所述第一密度对应第一组锚框，所述第二密度对应第二组锚框；所述第一组锚框包括(81，82)、(135，169)和(3...
【专利技术属性】
技术研发人员：孙金余，陈斌，杨楣，杜振奇，鄢仁祥，杨庆研，吴小勇，孙斐，
申请(专利权)人：上海国际港务集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。