一种基于双目相机的铲斗追踪方法、设备及介质技术

本申请公开了一种基于双目相机的铲斗追踪的方法、设备及介质，方法包括：按照预设的时间间隔，通过设置于流机上的双目相机，获取流机的多帧作业图像；根据多帧作业图像之间的像素差值，对流机上的铲斗进行目标检测，并确定铲斗在不同帧作业图像下的目标定位点以及目标定位点对应的三维坐标；确定铲斗对应的至少一个局部跟踪区域，局部跟踪区域为铲斗中未被遮挡的区域；针对局部跟踪区域，连接不同帧作业图像下对应三维坐标相同的目标定位点，得到局部跟踪区域对应的运动轨迹；根据运动轨迹的动作方向和轨迹曲率，预测局部跟踪区域的目标运动轨迹，以便于根据目标运动轨迹，对铲斗进行追踪。行追踪。行追踪。

【技术实现步骤摘要】
一种基于双目相机的铲斗追踪方法、设备及介质


[0001]本申请涉及工程机械领域，具体涉及一种基于双目相机的铲斗追踪方法、设备及介质。

技术介绍

[0002]港口物流系统是物流运输系统的重要组成部分，港口机械作为装卸、运输的主要工具，目前已被广泛应用于港口物流系统中。
[0003]港口机械大致上可分为物机和流机两类，物机也叫大机，用于码头岸壁的静止作业，比如桥吊、门机、轮胎吊等；流机就是流动机械，比如叉车、汽车吊、拖车、跨运车、正面吊。随着流动机械的不断发展，其应用范围也得到了进一步扩大。
[0004]但是，由于港口施工环境较为复杂，在流动机械的作业过程中，需对其进行实时监控以保证作业效率和作业安全性。目前常通过人工监控的方式获取流动机械的运行状况，但是该种方式只能从整体上对流动机械的运行进行把控，难以实现对流动机械具体部位的精确追踪，且效率低下。

技术实现思路

[0005]为了解决上述问题，本申请提出了一种基于双目相机的铲斗追踪方法，包括：按照预设的时间间隔，通过设置于流机上的双目相机，获取流机的多帧作业图像；
[0006]根据多帧作业图像之间的像素差值，对流机上的铲斗进行目标检测，并确定铲斗在不同帧作业图像下的目标定位点以及目标定位点对应的三维坐标；
[0007]确定铲斗对应的至少一个局部跟踪区域，局部跟踪区域为铲斗中未被遮挡的区域；
[0008]针对局部跟踪区域，连接不同帧作业图像下对应三维坐标相同的目标定位点，得到局部跟踪区域对应的运动轨迹；
[0009]根据运动轨迹的动作方向和轨迹曲率，预测局部跟踪区域的目标运动轨迹，以便于根据目标运动轨迹，对铲斗进行追踪。
[0010]在本申请的一种实现方式中，根据多帧作业图像之间的像素差值，对流机上的铲斗进行目标检测，具体包括：
[0011]针对多帧作业图像中任意相邻两帧的第一作业图像，对第一作业图像进行灰度，得到灰度后的第二作业图像；
[0012]对第二作业图像中相同像元位置对应的像素值进行作差，并对作差后的结果取绝对值，得到像元位置之间的像素差值；
[0013]根据像素差值与第一预设阈值之间的大小关系，确定像元位置的像元类型；像元类型包括前景像元和背景像元；
[0014]遍历第二作业图像，根据像元类型确定铲斗对应的位置。
[0015]在本申请的一种实现方式中，确定铲斗对应的至少一个局部跟踪区域，具体包括：
[0016]根据前景像元，确定作业图像中的前景目标；前景目标包括铲斗和其他前景目标；
[0017]确定其他前景目标与铲斗之间是否存在重叠部分，若存在，则从铲斗中去除重叠部分；
[0018]对去除重叠部分后的铲斗进行区域分割，以得到铲斗对应的至少一个局部跟踪区域。
[0019]在本申请的一种实现方式中，对去除重叠部分后的铲斗进行区域分割，具体包括：
[0020]提取铲斗对应的轮廓，并在轮廓上标注出目标定位点；
[0021]将轮廓分割为至少一个区域，针对区域，计算区域包含的目标定位点的密集程度；
[0022]根据密集程度，确定区域对应的目标权重，以根据目标权重确定铲斗对应的至少一个局部跟踪区域。
[0023]在本申请的一种实现方式中，根据运动轨迹的动作方向和轨迹曲率，预测局部跟踪区域的目标运动轨迹，具体包括：
[0024]确定运动轨迹包含的多个轨迹点以及多个轨迹点分别对应的轨迹曲率，以根据轨迹曲率生成相应的轨迹点数据序列；
[0025]按照运动轨迹的动作方向，从轨迹点数据序列中，确定轨迹曲率超过第二预设阈值的最后一个轨迹点为目标轨迹点；
[0026]以目标轨迹点为切点作切向线，根据切向线的方向，预测局部跟踪区域的目标运动轨迹。
[0027]在本申请的一种实现方式中，根据目标运动轨迹，对铲斗进行追踪，具体包括：
[0028]根据目标运动轨迹，确定局部跟踪区域的局部位移信息；
[0029]确定局部跟踪区域与铲斗之间的相对位置关系，相对位置关系表示第一区域中心与第二区域中心之间的偏移关系，第一区域中心对应局部跟踪区域，第二区域中心对应铲斗；
[0030]根据局部位移信息和相对位置关系，确定铲斗的全局位移信息，以通过全局位移信息，实现对铲斗的跟踪。
[0031]在本申请的一种实现方式中，通过设置于流机上的双目相机，获取流机的多帧作业图像之前，方法还包括：
[0032]生成流机的模拟视频流，并在模拟视频流上叠加若干等距网格；
[0033]按照等距网格与地表之间的距离，将地表作为起点，依次对等距网格进行局部增密，以得到局部增密后的网格图层；
[0034]获取地表高程数据，根据地表高程数据，确定距离流机预设范围内是否存在空间障碍物；
[0035]针对局部增密后的网格图层，对空间障碍物所属的网格进行局部降密，得到最终的网格图层。
[0036]在本申请的一种实现方式中，方法还包括：
[0037]根据作业图像，确定流机工作现场的料堆位置，并提取料堆对应的料堆轮廓；
[0038]对运动轨迹的切向线进行延伸，直至切向线与料堆相交；
[0039]确定切向线与料堆之间的多个交点，根据交点，在料堆轮廓上确定相应的作业区域；
[0040]将作业区域显示于网格图层中。
[0041]本申请实施例提供了一种基于双目相机的铲斗追踪设备，设备包括：
[0042]至少一个处理器；以及，
[0043]与至少一个处理器通信连接的存储器；其中，
[0044]存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：
[0045]按照预设的时间间隔，通过设置于流机上的双目相机，获取流机的多帧作业图像；
[0046]根据多帧作业图像之间的像素差值，对流机上的铲斗进行目标检测，并确定铲斗在不同帧作业图像下的目标定位点以及目标定位点对应的三维坐标；
[0047]确定铲斗对应的至少一个局部跟踪区域，局部跟踪区域为铲斗中未被遮挡的区域；
[0048]针对局部跟踪区域，连接不同帧作业图像下对应三维坐标相同的目标定位点，得到局部跟踪区域对应的运动轨迹；
[0049]根据运动轨迹的动作方向和轨迹曲率，预测局部跟踪区域的目标运动轨迹，以便于根据目标运动轨迹，对铲斗进行追踪。
[0050]本申请实施例提供了一种非易失性计算机存储介质，存储有计算机可执行指令，计算机可执行指令设置为：
[0051]按照预设的时间间隔，通过设置于流机上的双目相机，获取流机的多帧作业图像；
[0052]根据多帧作业图像之间的像素差值，对流机上的铲斗进行目标检测，并确定铲斗在不同帧作业图像下的目标定位点以及目标定位点对应的三维坐标；
[0053]确定铲斗对应的至少一个局部跟踪区域，局部跟踪区域为铲斗中未被遮挡的区域；
[0054]针对局部跟踪区域，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目相机的铲斗追踪方法，其特征在于，所述方法包括：按照预设的时间间隔，通过设置于流机上的双目相机，获取所述流机的多帧作业图像；根据所述多帧作业图像之间的像素差值，对所述流机上的铲斗进行目标检测，并确定所述铲斗在不同帧作业图像下的目标定位点以及所述目标定位点对应的三维坐标；确定所述铲斗对应的至少一个局部跟踪区域，所述局部跟踪区域为所述铲斗中未被遮挡的区域；针对所述局部跟踪区域，连接不同帧作业图像下对应三维坐标相同的所述目标定位点，得到所述局部跟踪区域对应的运动轨迹；根据所述运动轨迹的动作方向和轨迹曲率，预测所述局部跟踪区域的目标运动轨迹，以便于根据所述目标运动轨迹，对所述铲斗进行追踪。2.根据权利要求1所述的一种基于双目相机的铲斗追踪方法，其特征在于，根据所述多帧作业图像之间的像素差值，对所述流机上的铲斗进行目标检测，具体包括：针对所述多帧作业图像中任意相邻两帧的第一作业图像，对所述第一作业图像进行灰度，得到灰度后的第二作业图像；对所述第二作业图像中相同像元位置对应的像素值进行作差，并对作差后的结果取绝对值，得到所述像元位置之间的像素差值；根据所述像素差值与第一预设阈值之间的大小关系，确定所述像元位置的像元类型；所述像元类型包括前景像元和背景像元；遍历所述第二作业图像，根据所述像元类型确定所述铲斗对应的位置。3.根据权利要求2所述的一种基于双目相机的铲斗追踪方法，其特征在于，确定所述铲斗对应的至少一个局部跟踪区域，具体包括：根据所述前景像元，确定所述作业图像中的前景目标；所述前景目标包括所述铲斗和其他前景目标；确定所述其他前景目标与所述铲斗之间是否存在重叠部分，若存在，则从所述铲斗中去除所述重叠部分；对去除所述重叠部分后的所述铲斗进行区域分割，以得到所述铲斗对应的至少一个局部跟踪区域。4.根据权利要求3所述的一种基于双目相机的铲斗追踪方法，其特征在于，对去除所述重叠部分后的所述铲斗进行区域分割，具体包括：提取所述铲斗对应的轮廓，并在所述轮廓上标注出所述目标定位点；将所述轮廓分割为至少一个区域，针对所述区域，计算所述区域包含的目标定位点的密集程度；根据所述密集程度，确定所述区域对应的目标权重，以根据所述目标权重确定所述铲斗对应的至少一个局部跟踪区域。5.根据权利要求1所述的一种基于双目相机的铲斗追踪方法，其特征在于，根据所述运动轨迹的动作方向和轨迹曲率，预测所述局部跟踪区域的目标运动轨迹，具体包括：确定所述运动轨迹包含的多个轨迹点以及所述多个轨迹点分别对应的轨迹曲率，以根据所述轨迹曲率生成相应的轨迹点数据序列；按照所述运动轨迹的动作方向，从所述轨迹点数据序列中，确定所述轨迹曲率超过第
二预设阈值的最后一个轨迹点为目标轨迹点；以所述目标轨迹点为切点作切向线，根据所述切向线的方向，预测所述局部跟踪区域的目标运动轨迹。6.根据权利要求1所述的一种基于双目相机的铲斗追踪方法，其特征在于，根据所述目标运动轨迹，对所述铲斗进行追踪，具体包括：根据所述目标运动轨迹，确定所述局部跟踪区域的局部位移信息；确定所述局部跟...

【专利技术属性】
技术研发人员：张洪鑫，闫庆忠，刘佩鑫，崔光月，
申请(专利权)人：瑞诺济南动力科技有限公司，
类型：发明
国别省市：