一种基于视觉跟踪的AGV运动控制方法、装置及介质制造方法及图纸

本发明专利技术涉及AGV技术领域，具体涉及一种基于视觉跟踪的AGV运动控制方法、装置及介质，方法包括：在AGV进行目标跟踪过程中采集AGV周围的视频流；从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度；控制AGV以跟踪目标在下一时刻的运动速度控制行驶；本发明专利技术通过提前预判运行速度实现实时跟随，满足实际应用中的实时性需求。满足实际应用中的实时性需求。满足实际应用中的实时性需求。

【技术实现步骤摘要】
一种基于视觉跟踪的AGV运动控制方法、装置及介质


[0001]本专利技术涉及AGV
，具体涉及一种基于视觉跟踪的AGV运动控制方法、装置及介质。

技术介绍

[0002]基于ROS(Robot Operating System，机器人操作系统)，AGV能通过采集到的图像，简便高效地实现对目标距离和角度的估计，并保持一定的安全距离，在办公、巡检、迎宾、工业物流等场景有广泛的应用价值。
[0003]现有技术中，采用视觉定位跟踪时，由于受外界条件影响，存在目标定位追踪的精度不高，时延较大，跟随性不好等问题。
[0004]因此，为满足AGV在实际应用中的实时性需求，有必要对现有的AGV视觉跟踪方式进行改进，以提高其实时性。

技术实现思路

[0005]本专利技术目的在于提供一种基于视觉跟踪的AGV运动控制方法、装置及介质，以解决现有技术中所存在的一个或多个技术问题，至少提供一种有益的选择或创造条件。
[0006]为了实现上述目的，本专利技术提供以下技术方案：
[0007]第一方面，本专利技术实施例提供了一种基于视觉跟踪的AGV运动控制方法，所述方法包括以下步骤：
[0008]在AGV进行目标跟踪过程中采集AGV周围的视频流；
[0009]从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度；
[0010]控制AGV以跟踪目标在下一时刻的运动速度控制行驶。
[0011]进一步，所述从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度，包括：
[0012]从所述视频流中提取得到最新采集的3帧连续的图像；
[0013]对每帧图像分别进行连通域识别，确定每帧图像中的多个连通域；
[0014]对于每帧图像，根据训练好的目标检测模型生成图像的预测框，确定与所述图像的预测框匹配的连通域，在该连通域对应的图像区域中确定n个关键点；其中，n为自然数；关键点包括角点、边缘点；
[0015]根据前两帧图像的采集时间间隔及前两帧图像中n个关键点的位置偏差确定跟踪目标在当前时刻的运动速度；
[0016]根据跟踪目标的运动速度预测跟踪目标的在第三帧图像中对应的关键点所在的预测位置；
[0017]根据跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三帧图像中对应的关键点所在的位置确定跟踪目标的速度偏差，根据所述速度偏差调整
所述跟踪目标在当前时刻的运动速度，得到跟踪目标在下一时刻的运动速度。
[0018]进一步，所述确定与所述图像的预测框匹配的连通域，在该连通域对应的图像区域中确定n个关键点，包括：
[0019]确定与所述图像的预测框匹配的连通域的最小外接框；
[0020]确定所述最小外接框与所述预测框的大小偏差是否在设定的大小阈值范围内；
[0021]确定大小偏差在设定的大小阈值范围内的最小外接框对应的连通域；
[0022]遍历所述连通域中的每个像素点，确定每个像素点的梯度值，将梯度值最大的n/2个像素点作为角点，将相邻角点之间梯度值最大的像素点作为边缘点，得到n/2个边缘点；
[0023]将n/2个角点和n/2个边缘点形成集合，共得到n个关键点。
[0024]进一步，所述根据前两帧图像的采集时间间隔及前两帧图像中n个关键点的位置偏差确定跟踪目标在当前时刻的运动速度，包括：
[0025]分别确定前两帧图像中n个关键点的最小外接框；
[0026]若前两帧图像中n个关键点的最小外接框的重叠部分面积大于最小外接框的0.6倍，则计算前两帧图像对应的2个最小外接矩形的中心的矢量差，作为运动目标的位移；
[0027]将运动目标的位移和前两帧图像的采集时间间隔之比作为跟踪目标在当前时刻的运动速度。
[0028]进一步，所述根据跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三帧图像中对应的关键点所在的位置确定跟踪目标的速度偏差，根据所述速度偏差调整所述跟踪目标在当前时刻的运动速度，得到跟踪目标在下一时刻的运动速度，包括：
[0029]计算跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三帧图像中对应的关键点所在的位置的位移偏差；
[0030]将所述位移偏差与第一帧图像和第三帧图像的采集时间间隔之比作为速度偏差；
[0031]将所述速度偏差与所述跟踪目标在当前时刻的运动速度进行矢量计算，得到跟踪目标在下一时刻的运动速度。
[0032]第二方面，本专利技术实施例还提供了一种基于视觉跟踪的AGV运动控制装置，所述装置包括：
[0033]至少一个处理器；
[0034]至少一个存储器，用于存储至少一个程序；
[0035]当所述至少一个程序被所述至少一个处理器执行，使得所述至少一个处理器实现如第一方面所述的基于视觉跟踪的AGV运动控制方法。
[0036]第三方面，本专利技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有基于视觉跟踪的AGV运动控制程序，所述基于视觉跟踪的AGV运动控制程序被处理器执行时实现如第一方面所述的基于视觉跟踪的AGV运动控制方法的步骤。
[0037]本专利技术的有益效果是：本专利技术公开一种基于视觉跟踪的AGV运动控制方法、装置及介质，本专利技术针对AGV运动过程中容易受外界条件影响，导致目标追踪精度不高，时延较大，跟随性不好等问题，基于跟踪目标在最新采集得到的连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度，从而实时确定跟踪目标在下一时刻的运动速度，通过按实时预测的运动速度行驶，通过提前预判运行速度实现实时跟随，满足实际应用中的实时性需
求。
附图说明
[0038]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0039]图1是本专利技术实施例中基于视觉跟踪的AGV运动控制方法的流程示意图；
[0040]图2是本专利技术实施例中基于视觉跟踪的AGV运动控制装置的结构示意图。
具体实施方式
[0041]以下将结合实施例和附图对本申请的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本申请的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
[0042]参阅图1，图1是本申请提供的一种基于视觉跟踪的AGV运动控制方法的流程示意图，所述方法包括以下步骤：
[0043]步骤S100，在AGV进行目标跟踪过程中采集AGV周围的视频流；
[0044]步骤S200，从所述视频流中提取最新采集得本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉跟踪的AGV运动控制方法，其特征在于，所述方法包括以下步骤：在AGV进行目标跟踪过程中采集AGV周围的视频流；从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度；控制AGV以跟踪目标在下一时刻的运动速度控制行驶。2.根据权利要求1所述的一种基于视觉跟踪的AGV运动控制方法，其特征在于，所述从所述视频流中提取最新采集得到的连续相邻帧图像，基于跟踪目标在所述连续相邻帧中所对应的位置确定跟踪目标在下一时刻的运动速度，包括：从所述视频流中提取得到最新采集的3帧连续的图像；对每帧图像分别进行连通域识别，确定每帧图像中的多个连通域；对于每帧图像，根据训练好的目标检测模型生成图像的预测框，确定与所述图像的预测框匹配的连通域，在该连通域对应的图像区域中确定n个关键点；其中，n为自然数；关键点包括角点、边缘点；根据前两帧图像的采集时间间隔及前两帧图像中n个关键点的位置偏差确定跟踪目标在当前时刻的运动速度；根据跟踪目标的运动速度预测跟踪目标的在第三帧图像中对应的关键点所在的预测位置；根据跟踪目标的在第三帧图像中对应的关键点所在的预测位置与跟踪目标的在第三帧图像中对应的关键点所在的位置确定跟踪目标的速度偏差，根据所述速度偏差调整所述跟踪目标在当前时刻的运动速度，得到跟踪目标在下一时刻的运动速度。3.根据权利要求2所述的一种基于视觉跟踪的AGV运动控制方法，其特征在于，所述确定与所述图像的预测框匹配的连通域，在该连通域对应的图像区域中确定n个关键点，包括：确定与所述图像的预测框匹配的连通域的最小外接框；确定所述最小外接框与所述预测框的大小偏差是否在设定的大小阈值范围内；确定大小偏差在设定的大小阈值范围内的最小外接框对应的连通域；遍历所述连通域中的每个像素点，确定每个像素点的梯度值，将梯度值最大的n/2个像素点作为角点，将相邻角点之间梯度值最大的...

【专利技术属性】
技术研发人员：吴凌云，何志雄，陈志满，
申请(专利权)人：广东天太机器人有限公司，
类型：发明
国别省市：