一种基于深度学习的智能机器人视觉跟踪方法技术

本发明专利技术公开了一种基于深度学习的智能机器人视觉跟踪方法，包括如下步骤：机器人通过云台CCD摄像机获得原始图像，机器人进行采集图像、数字图像、预处理图像和动态目标的识别，通过云台CCD摄像机进行连续拍摄，通过对连续图像帧序列中的运动目标进行检测，提取其特征，并标注标签，完成目标识别。该基于深度学习的智能机器人视觉跟踪方法，通过在MeanShift目标跟踪算法的基础上来实现顺序迭代实现动态目标的跟踪，形成的CamShift目标跟踪算法可以在动态环境下机器人对运动目标的识别与跟踪，实现了动态图像目标识别功能，高了系统跟踪的准确性和实时性，并通过机器人自主学习动态目标的运动。态目标的运动。态目标的运动。

【技术实现步骤摘要】
一种基于深度学习的智能机器人视觉跟踪方法


[0001]本专利技术涉及智能机器人
，具体为一种基于深度学习的智能机器人视觉跟踪方法。

技术介绍

[0002]随着工业4.0时代的到来，机器人在工业生产领域已得到广泛应用，代替了大量人工完成生产线上的工作，提高了企业的生产效率和降低了人力成本，基于机器人视觉对运动目标进行识别与跟踪是机器人
的研究热点之一，智能机器人具备形形色色的内部信息传感器和外部信息传感器，如视觉、听觉、触觉、嗅觉，除具有感受器外，它还有效应器，作为作用于周围环境的手段，一般机器人是指不具有智能，只具有一般编程能力和操作功能的机器人。
[0003]视觉跟踪是指对图像序列中的运动目标进行检测、提取、识别和跟踪，获得运动目标的运动参数，如位置、速度、加速度和运动轨迹等，从而进行下一步的处理与分析，实现对运动目标的行为理解，以完成更高一级的检测任务，智能机器人在对目标物进行视觉跟踪可以实现对目标物加工操作的持续监控、检测和后续的修正，可以有效的提高智能机器人加工的精度。
[0004]为了实现智能机器人对目标物的视觉跟踪和深度学习，中国专利“基于深度学习的智能机器人视觉跟踪方法”(专利号：201810485686.6)，结合基于Caffe框架的GOTURN算法，使得整体跟踪情况在光照变化剧烈的条件下能够有较强的适应性，GOTURN算法通过离线训练从大量的本地视频中获取特征，并且在单通道反馈的条件下可达100FPS的帧率，完全满足实时性要求。
[0005]但是，上述专利中的智能机器人视觉跟踪方法通过规避光照对视觉跟踪的影响来达到跟踪目标对象的效果，由于GOTURN算法需要通过大量的本地视频获取目标物的特征，对数据要求量大，特征提起步骤也较为繁琐，目标物动态识别和跟踪难以在动态环境下进行实现，跟踪的准确性和实时性较差。

技术实现思路

[0006]本专利技术的目的在于提供一种基于深度学习的智能机器人视觉跟踪方法，以解决上述
技术介绍
中提出由于GOTURN算法需要通过大量的本地视频获取目标物的特征，对数据要求量大，特征提起步骤也较为繁琐，目标物动态识别和跟踪难以在动态环境下进行实现，跟踪的准确性和实时性较差的问题。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种基于深度学习的智能机器人视觉跟踪方法，包括如下步骤：
[0008]步骤一：机器人通过云台CCD摄像机获得原始图像，机器人进行采集图像、数字图像、预处理图像和动态目标的识别，通过云台CCD摄像机进行连续拍摄，通过对连续图像帧序列中的运动目标进行检测，提取其特征，并标注标签，完成目标识别；
[0009]步骤二：机器人对目标进行跟踪，先获得运动目标的速度、位置、位移量、运动路径等数据，经过进一步的处理和分析，完成对目标目标的行为理解，从而实现对目标的跟踪；
[0010]步骤三：通过图像分割算法将目标从图像中分离提取出来；
[0011]步骤四：通过摄像机对标定模型的确定；
[0012]步骤五：对运动目标的特征进行提取，对图像帧中与背景(通常是静止状态)存在相对运动的前景进行检测和提取，根据纹理、灰度、边缘等特征将运动前景进一步分割成若干个独立目标，提取目标的流程如说明书附图1所示；
[0013]步骤七：对目标进行跟踪算法，将MeanShift算法扩展到视频(连续图像帧)，就是将视频图像中的全部帧做MeanShift运算，并将上一帧的结果作为下一帧MeanShift算法的初始值，依此顺序迭代就实现了动态目标跟踪，形成CamShif算法；
[0014]步骤八：学习记录运动特征并进行储存(通过数据存储器存储)。
[0015]优选的，所述步骤四中的标定模型确定方式具体为：手持摄像机以近距离目标跟踪为例，首先通过手持摄像头的标定方法，测出其所拍摄图像的6个特殊位置点(O，0)、(0，V/2)、(0，V)、(U/2，0)、(U/2，，V/2)、(U/2，V)离摄像设备的实际距离为r，考虑图像的对称性，(U，0)、(U，V/2)和(U，V)位置点可以不用测量。
[0016]优选的，所述步骤一中的机器人由一个云台CCD摄像机、一个视频采集卡、一台主机和数据存储器组成，所述云台CCD摄像机通过视频采集卡与PCI总线相连，能够对云台实现变焦、转向等控制。
[0017]优选的，所述步骤七中的MeanShift算法中的mean为均值，shift为偏移，简单的说，也就是有一个点，它的周围有很多个点，我们计算点移动到每个点所需要的偏移量之和，求平均，就得到平均偏移量，(该偏移量的方向是周围点分布密集的方向)该偏移量是包含大小和方向的，然后点就往平均偏移量方向移动，再以此为新的起点不断迭代直到满足一定条件结束，如说明书附图4所示。
[0018]优选的，所述步骤一和步骤四中的云台CCD摄像机在识别某区域目标时，云台CCD摄像机标定只涉及两个主要的内部参数，即水平方向的比例系数P和垂直方向的比例系数P。
[0019]优选的，所述步骤三中的图像分割算法基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法，从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程，图像分割的过程也是一个标记过程，即把属于同一区域的像素赋予相同的编号。
[0020]优选的，所述步骤八中当运动目标以记录的运动特征循环反复的运动时，可以关闭机器人视觉跟踪，通过记录存储的运动特征来控制摄像机的拍摄，从而实现持续性的跟踪。
[0021]优选的，所述步骤七中的MeanShift算法是在给定反向投影和初始搜索窗口位置的情况下，用迭代方法寻找目标中心，包括目标直方图的反向投影、初始搜索窗口、确定窗口搜索停止的准则和生成的结构，包含收敛的搜索窗口坐标与窗口内部所有像素点的和。
[0022]与现有技术相比，本专利技术的有益效果是：该基于深度学习的智能机器人视觉跟踪方法，通过在MeanShift目标跟踪算法的基础上来实现顺序迭代实现动态目标的跟踪，形成的CamShift目标跟踪算法可以在动态环境下机器人对运动目标的识别与跟踪，实现了动态
图像目标识别功能，高了系统跟踪的准确性和实时性，并通过机器人自主学习动态目标的运动特性，并记录存储运动特征来控制摄像机的拍摄，从而实现持续性的跟踪，视觉跟踪方法简单，对数据需求量低，保证视觉跟踪方法的使用的便捷。
附图说明
[0023]图1为本专利技术提取目标的流程图；
[0024]图2为本专利技术图像标定示意图；
[0025]图3为本专利技术图像坐标系转换示意图；
[0026]图4为本专利技术MeanShift算法示意图。
具体实施方式
[0027]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的智能机器人视觉跟踪方法，其特征在于：包括如下步骤：步骤一：机器人通过云台CCD摄像机获得原始图像，机器人进行采集图像、数字图像、预处理图像和动态目标的识别，通过云台CCD摄像机进行连续拍摄，通过对连续图像帧序列中的运动目标进行检测，提取其特征，并标注标签，完成目标识别；步骤二：机器人对目标进行跟踪，先获得运动目标的速度、位置、位移量、运动路径等数据，经过进一步的处理和分析，完成对目标目标的行为理解，从而实现对目标的跟踪；步骤三：通过图像分割算法将目标从图像中分离提取出来；步骤四：通过摄像机对标定模型的确定；步骤五：对运动目标的特征进行提取，对图像帧中与背景(通常是静止状态)存在相对运动的前景进行检测和提取，根据纹理、灰度、边缘等特征将运动前景进一步分割成若干个独立目标，提取目标的流程如说明书附图1所示；步骤七：对目标进行跟踪算法，将MeanShift算法扩展到视频(连续图像帧)，就是将视频图像中的全部帧做MeanShift运算，并将上一帧的结果作为下一帧MeanShift算法的初始值，依此顺序迭代就实现了动态目标跟踪，形成CamShif算法；步骤八：学习记录运动特征并进行储存(通过数据存储器存储)。2.根据权利要求1所述的一种基于深度学习的智能机器人视觉跟踪方法，其特征在于：所述步骤四中的标定模型确定方式具体为：手持摄像机以近距离目标跟踪为例，首先通过手持摄像头的标定方法，测出其所拍摄图像的6个特殊位置点(O，0)、(0，V/2)、(0，V)、(U/2，0)、(U/2，，V/2)、(U/2，V)离摄像设备的实际距离为r，考虑图像的对称性，(U，0)、(U，V/2)和(U，V)位置点可以不用测量。3.根据权利要求1所述的一种基于深度学习的智能机器人视觉跟踪方法，其特征在于：所述步骤一中的机器人由一个云台CCD摄像机、一个视频采集卡、一台主机和数据存储器组成，所述云台...

【专利技术属性】
技术研发人员：赵俊涛，罗小川，王鑫，王伟超，
申请(专利权)人：东北大学，
类型：发明
国别省市：