一种机器人视觉跟踪方法及系统技术方案

本发明专利技术公开了一种机器人视觉跟踪方法及系统，所述方法包括：利用深度卷积神经网络，获取跟踪目标的感兴趣区域；确定机器人的当前位置信息和机器人的姿态信息；根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。本发明专利技术基于深度卷积神经网络和视觉SLAM技术进行目标识别和跟踪，能够提高其鲁棒性。

Robot vision tracking method and system

The invention discloses a robot visual tracking method and system, the method includes: using convolutional neural network, get the tracking target region of interest; attitude information of the current location information and determine the robot robot; according to the region of interest, the tracking target detection, to determine the current position information tracking; according to the current position information of the robot's current position information of the robot pose information and the target tracking, control the robot to track the target tracking. The present invention is based on depth convolution neural network and visual SLAM technology for target recognition and tracking, and can improve the robustness.

【技术实现步骤摘要】
一种机器人视觉跟踪方法及系统
本专利技术涉及机器人
，尤其涉及一种机器人视觉跟踪方法及系统。
技术介绍
在机器人应用当中，如何让机器人自动的跟踪目标进行运动和活动是人工智能领域的核心问题之一。目前，基于机器视觉的机器人目标跟踪算法主要有：方法一，基于子区域匹配的目标跟踪方法；方法二，基于卡尔曼滤波和粒子滤波的滤波性跟踪算法。好的跟踪算法应该要有很好的鲁棒性，而上述方法受外在条件和目标运动规律的限制，很难保证算法鲁棒性。其中，方法一基于颜色作为匹配特征，采用迭代的方法寻找当前帧中目标的可能位置，该方法快速高效，但是存在的问题是其对于光照条件十分敏感，当光线变化严重时，很难保证算法的鲁棒性；方法二是一种目前应用较广泛的目标跟踪方法，其基于线性高斯假设，能很有效地预测目标的线性运动。不过，当目标运动不再符合线性假设时，该方法所预测的目标位置往往会产生较大的偏差。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种机器人视觉跟踪方法及系统，基于深度卷积神经网络和视觉SLAM技术进行目标识别和跟踪，能够提高其鲁棒性。第一方面，本专利技术提供了一种机器人视觉跟踪方法，所述方法包括：利用深度卷积神经网络，获取跟踪目标的感兴趣区域；确定机器人的当前位置信息和机器人的姿态信息；根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。进一步地，所述利用深度卷积神经网络，获取跟踪目标的感兴趣区域，具体包括：采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像；对所述RGB通道图像进行预处理，输出感兴趣区域图像；将所述感兴趣区域图像输入深度卷积神经网络；从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。进一步地，所述对所述RGB通道图像进行预处理，输出感兴趣区域图像，具体包括：对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图；将所有特征图输入到用于预测兴趣区的子网络，并对所述特征图进行池化，输出所述感兴趣区域图像。进一步地，所述确定机器人的当前位置信息和机器人的姿态信息，具体包括：根据所述机器人在上一时刻的位置信息，初步确定所述机器人的当前位置信息；将所述感兴趣区域与所述语义地图进行特征匹配，进一步确定所述机器人的当前位置信息和所述机器人的姿态信息。进一步地，所述根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息，具体包括：识别所述感兴趣区域中包含的二维码，根据所述二维码检测所述跟踪目标；在检测到所述跟踪目标的情况下，根据所述感兴趣区域、所述机器人的位置信息和所述机器人的姿态信息，确定所述跟踪目标的当前位置信息。进一步地，所述根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息，具体包括：识别所述感兴趣区域中包含的二维码，根据所述二维码检测所述跟踪目标；在检测不到所述跟踪目标的情况下，根据所述机器人的姿态信息和所述语义地图，判断前方是否有遮挡物或路径转角；在确定有遮挡物或路径转角的情况下，更新场景地图，再次检测所述跟踪目标，并确定所述跟踪目标的当前位置信息。进一步地，所述根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪，具体包括：根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，制定相应的跟踪决策；根据所述跟踪决策，控制所述机器人对所述跟踪目标进行跟踪。第二方面，本专利技术还提供了一种机器人视觉跟踪系统，所述系统包括：区域获取模块，位姿确定模块，目标检测模块，控制模块；所述区域获取模块与所述位姿确定模块连接，所述位姿确定模块与所述目标检测模块连接，所述目标检测模块与所述控制模块连接；所述区域获取模块，用于利用深度卷积神经网络，获取跟踪目标的感兴趣区域；所述位姿确定模块，用于确定机器人的当前位置信息和机器人的姿态信息；所述目标检测模块，用于根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；所述控制模块，用于根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。进一步地，所述区域获取模块具体用于：采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像；对所述RGB通道图像进行预处理，输出感兴趣区域图像；将所述感兴趣区域图像输入深度卷积神经网络；从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。进一步地，所述区域获取模块包括图像处理单元；所述图像处理单元，用于对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图；对所述特征图进行兴趣区预测子网处理，并进行池化，输出所述感兴趣区域图像。由上述技术方案可知，本专利技术提供一种机器人视觉跟踪方法及系统，基于深度卷积神经网络和视觉SLAM技术进行目标识别和跟踪，能够提高其鲁棒性。附图说明图1示出了本专利技术提供的机器人视觉跟踪方法的流程示意图。图2示出了本专利技术提供的机器人视觉跟踪系统的结构示意图。具体实施方式下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只是作为示例，而不能以此来限制本专利技术的保护范围。实施例一图1示出了本专利技术实施例一提供的机器人视觉跟踪方法的流程示意图。如图1所示，所述方法包括：步骤S1，利用深度卷积神经网络，获取跟踪目标的感兴趣区域(ROI)；步骤S2，确定机器人的当前位置信息和机器人的姿态信息；步骤S3，根据所述感兴趣区域(ROI)，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；步骤S4，根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。本实施例的技术方案具体为：步骤S1，利用深度卷积神经网络，获取跟踪目标的感兴趣区域。优选地，所述步骤S1具体包括：首先，采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像，其大小保持原图大小；其次，对所述RGB通道图像进行预处理，输出感兴趣区域图像；再次，将所述感兴趣区域图像输入深度卷积神经网络；最后，从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。所述感兴趣区域中包含LandMark和跟踪标识。进一步优选地，对所述RGB通道图像进行预处理，输出感兴趣区域图像，具体包括：首先，对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图，该特征图的大小与原图大小对应，根据原图大小的不同而不同，但其维数始终固定在128维；其次，将所有特征图输入到用于预测兴趣区的子网络，并对所述特征图进行池化，输出所述感兴趣区域图像。该感兴趣区域图像，包含兴趣区矩形框相对于原图的左上角坐标、该矩形框的长度和宽度、以及该感兴趣区域图像的类别。其中，所述类别包括：包含LandMark的感兴趣区域图像，和包含跟踪标识的感兴趣区域图像。其中，深度卷积神经网络近年来在计算机视觉领域取得巨大的成果，其在目标识别、图像分类、目标检测、场景理解、图像语义分割等领域都中飞跃式的进步。经过深度卷积神经网络提取本文档来自技高网...

【技术保护点】
一种机器人视觉跟踪方法，其特征在于，所述方法包括：利用深度卷积神经网络，获取跟踪目标的感兴趣区域；确定机器人的当前位置信息和机器人的姿态信息；根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。

【技术特征摘要】
1.一种机器人视觉跟踪方法，其特征在于，所述方法包括：利用深度卷积神经网络，获取跟踪目标的感兴趣区域；确定机器人的当前位置信息和机器人的姿态信息；根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息；根据所述机器人的当前位置信息、所述机器人的姿态信息和所述跟踪目标的当前位置信息，控制机器人对所述跟踪目标进行跟踪。2.根据权利要求1所述的机器人视觉跟踪方法，其特征在于，所述利用深度卷积神经网络，获取跟踪目标的感兴趣区域，具体包括：采用RGBD相机，采集场景地图中当前帧场景图像的RGB通道图像；对所述RGB通道图像进行预处理，输出感兴趣区域图像；将所述感兴趣区域图像输入深度卷积神经网络；从所述深度卷积神经网络的所述感兴趣区域图像中获取所述感兴趣区域。3.根据权利要求2所述的机器人视觉跟踪方法，其特征在于，所述对所述RGB通道图像进行预处理，输出感兴趣区域图像，具体包括：对所述RGB通道图像进行卷积、非线性激活和池化，得到特征图；将所有特征图输入到用于预测兴趣区的子网络，并对所述特征图进行池化，输出所述感兴趣区域图像。4.根据权利要求1所述的机器人视觉跟踪方法，其特征在于，所述确定机器人的当前位置信息和机器人的姿态信息，具体包括：根据所述机器人在上一时刻的位置信息，初步确定所述机器人的当前位置信息；将所述感兴趣区域与所述语义地图进行特征匹配，进一步确定所述机器人的当前位置信息和所述机器人的姿态信息。5.根据权利要求1所述的机器人视觉跟踪方法，其特征在于，所述根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息，具体包括：识别所述感兴趣区域中包含的二维码，根据所述二维码检测所述跟踪目标；在检测到所述跟踪目标的情况下，根据所述感兴趣区域、所述机器人的位置信息和所述机器人的姿态信息，确定所述跟踪目标的当前位置信息。6.根据权利要求4所述的机器人视觉跟踪方法，其特征在于，所述根据所述感兴趣区域，对所述跟踪目标进行检测，确定所述跟踪目标的当前位置信息，具体包括：识别所述感兴趣区域...

【专利技术属性】
技术研发人员：张绍明，
申请(专利权)人：杭州司兰木科技有限公司，
类型：发明
国别省市：浙江,33