一种用于移动机器人目标测距的检测目标匹配方法组成比例

本发明专利技术涉及一种用于移动机器人目标测距的检测目标匹配方法，该方法先使用双目相机采集图像，并用已训练完成的深度学习训练模型对左、右图像进行检测，在左图像中随机选择一个检测目标，并与右图像中的检测目标进行种类识别，若识别到，则确定在实际空间内为同一物体，并用视差法算出该物体的深度距离，然后判断该检测目标是否为最后一个检测目标，若不是，取下一个检测目标重复上述步骤，若未识别，则直接跳转至判断步骤。本发明专利技术不仅能够实现双目相机获得图像并进行目标检测处理之后的左图像和右图像中检测目标的自动匹配，而且还具备深度学习目标检测的快速性，能够实现自动匹配检测目标，便于处理设备自动测量检测目标深度。

A Detection Target Matching Method for Mobile Robot Target Ranging

【技术实现步骤摘要】
一种用于移动机器人目标测距的检测目标匹配方法
本专利技术涉及机器人领域，具体为一种用于移动机器人目标测距的检测目标匹配方法。
技术介绍
近年来，随着科学技术的飞速发展，移动机器人已经应用到我们生产、生活的各个领域，成为了最活跃和最具发展潜力的技术之一。其中，障碍物的检测是移动机器人研究的一个热点问题。为了实现导航功能,机器人在避障之前需要检测出与环境中阻碍行驶的物体之间的相对距离。目前，常见的检测方法有：超声波测距、激光脉冲测距、红外测距、光学测距以及立体视觉测距等。超声、激光、红外等装置通过测量发射源发射与返回之间的时间差来计算被测物体与传感器之间的距离，称之为主动法。主动法测距比较方便、迅速，计算较为简单，因此在实时控制上得到了广泛的应用。但是发射和接收设备价格昂贵，成本较高，而且反射、噪音、交叉等环境问题难于避免，主动法测距不具有普遍应用性。相比之下，由于视觉传感器具有信息丰富、探测距离广等诸多优点，在移动机器人导航特别是实现障碍物检测中的应用越来越广泛。同时长时间以来，基于深度学习的目标检测在工业生产、自主驾驶、视频监控、图像检索、人机交互等多个领域都有着广泛应用，且基于深度学习的目标检测技术可以高效的进行实时图像目标检测。而双目视觉可以通过视差法获得左右图像中匹配点的深度。但是，在实际的工程应用中移动机器人检测到障碍物时，并不需要测量出障碍物上任何一点的深度距离信息，无论是哪种测距方法都无法全面测量障碍物上任意一点的深度信息，因此只需要测量障碍物上代表性部位的深度距离信息，就可以为移动机器人判断障碍物的位置提供参考信息。故可以将深度学习算法检测到的检测目标识别框中心点的作为整个障碍物的代表性部位，进而通过匹配左、右图像中相同检测目标的识别框，利用视差法可以测算检测目标识别框中心点深度。如何对左、右图像中相同检测目标的识别框进行匹配就是一个关键性问题，因此，本专利技术公开了一种用于移动机器人目标测距的检测目标匹配方法。专利[CN109544633A；201710867746.6]公开了一种目标测距方法，该方法利用单目相机拍摄得到交通目标，通过读取单目相机的内参和外参，并从预设的标准中读取交通目标的尺寸，然后计算交通目标与基准目标的距离。该专利方法并未提及交通目标如何选取和确定，如果对于新的场景，新的图像，多个图像目标情况下的目标测距并不适用。专利[CN109212540A；201811062793.4]公开了一种基于激光雷达系统的测距方法，通过接收激光雷达系统的多个激光雷达测量获得的测距数据，建立三维坐标模型，确定目标无人驾驶设备与各障碍物之间的距离，相对于现有技术中的通过单激光雷达进行视觉图像算法的测距校准的方式来说，可实现距离范围更大的测距校准任务，但并不能对单个障碍物进行种类识别，也无法将各个障碍物区别开来，只能检测到障碍物。专利[CN109029363A；201810562681.9]公开了一种基于深度学习的目标测距方法，建立不同距离下的目标数据库，搭建目标测距模型，设计目标测距模型的损失函数，设计目标测距模型的训练方法，测试训练好的目标测距模型。将目标测距问题转化为回归问题融入目标检测算法模型，从而在一个算法模型中实现目标检测与目标测距。但是在该专利权利要求3中提到对获得的单帧图像利用标定工具进行人工标定，标定内容包括：被检测目标的边界框中心点坐标(x,y)、被检测目标的边界框宽度w和高度h、被检测目标的边界框类别信息c和被检测目标距离摄像机的距离信息L。上述标定的内容需要人工完成，对于所述目标数据库如果数据量很大时，人工标定是不现实的，ImageNet对图像数据集的标注的任务量之大就足以说明，在深度学习和人工智能方面数据库的人工建立是很消耗人力、物力、财力的；同时，该专利技术专利使用普通单目摄像机获得图像进行深度信息计算本身就不如双目相机计算深度信息更为准确。
技术实现思路
为了解决上述
技术介绍
中所提到的问题，本专利技术提出了一种用于移动机器人目标测距的检测目标匹配方法。本专利技术所要解决的技术问题采用以下技术方案来实现：一种用于移动机器人目标测距的检测目标匹配方法，包括如下步骤：(1)使用双目相机采集图像；(2)建立并训练深度学习训练模型，根据已训练完成的深度学习训练模型对左、右图像同时进行目标检测；(3)获得左图像中检测目标为A1，A2，A3，…，An-1，An和右图像中检测目标为B1，B2，B3，…，Bm-1，Bm，随机选取左图像中的一个检测目标，将其记为Ai；(4)将检测目标Ai与右图像中的检测目标B1，B2，B3，…，Bm-1，Bm进行种类识别，若未识别到与检测目标Ai种类相同的检测目标时，直接跳转至步骤(7)中；若识别到与检测目标Ai种类相同的检测目标时，进行步骤(5)；(5)与检测目标Ai种类相同的检测目标为一个或一个以上，若检测目标为一个时，直接匹配成功，若为一个以上时，通过比较检测目标Ai的边界框中心点坐标与各个检测目标的边界框中心点坐标之间的距离，选出一个距离检测目标Ai边界框中心点坐标较近的检测目标，将与检测目标Ai匹配的检测目标记为Bj；(6)左图像中的检测目标Ai与右图像中的检测目标Bj匹配成功后，确定检测目标Ai与检测目标Bj为在实际空间中的同一物体，将其记为Ci,并让通过视差法计算出物体Ci的深度距离，将其记为Zi；(7)判断此时i是否大于等于n，若i大于等于n，则结束本算法流程，若i不大于等于n，则将i+1赋值给i，重新跳转到(4)中继续执行，直至i大于等于n时停止。步骤(3)中检测目标Ai中的i初始值为1，且为正整数。作为本专利技术的进一步改进，步骤(2)中深度学习训练模型的建立训练步骤如下：(一)收集步骤(1)中采集的图像数据，构成图像数据集；(二)选取现有技术成熟的深度学习框架；(三)使用选取的深度学习框架训练步骤(1)中的图像数据集；(四)获得用于处理采集图像数据的深度学习训练模型。作为本专利技术的另一种改进，步骤(2)中深度学习训练模型的建立训练步骤如下：(A)收集步骤(1)中采集的图像数据，构成图像数据集；(B)建立深度学习神经网络框架；(C)预先训练深度学习神经网络框架，获得自己的深度学习框架；(D)使用已训练完成的深度学习框架训练步骤(1)中的图像数据集；(E)获得用于处理采集图像数据的深度学习训练模型。本专利技术的有益效果是：本专利技术不仅能够实现双目相机获得图像并进行目标检测处理之后的左图像和右图像中检测目标的自动匹配，而且还具备深度学习目标检测的快速性，能够实现自动匹配检测目标，便于处理设备自动测量检测目标深度。附图说明下面结合附图和实施例对本专利技术进一步说明：图1为本专利技术的流程示意图；图2为本专利技术中深度学习训练模型建立流程图；图3为本专利技术中双目相机获得的原始图像示意图；图4为本专利技术中目标检测结果示意图；图5为本专利技术中左图像检测目标示意图；图6为本专利技术中右图像检测目标示意图。具体实施方式为了使本专利技术实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合附图以及实施例对本专利技术进一步阐述。一种用于移动机器人目标测距的检测目标匹配方法，包括如下步骤：(1)首先将双目相机与笔记本电脑相连，将笔记本安装在移动机器人上，然后相机采集机器人前方的实时图像，如图3本文档来自技高网...

【技术保护点】
1.一种用于移动机器人目标测距的检测目标匹配方法，其特征在于：包括如下步骤：(1)使用双目相机采集图像；(2)建立并训练深度学习训练模型，根据已训练完成的深度学习训练模型对左、右图像同时进行目标检测；(3)获得左图像中检测目标为A1，A2，A3，…，An‑1，An和右图像中检测目标为B1，B2，B3，…，Bm‑1，Bm，随机选取左图像中的一个检测目标，将其记为Ai；(4)将检测目标Ai与右图像中的检测目标B1，B2，B3，…，Bm‑1，Bm进行种类识别，若未识别到与检测目标Ai种类相同的检测目标时，直接跳转至步骤(7)中，若识别到与检测目标Ai种类相同的检测目标时，进行步骤(5)；(5)与检测目标Ai种类相同的检测目标为一个或一个以上，若检测目标为一个时，直接匹配成功，若为一个以上时，通过比较检测目标Ai的边界框中心点坐标与各个检测目标的边界框中心点坐标之间的距离，选出一个距离检测目标Ai边界框中心点坐标较近的检测目标，将与检测目标Ai匹配的检测目标记为Bj；(6)所述左图像中的检测目标Ai与右图像中的检测目标Bj匹配成功后，确定检测目标Ai与检测目标Bj为在实际空间中的同一物体，将其记为Ci,并让通过视差法计算出物体Ci的深度距离，将其记为Zi；(7)判断此时i是否大于等于n，若i大于等于n，则结束本算法流程，若i不大于等于n，则将i+1赋值给i，重新跳转到(4)中继续执行，直至i大于等于n时停止。...

【技术特征摘要】
1.一种用于移动机器人目标测距的检测目标匹配方法，其特征在于：包括如下步骤：(1)使用双目相机采集图像；(2)建立并训练深度学习训练模型，根据已训练完成的深度学习训练模型对左、右图像同时进行目标检测；(3)获得左图像中检测目标为A1，A2，A3，…，An-1，An和右图像中检测目标为B1，B2，B3，…，Bm-1，Bm，随机选取左图像中的一个检测目标，将其记为Ai；(4)将检测目标Ai与右图像中的检测目标B1，B2，B3，…，Bm-1，Bm进行种类识别，若未识别到与检测目标Ai种类相同的检测目标时，直接跳转至步骤(7)中，若识别到与检测目标Ai种类相同的检测目标时，进行步骤(5)；(5)与检测目标Ai种类相同的检测目标为一个或一个以上，若检测目标为一个时，直接匹配成功，若为一个以上时，通过比较检测目标Ai的边界框中心点坐标与各个检测目标的边界框中心点坐标之间的距离，选出一个距离检测目标Ai边界框中心点坐标较近的检测目标，将与检测目标Ai匹配的检测目标记为Bj；(6)所述左图像中的检测目标Ai与右图像中的检测目标Bj匹配成功后，确定检测目标Ai与检测目标Bj为在实际空间中的同一物体，将其记为Ci,并让通过视差法计算出物体Ci的深度...

【专利技术属性】
技术研发人员：许德章，王毅恒，汪步云，汪志红，许曙，王智勇，
申请(专利权)人：安徽工程大学，
类型：发明
国别省市：安徽,34