基于深度学习和模板匹配的双目摄像头测距方法及终端技术

本发明专利技术公开了基于深度学习和模板匹配的双目摄像头测距方法及终端，属于扫地机器人技术领域，包括：将双目摄像头采集的对应两幅图像进行极线约束处理；对其中一摄像头采集的图像进行目标检测处理，得到目标框，并作为模板；以另一摄像头采集的图像为目标图，基于目标框位置范围在目标图中水平搜索模板，得到模板在目标图的位置，并计算视差；将视差转为三维坐标，得到目标物体的距离信息

【技术实现步骤摘要】
基于深度学习和模板匹配的双目摄像头测距方法及终端


[0001]本专利技术涉及扫地机器人
，尤其涉及一种基于深度学习和模板匹配的双目摄像头测距方法及终端
。

技术介绍

[0002]扫地机器人激光雷达下方即为机器人的盲区，在家居环境中，狗盆
、
袜子
、
电线等高度低于激光雷达的物体统称为小物体，小物体的存在使机器人无法正常避障，极易缠绕物体导致机器人损坏，一般通过双目摄像头测距解决激光雷达盲区检测问题
。
[0003]双目摄像头的使用是为了测量目标物体的距离，传统的测距方法方法可以分为稀疏点测距和稠密点测距
。
其中，稀疏立体匹配方法主要针对左右图的特征点进行匹配，特征点的提取方法主要有
SIFT、SURF、ORB
，通过左右图检测的特征点进行特征点匹配，对于匹配的一对特征点计算视差，再通过视差和重映射矩阵
(
相机标定得到
)
转为空间坐标，然而稀疏点匹配的主要问题是这些特征点并不一定能在目标物体上被检测出，因此存在漏检问题
。
稠密的立体匹配算法有
AD_Census、BM、SGBM
等，它们是对整幅图像的视差计算，将视差转为空间坐标，因此能够得到图像中每一个点对应的空间坐标，其中
SGBM
的计算速度与精度较平衡，尽管
SGBM
有一个较快的速度，但在
RK3566
平台上，处理一对
640*480r/>像素的图像需要
500ms
，实时性较难满足
。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的问题，提供了一种基于深度学习和模板匹配的双目摄像头测距方法及终端
。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种基于深度学习和模板匹配的双目摄像头测距方法，该方法包括以下步骤：
[0006]将双目摄像头采集的对应两幅图像进行极线约束处理，使得相同的空间点在两幅图像处于同一水平线；
[0007]根据目标检测算法对其中一摄像头采集的图像进行目标检测处理，得到目标框，将目标框作为模板；
[0008]以另一摄像头采集的图像为目标图，基于目标框位置范围在目标图中水平搜索模板，得到模板在目标图的位置，并计算视差；
[0009]将视差转为三维坐标，得到目标物体的距离信息
、
起始角和终止角
。
[0010]在一示例中，所述目标检测算法为
YOLO
目标检测算法或
SSD
目标检测算法
。
[0011]在一示例中，所述计算视差包括：
[0012]将目标图中一特征点映射至另一摄像头采集的对应图像中相同位置，得到投影点，得到视差
d
：
[0013]d
＝
x
L
‑
x
R
[0014]其中，
x
L
表示在像素坐标系下沿
Nx
轴的坐标；
x
R
表示在像素坐标系下沿
N
′
x
′
轴的坐
标
。
[0015]在一示例中，计算目标物体的距离信息包括：
[0016]利用重映射矩阵
、
视差计算得到目标物体的空间位置信息，进而计算得到目标物体的水平距离
。
[0017]在一示例中，所述起始角
α1的计算表达式为：
[0018][0019]终止角
α2的计算表达式为：
[0020][0021]其中，
X1、X2分别为目标框的起始像素横坐标
、
终止像素横坐标；
w0表示相机的中心横坐标；
f
表示焦距
。
[0022]在一示例中，所述方法还包括相较标定步骤，包括：
[0023]双目摄像头拍摄若干包括棋盘格标定的图片；
[0024]将包含棋盘格的图片送入立体相机标定工具箱，得到重映射矩阵
、
内外参矩阵和畸变矩阵，以进行立体矫正
。
[0025]需要进一步说明的是，上述方法各示例对应的技术特征可以相互组合或替换构成新的技术方案
。
[0026]本专利技术还包括一种存储介质，其上存储有计算机指令，所述计算机指令运行时执行上述任一示例或多个示例组成形成的所述的基于深度学习和模板匹配的双目摄像头测距方法的步骤
。
[0027]本专利技术还包括一种终端，包括存储器和处理器，所述存储器上存储有可在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行上述任一示例或多个示例形成的所述的基于深度学习和模板匹配的双目摄像头测距方法的步骤
。
[0028]与现有技术相比，本专利技术有益效果是：
[0029]本专利技术基于极线约束的作用，对模板的搜索范围能够被限制在同一极线上，使搜索范围由全局变为局部，相当于提出了大量错误的候选集，搜索耗时也将大幅度下降，大大提高了图像处理速度，能够满足实时性检测要求；同时，模板匹配过程中考虑的是物体整体信息，是基于块与块之间的匹配，能有效避免缺失特征点的问题，不会出现漏检的问题
。
附图说明
[0030]下面结合附图对本专利技术的具体实施方式作进一步详细的说明，此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，在这些附图中使用相同的参考标号来表示相同或相似的部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定
。
[0031]图1为本专利技术一示例中的方法流程图；
[0032]图2为本专利技术一示例中图片矫正前后对照图，其中图
2(a)
为矫正前，图
2(b)
为矫正后；图
2(c)
为图
2(a)
相机坐标原理图；图
2(d)
为图
2(b)
相机坐标原理图；
[0033]图3为本专利技术一示例中双目相机测距原理图；
[0034]图4为本专利技术一示例中图片极线约束前后模板匹配的搜索原理示意图，其中图
4(a)
为极线约束前模板匹配的搜索原理示意图，图
4(b)
为极线约束后模板匹配的搜索原理示意图；
[0035]图5为本专利技术优选示例中的方法流程图
。
具体实施方式
[0036]下面结合附图对本专利技术的技术方案进行清楚
、
完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例
。
基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围
。
[0037]在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于深度学习和模板匹配的双目摄像头测距方法，其特征在于：包括以下步骤：将双目摄像头采集的对应两幅图像进行极线约束处理，使得相同的空间点在两幅图像处于同一水平线；根据目标检测算法对其中一摄像头采集的图像进行目标检测处理，得到目标框，将目标框作为模板；以另一摄像头采集的图像为目标图，基于目标框位置范围在目标图中水平搜索模板，得到模板在目标图的位置，并计算视差；将视差转为三维坐标，得到目标物体的距离信息
、
起始角和终止角
。2.
根据权利要求1所述的基于深度学习和模板匹配的双目摄像头测距方法，其特征在于：所述目标检测算法为
YOLO
目标检测算法或
SSD
目标检测算法
。3.
根据权利要求1所述的基于深度学习和模板匹配的双目摄像头测距方法，其特征在于：所述计算视差包括：将目标图中一特征点映射至另一摄像头采集的对应图像中相同位置，得到投影点，得到视差
d
：
d
＝
x
L
‑
x
R
其中，
x
L
表示在像素坐标系下沿
Nx
轴的坐标；
x
R
表示在像素坐标系下沿
N
...

【专利技术属性】
技术研发人员：王治国，殷光强，洪楚原，贾召钱，李耶，
申请(专利权)人：喀什地区电子信息产业技术研究院，
类型：发明
国别省市：