无人物流车的单目视觉测距测速方法技术

本发明专利技术公开了一种无人物流车的单目视觉测距测速方法，包括如下步骤：S1、将世界坐标系依次按序转换成相机坐标系、图像坐标系与像素坐标系，获得世界坐标系与像素坐标系的转换矩阵；S2、基于目标检测算法获取目标物体在图像坐标系中的检测框坐标值，以检测框底边中点作为测距像素点，代入转换矩阵中求解出目标物体在世界坐标系中的横向和纵向距离；S3、基于多目标跟踪算法获取目标物体在图像连续帧中的匹配关系，根据预设间隔时间值对间隔时间前后两帧中匹配上的目标物体的位置进行计算得到目标物体速度。本发明专利技术可以通过单视觉进行测距测速，具有距离和速度测量准确的优点。具有距离和速度测量准确的优点。具有距离和速度测量准确的优点。

【技术实现步骤摘要】
无人物流车的单目视觉测距测速方法


[0001]本专利技术设涉及一种无人物流车的单目视觉测距测速方法，属于无人汽车领域。

技术介绍

[0002]随着自动驾驶技术的不断发展，越来越多的行业正受到其影响，并且实现产业化落地。无人配送物流车是自动驾驶技术在限定场景下的成功应用之一。无人配送物流车能够自动将货物投递到收货人手中，节约人工成本，并且能够全天候工作，提高配送效率。如果在无人配送过程中能够实时规划配送路径，则一方面可以提高配送效率，另一方面可以使得配送服务更加灵活；如果收发货交接过程中能够实现人车交互，则会大大提高用户体验，使得配送服务更加便利、更加人性化。在进行无人出的路径规划时，无人车的所需要配备测距测试的功能。但现有的测距测试大部分采用的是毫米波雷达的方式，这种测距测试成本昂贵，而且横向距离探测准确性相对较差。

技术实现思路

[0003]本专利技术的目的在于，提供一种无人物流车的单目视觉测距测速方法。本专利技术可以通过单视觉进行测距测速，具有距离和速度测量准确的优点。
[0004]本专利技术的技术方案：无人物流车的单目视觉测距测速方法，包括如下步骤：
[0005]S1、将世界坐标系依次按序转换成相机坐标系、图像坐标系与像素坐标系，获得世界坐标系与像素坐标系的转换矩阵；
[0006]S2、基于目标检测算法获取目标物体在图像坐标系中的检测框坐标值，以检测框底边中点作为测距像素点，代入转换矩阵中求解出目标物体在世界坐标系中的横向和纵向距离；
[0007]S3、基于多目标跟踪算法获取目标物体在图像连续帧中的匹配关系，根据预设间隔时间值对间隔时间前后两帧中匹配上的目标物体的位置进行计算得到目标物体速度。
[0008]上述的无人物流车的单目视觉测距测速方法，步骤S1中，所述世界坐标系与像素坐标系的转换矩阵如下：
[0009][0010]其中：Z
c
为对应物体深度信息；[u,v]表示图像像素坐标；d
x
，d
y
分别表示一个像素在图像坐标系x、y两个坐标轴方向的物理尺寸；(u0,v0)表示相机光心在图像坐标系中的位置；f表示相机的焦距；[X,Y,Z]为世界坐标；(u,v)表示以像素为单位的像素坐标系的坐标；R矩阵是大小为3行3列的旋转矩阵，T矩阵为3行1列的平移矩阵。
[0011]前述的无人物流车的单目视觉测距测速方法，步骤S1中，世界坐标系和相机坐标
系的转换矩阵如下：
[0012][0013]式中(X,Y,Z)表示世界坐标系，(X
c
,Y
c
,Z
c
)表示相机坐标系，R矩阵是大小为3行3列的旋转矩阵，T矩阵为3行1列的平移矩阵。
[0014]前述的无人物流车的单目视觉测距测速方法，步骤S1中，相机坐标系和图像坐标系的转换是将三维场景O
‑
X
c
Y
c
Z
c
映射成一个二维平面O1‑
xy，其中点M为相机坐标系中的的点，其坐标为(X
c
,Y
c
,Z
c
)，映射之后对应的点为m，其坐标为(x,y)，相机坐标系和图像坐标系之间转换通过透视投影实现，其中相机坐标系和图像坐标系的转换矩阵如下：
[0015][0016]式中：即为Z
c
x＝fX
c
，Z
c
y＝fY
c
，f为相机的焦距。
[0017]前述的无人物流车的单目视觉测距测速方法，步骤S1中，相机坐标系和图像坐标系的转换是以(u,v)表示以像素为单位的像素坐标系的坐标，(x,y)表示以mm为单位的图像坐标系的坐标；
[0018]假设每一个像素在x轴与y轴方向上的物理尺寸为dx和dy，则图像任意一个像素在两个坐标系下的坐标有如下所示关系式：
[0019][0020]其中，(u0,v0)＝xy(0,0)；
[0021]根据图像任意一个像素在两个坐标系下的坐标的关系式得到相机坐标系和图像坐标系的转换矩阵：
[0022][0023]前述的无人物流车的单目视觉测距测速方法，步骤S2中，求解出目标物体在世界坐标系中的横向和纵向距离的过程具体是:
[0024]将世界坐标系与像素坐标系的转换矩阵进行合并：
[0025][0026]将物体深度Z
C
，旋转矩阵R和平移矩阵T进行展开，分别得到：
[0027]Z
C
＝R7X+R8Y+R9Z+t3；
[0028][0029][0030]从而得到最后的转换矩阵方程：
[0031][0032]令Z＝0，则使得未知量个数只有2个，即(X,Y))，将转换矩阵方程展开：
[0033][0034][0035]令：
[0036][0037]对公式进行替换后则有：
[0038][0039]计算后可求出：
[0040][0041]目标物体的横向距离X、纵向距离Y由图像坐标系中的检测框的底边中点坐标(u,v)计算得到。
[0042]前述的无人物流车的单目视觉测距测速方法，步骤S3中，所述目标物体的速度及其方向角计算公式如公式下：
[0043][0044][0045]式中：(x,y)为前一帧的目标物体在图像坐标系的坐标，(x',y')为后一帧的目标物体在图像坐标系的坐标。
[0046]与现有技术比较，本专利技术通过将世界坐标系依次按序转换成相机坐标系、图像坐标系与像素坐标系，获得世界坐标系与像素坐标系的转换矩阵；再基于目标检测算法获取目标物体在图像坐标系中的检测框坐标值，以检测框底边中点作为测距像素点，代入转换矩阵中求解出目标物体在世界坐标系中的横向和纵向距离；最后基于多目标跟踪算法获取目标物体在图像连续帧中的匹配关系，根据预设间隔时间值对间隔时间前后两帧中匹配上的目标物体的位置进行计算得到物体速度。由此，本专利技术有效的进行目标物体的横向距离以及纵向距离的测量，而且还能准确的测量目标物体的速度以及方向角，具有测量过程方便，测量结果准确的优点。
附图说明
[0047]图1是本专利技术的流程示意图；
[0048]图2是本专利技术世界坐标系转换成相机坐标系的示意图；
[0049]图3是本专利技术相机坐标系转化为图像坐标系的示意图；
[0050]图4是本专利技术图像坐标系转化为像素坐标系的示意图；
[0051]图5是目标物体速度及其方向角计算示意图；
[0052]图6是目标物体速度及其方向正负定义示意图；
[0053]图7是本专利技术所实现的测距示意图；
[0054]图8是本专利技术所实现的测距测速示意图。
具体实施方式
[0055]下面结合附图和实施例对本专利技术作进一步的说明，但并不作为对本专利技术限制的依据。
[0056]实施例：无人物流车的单目视觉测距测速方法，包括如下步骤：
[本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.无人物流车的单目视觉测距测速方法，其特征在于：包括如下步骤：S1、将世界坐标系依次按序转换成相机坐标系、图像坐标系与像素坐标系，获得世界坐标系与像素坐标系的转换矩阵；S2、基于目标检测算法获取目标物体在图像坐标系中的检测框坐标值，以检测框底边中点作为测距像素点，代入转换矩阵中求解出目标物体在世界坐标系中的横向和纵向距离；S3、基于多目标跟踪算法获取目标物体在图像连续帧中的匹配关系，根据预设间隔时间值对间隔时间前后两帧中匹配上的目标物体的位置进行计算得到目标物体速度。2.根据权利要求1所述的无人物流车的单目视觉测距测速方法，其特征在于：步骤S1中，所述世界坐标系与像素坐标系的转换矩阵如下：其中：Z
c
为对应物体深度信息；[u,v]表示图像像素坐标；d
x
，d
y
分别表示一个像素在图像坐标系x、y两个坐标轴方向的物理尺寸；(u0,v0)表示相机光心在图像坐标系中的位置；f表示相机的焦距；[X,Y,Z]为世界坐标；(u,v)表示以像素为单位的像素坐标系的坐标；R矩阵是大小为3行3列的旋转矩阵，T矩阵为3行1列的平移矩阵。3.根据权利要求2所述的无人物流车的单目视觉测距测速方法，其特征在于：步骤S1中，世界坐标系和相机坐标系的转换矩阵如下：式中(X,Y,Z)表示世界坐标系，(X
c
,Y
c
,Z
c
)表示相机坐标系，R矩阵是大小为3行3列的旋转矩阵，T矩阵为3行1列的平移矩阵。4.根据权利要求3所述的无人物流车的单目视觉测距测速方法，其特征在于：步骤S1中，相机坐标系和图像坐标系的转换是将三维场景O
‑
X
c
Y
c
Z
c
映射成一个二维平面O1‑
xy，其中点M为相机坐标系中的的点，其坐标为(X
c
,Y
c<...

【专利技术属性】
技术研发人员：俞小莉，盛军辉，黄瑞，陈俊玄，陈诺，陈杰，陈沛禹，杨爱喜，陈珍颖，
申请(专利权)人：浙江大学，
类型：发明
国别省市：