一种基于毫米波雷达与视觉的现场自动标定方法及装置制造方法及图纸

本发明专利技术提供了本发明专利技术一种基于毫米波雷达与视觉的现场自动标定方法、装置及终端设备，属于传感器系统坐标标定领域，解决现有标定方式复杂且不适于现场标定问题。所述方法包括：获取毫米波雷达现场融合特征点坐标；获取与所述毫米波雷达现场融合特征点一一对应的视觉摄像头现场融合特征点坐标；构建多项式拟合数学模型，获取坐标与坐标的映射模型W，实现现场自动标定。本发明专利技术不需要测量毫米波雷达与摄像头相对位置关系，降低了现场标定复杂度，同时降低了现场测量误差对标定误差的影响，提高了标定的精度与鲁棒性；该方法不需要额外的标定组件，简化了标定融合过程，实施简单，尤其是满足标定现场的实时标定，满足现场标定场合。满足现场标定场合。满足现场标定场合。

【技术实现步骤摘要】
一种基于毫米波雷达与视觉的现场自动标定方法及装置


[0001]本专利技术属于传感器系统坐标标定领域，具体是涉及到一种基于视觉与毫米波雷达的现场标定的方法，装置及终端设备。

技术介绍

[0002]目前，ADAS系统中最常用的车载传感器为毫米波雷达和视觉摄像头。这两种传感器的应用较为成熟，同时这两类技术各有优点。毫米波雷达测距精度高，抗天气干扰能力强、环境适应性好，能比较稳定的获取被测目标位置信息，但是无法智能的识别目标种类。视觉摄像头摄像头方案成本低，可以智能识别目标种类(行人识别，车辆识别等等)，但是容易受到如光照、雨雪、大雾等天气因素影响。如果将毫米波雷达和视觉摄像头的优点进行融合，则能够得到更全面、准确、可靠的环境信息，相互配合共同构成汽车的感知系统，取长补短，实现更稳定可靠的ADAS功能。
[0003]毫米波雷达和视觉摄像头的融合，依赖于毫米波雷达与摄像头的标定结果，即构建毫米波雷达与视觉摄像头的坐标映射关系。由于现场作业环境复杂，毫米波雷达和视觉摄像头现场标定的方法需尽量满足简单，易实施，高精度以及高鲁棒性的特点。
[0004]现在主流的毫米波雷达与摄像头联合标定方法，不但需要通过测量工具校准毫米波雷达与视觉摄像头的空间相对位置关系，而且还要计算视觉摄像头内参，外参等参数，并且构建毫米波雷达与视觉摄像头的三维坐标系以及计算二者的相对关系用于联合标定。由于毫米波雷达与摄像头相对空间位姿关系的测量误差对联合标定结果有较大影响，标定步骤繁琐，精度以及鲁棒性较低等原因难以用于现场标定场合。
[0005]另外，一些标定需要借助标定装置实现联合标定，现场安装复杂，容易出错，不能满足标定现场的要求。

技术实现思路

[0006]有鉴于此，本专利技术一种基于毫米波雷达与视觉的现场自动标定方法、装置及终端设备，具有简单，易实施，高精度以及高鲁棒性的特点，以解决现有技术中存在的问题。
[0007]本专利技术实施例的第一方面提供了一种基于毫米波雷达与视觉的现场自动标定方法，包括：获取毫米波雷达现场融合特征点坐标P1(x1,y1)，P2(x2,y2)...P
i
(x
i
,y
i
)...P
n
(x
n
,y
n
)；其中，i＝1,2,3...n，n为大于0的整数；获取与所述毫米波雷达现场融合特征点一一对应的视觉摄像头现场融合特征点坐标Q1(c1,r1)，Q2(c2,r2)...Q
i
(c
i
,r
i
)...Q
n
(c
n
,r
n
)；构建多项式拟合数学模型，获取坐标P1(x1,y1)，P2(x2,y2)...P
n
(x
n
,y
n
)与坐标Q1(c1,r1)，Q2(c2,r2)...Q
n
(c
n
,r
n
)的映射模型W，实现现场自动标定。
[0008]本专利技术实施例的第二方面提供了一种基于毫米波雷达与视觉的现场自动标定装置，包括：毫米波雷达模块，获取毫米波雷达现场融合特征点坐标P1(x1,y1)，P2(x2,y2)...P
i
(x
i
,y
i
)...P
n
(x
n
,y
n
)；其中，i＝1,2,3...n，n为大于0的整数；摄像头模块，获取与所述毫米波雷达现场融合特征点一一对应的视觉摄像头现场融合特征点坐标Q1(c1,r1)，Q2(c2,
r2)...Q
i
(c
i
,r
i
)...Q
n
(c
n
,r
n
)；融合模块，构建多项式拟合数学模型，获取坐标P1(x1,y1)，P2(x2,y2)...P
n
(x
n
,y
n
)与坐标Q1(c1,r1)，Q2(c2,r2)...Q
n
(c
n
,r
n
)的映射模型W，实现现场自动标定。
[0009]本专利技术实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述基于毫米波雷达与视觉的现场自动标定方法的步骤。
[0010]本专利技术提供的基于毫米波雷达与视觉的现场自动标定方法及装置不需要测量毫米波雷达与摄像头相对位置关系，降低了现场标定复杂度，同时降低了现场测量误差对标定误差的影响，提高了标定的精度与鲁棒性；同时，该方法不需要额外的标定组件，简化了标定融合过程，实施简单，尤其是满足标定现场的实时标定，满足现场标定场合。
附图说明
[0011]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0012]图1是本专利技术实施例提供的一种应用场景示意图；
[0013]图2是本专利技术实施例提供的基于毫米波雷达与视觉的现场自动标定方法的流程图；
[0014]图3是本专利技术实施例提供的检测目标T在毫米波雷达坐标系中的坐标点P
i
(x
i
,y
i
)示意图；
[0015]图4是本专利技术实施例提供的检测目标T在视觉图像坐标系中的坐标点Q
i
(c
i
,r
i
)的示意图；
[0016]图5是本专利技术实施例提供的基于毫米波雷达与视觉的现场自动标定方法装置的结构框图；
[0017]图6是本专利技术实施例提供的终端设备的示意图。
具体实施方式
[0018]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0019]为了说明本专利技术所述的技术方案，下面通过具体实施例来进行说明。
[0020]请参阅图1，为本专利技术实施例中一个具体应用场景。将毫米波雷达3与视觉摄像头2分别刚性固定于车辆的一端。其中，毫米波雷达3水平安装于车辆下部，视觉摄像头2安装于车辆上部，且毫米波雷达3的水平延长线与视觉摄像头2所构成的角度θ的取值区间为(0
‑
90
°
)。为了获得较好的实验效果，角度θ的典型值有30
°
、45
°
、60本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于毫米波雷达与视觉的现场自动标定方法，其特征在于，包括：获取毫米波雷达现场融合特征点坐标P1(x1,y1)，P2(x2,y2)...P
i
(x
i
,y
i
)...P
n
(x
n
,y
n
)；其中，i＝1,2,3...n，n为大于0的整数；获取与所述毫米波雷达现场融合特征点一一对应的视觉摄像头现场融合特征点坐标Q1(c1,r1)，Q2(c2,r2)...Q
i
(c
i
,r
i
)...Q
n
(c
n
,r
n
)；构建多项式拟合数学模型，获取坐标P1(x1,y1)，P2(x2,y2)...P
n
(x
n
,y
n
)与坐标Q1(c1,r1)，Q2(c2,r2)...Q
n
(c
n
,r
n
)的映射模型W，实现现场自动标定。2.根据权利要求1所述的基于毫米波雷达与视觉的现场自动标定方法，其特征在于，获取毫米波雷达现场融合特征点之前，还包括：将所述毫米波雷达与和所述视觉摄像头分别刚性固定于车辆的一端，其中，所述毫米波雷达水平安装，且与所述视觉摄像头的角度的取值区间为0
‑
90
°
；保持现场空旷，保证毫米波雷达工作区域内无任何测量目标，同时视觉摄像头的工作区域内无任何行人目标。3.根据权利要求2所述的基于毫米波雷达与视觉的现场自动标定方法，其特征在于：获取与所述毫米波雷达现场融合特征点一一对应的视觉摄像头现场融合特征点，包括：保持一行人目标做为检测目标T在所述视觉摄像头与所述毫米波雷达的工作区域内保持移动；驱动所述毫米波雷达执行数据采集，测得该检测目标T在毫米波雷达坐标系统中的坐标点P
i
(x
i
,y
i
)，其中x
i
为检测目标T在毫米波雷达坐标系下的x方向的坐标，y
i
为检测目标T在毫米波雷达坐标系下的y方向的坐标；同步驱动所述视觉摄像头进行图像IMG采集，采用基于深度学习的行人检测算法，自动识别检测目标T在视觉摄像头坐标系系统中的坐标Q
i
(c
i
,r
i
)。4.根据权利要求3所述的基于毫米波雷达与视觉的现场自动标定方法，其特征在于：基于深度学习的行人检测算法，包括：通过行人样本基于YOLOV3算法进行深度学习网络训练；基于深度学习网络在图像IMG上进行行人检测，自动识别检测目标T在图像IMG的识别框，所述的识别框位置由S(c
S
,r
S
)与E(c
E
,r
E
)两点确定；计算坐标Q
i
(c
i
,r
i
)，c
i
与r
i
的计算过程如下：c
i
＝(c
S
+c
E
)/2r
i
＝(r
S
+r
E
)/2。5.根据权利要求1所述的基于毫米波雷达与视觉的现场自动标定方法，其特征在于：构建多项式拟合数学模型，获取坐标P1(x1,y1)，P2(x2,y2)...P
n
(x
n
,y
n
)与坐标Q1(c1,r1)，Q2(c2,r2)...Q
n
(c
n
,r
n
)的映射模型W，实现现场自动标定，包括：基于多项式拟合数学模型构建Q
i
到P
i
(i＝1，2，3...n)映射模型W为：x
i
(i＝1,2,3...n)的映射关系：y
i
(i＝1,2,3...n)的映射关系：其中，式(1)中x
i
(i＝1,2,3...n)为i个毫米波雷达现场融合特征点P
i
(x
i
,y
i
)(i＝1,2,3...n)的x坐标；c
i
(i＝1,2,3...n)为i个视觉摄像头现场融合特征点Q
i
(c
i
,r
i
)(i＝1,2,
3...n)的c坐标；M
k
(k＝1,2,3...p...

【专利技术属性】
技术研发人员：陈晓辉，杨成勇，张华，刘云翔，
申请(专利权)人：长沙孚盛科技有限公司，
类型：发明
国别省市：