System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于车载相机的测距方法、装置、计算机设备及介质制造方法及图纸_技高网

一种基于车载相机的测距方法、装置、计算机设备及介质制造方法及图纸

技术编号:41189167 阅读:2 留言:0更新日期:2024-05-07 22:20
本发明专利技术实施例提供了一种基于车载相机的测距方法、装置、计算机设备及介质,涉及自动驾驶技术领域,其中,该方法包括以下步骤:标定车载相机的镜头构建车载相机的内部参数和外部参数;识别出图像中的2d目标检测框,去畸变并进行修正,生成规则检测框;对接地点进行修正;通过2d目标检测框计算修正比例因子对规则检测框的框高和框宽进行修正;根据俯仰角对2d目标检测框中的目标物高度进行修正;计算目标物在相机坐标系下的测距坐标,利用刚性变换矩阵将目标物在相机坐标系下的测距坐标转换为目标物在车身坐标系下的测距坐标。由于该方案可以使用各种安装角度和视野范围的车载相机对目标物测距,提高了测距的鲁棒性和精度。

【技术实现步骤摘要】

本专利技术涉及自动驾驶,特别涉及一种基于车载相机的测距方法、装置、计算机设备及介质


技术介绍

1、视觉传感器因为其分辨率大,纹理丰富,成本低而广泛应用于辅助驾驶中,其中广泛应用的是用视觉传感器感知目标的距离,以提前进行预警和避让。视觉测距中,有用双目视觉模仿人眼进行测距的,有用单目视觉直接用深度学习进行端到端的3d测距的,有用单目相机先进行2d识别,再用相机标定参数进行测距的单目2d测距方法。其中的双目视觉测距需要对图像进行特征提取和匹配,耗时较大,较难在低成本设备上实时运行,应用受到一定限制;而单目端到端的测距又因为需要广泛的数据标注训练,精度存在一定限制,且当从一个安装角度变换到另一个安装角度后,常常需要重新训练,泛化性较差;而单目2d测距中主要有两类,一类是三角相似性测距,其适合窄角无畸变的相机,需相机安装位置朝前且无偏航角和翻滚角,先进行图像上目标的2d识别,再根据三角测距原理进行测距。一类是逆投影变换测距,先进行2d识别,根据标定参数和地平面假设,并选择图像上的接地点进行逆投影变换得到世界坐标,其是适合大视角的鱼眼相机,且适用不同角度的安装。

2、单目2d视觉测距,先进行2d目标识别再根据标定参数测距,可以获得较高精度且有较好的泛化性,因而成为了主流的视觉测距方法。但是现有的单目2d视觉测距中,三角测距原理测距的方案,只适用于窄角相机,通常需要假定镜头安装在车前,且没有偏航角,对于有较大偏航角的测距不能适用,且当存在较大的俯仰角和轻微翻滚角时测距精度不高。逆投影变换测距,虽然适合鱼眼相机及不同安装角度,但是其需要基于地平面假设,需要严格的标定,当标定精度不高或现场路面不平整或镜头相对地面的方向改变较大时存在较大误差。实际应用中,常需要将镜头安装在车侧边来进行车侧后方的目标测距,或安装在车前但是有较大的偏航角以对车前方视野盲区进行目标测距,且车周目标通常需要较大视角的鱼眼相机来覆盖更大的视野范围以便对车周行人目标进行监测,现有的单目2d测距方法存在使用受限和精度不高的缺陷。因此,需要一种更鲁棒的单目行人测距方法,以适合各种安装角度和视野范围的车载相机的行人目标测距,以对车周危险行人目标进行预警。


技术实现思路

1、有鉴于此,本专利技术实施例提供了一种基于车载相机的测距方法,以解决了现有技术中的测距方法使用受限、精度和鲁棒性不高的技术问题。该方法包括:

2、标定车载相机的镜头构建车载相机的内部参数矩阵k和畸变系数d,构建车载相机的外部参数的刚性变换矩阵t;

3、使用车载相机采集图像,利用深度学习网络模型识别出图像中的2d目标检测框,将2d目标检测框去畸变后生成去畸变后检测框,并将去畸变后检测框按照修正规则进行修正,生成规则检测框,计算规则检测框的框高h和框宽w;

4、将2d目标检测框底边的中点定义为接地点ifoot(uf,vf),对接地点ifoot(uf,vf)进行修正,生成修正后接地点i′foot(uf′,vf′);

5、通过2d目标检测框计算修正比例因子,使用修正比例因子对规则检测框的框高h和框宽w进行修正,生成比例调整检测框的框高h′和框宽w′;

6、根据外部参数计算得到车载相机的俯仰角,根据俯仰角对2d目标检测框中的目标物高度h进行修正,生成修正后目标物高度h′;

7、计算修正后接地点i′foot(uf′,vf′)与图像的的中心点的偏移,根据偏移、内部参数矩阵k、比例调整检测框、修正后目标物高度h′和2d目标检测框中的目标物宽度w,计算目标物在相机坐标系下的测距坐标pc(xc,yc,zc),利用刚性变换矩阵t将目标物在相机坐标系下的测距坐标pc(xc,yc,zc)转换为目标物在车身坐标系下的测距坐标pw(xw,yw,zw)。

8、本专利技术实施例还提供了一种基于车载相机的测距装置,以解决了现有技术中的测距方法使用受限、精度和鲁棒性不高的技术问题。该装置包括:

9、参数确定模块,用于标定车载相机的镜头构建车载相机的内部参数矩阵k和畸变系数d,构建车载相机的外部参数的刚性变换矩阵t;

10、不规则检测框修正模块,用于使用车载相机采集图像,利用深度学习网络模型识别出图像中的2d目标检测框,将2d目标检测框去畸变后生成去畸变后检测框,并将去畸变后检测框按照修正规则进行修正,生成规则检测框,计算规则检测框的框高h和框宽w;

11、接地点修正模块,用于将2d目标检测框底边的中点定义为接地点ifoot(uf,vf),对接地点ifoot(uf,vf)进行修正,生成修正后接地点i′foot(uf′,vf′);

12、规则检测框修正模块,用于通过2d目标检测框计算修正比例因子,使用修正比例因子对规则检测框的框高h和框宽w进行修正,生成比例调整检测框的框高h′和框宽w′;

13、修正高度计算模块,用于根据外部参数计算得到车载相机的俯仰角,根据俯仰角对2d目标检测框中的目标物高度h进行修正,生成修正后目标物高度h′;

14、目标物测距模块,用于计算修正后接地点i′foot(uf′,vf′)与图像的中心点的偏移,根据偏移、内部参数矩阵k、比例调整检测框、修正后目标物高度h′和2d目标检测框中的目标物宽度w,计算目标物在相机坐标系下的测距坐标pc(xc,yc,zc),利用刚性变换矩阵t将目标物在相机坐标系下的测距坐标pc(xc,yc,zc)转换为目标物在车身坐标系下的测距坐标pw(xw,yw,zw)。

15、本专利技术实施例还提供了一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意的基于车载相机的测距方法,以解决了现有技术中的测距方法使用受限、精度和鲁棒性不高的技术问题。

16、本专利技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有执行上述任意的基于车载相机的测距方法的计算机程序,以解决了现有技术中的测距方法使用受限、精度和鲁棒性不高的技术问题。

17、与现有技术相比,本说明书实施例采用的上述至少一个技术方案能够达到的有益效果至少包括:

18、本专利技术实施例的测距方法采用单目相机识别目标2d检测框,对2d检测框进行去畸变,采用逆投影变换得到2d检测框上目标物的方向,根据方向对2d检测框进行修正,然后用三角测距原理得到目标物在相机坐标系下的测距值,再将相机坐标系下的测距值根据相机的外参矩阵转移到车身坐标系,得到目标物相对车身的稳定、高精度的测距值,提高了单目测距方法的鲁棒性,具有很强的应用价值。

本文档来自技高网...

【技术保护点】

1.一种基于车载相机的测距方法,其特征在于,包括:

2.如权利要求1所述的基于车载相机的测距方法,其特征在于,标定车载相机的镜头构建所述车载相机的内部参数矩阵K和畸变系数D,构建所述车载相机的外部参数的刚性变换矩阵T,包括:

3.如权利要求1所述的基于车载相机的测距方法,其特征在于,将所述2d目标检测框去畸变后生成去畸变后检测框,并将所述去畸变后检测框按照修正规则进行修正,生成规则检测框,计算所述规则检测框的框高h和框宽w,包括:

4.如权利要求1所述的基于车载相机的测距方法,其特征在于,对所述接地点Ifoot(uf,vf)进行修正,生成修正后接地点I′foot(uf′,vf′),包括:

5.如权利要求4所述的基于车载相机的测距方法,其特征在于,通过所述2d目标检测框计算修正比例因子,使用所述修正比例因子对所述规则检测框的框高h和框宽w进行修正,生成比例调整检测框的框高h′和框宽w′,包括:

6.如权利要求1所述的基于车载相机的测距方法,其特征在于,对目标物物理高度H进行修正,生成目标物修正后高度H′,包括:

>7.如权利要求1所述的基于车载相机的测距方法,其特征在于,计算所述修正后接地点I′foot(uf′,vf′)与所述图像的中心点的偏移,根据所述偏移、所述内部参数矩阵K、所述比例调整检测框、所述修正后目标物高度H′和所述2d目标检测框中的目标物宽度W,计算所述目标物在相机坐标系下的测距坐标Pc(Xc,Yc,Zc),利用所述刚性变换矩阵T将所述目标物在相机坐标系下的测距坐标Pc(Xc,Yc,Zc)转换为所述目标物在车身坐标系下的测距坐标Pw(Xw,Yw,Zw),包括:

8.一种基于车载相机的测距装置,其特征在于,包括:

9.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的基于车载相机的测距方法。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有执行权利要求1至7中任一项所述的基于车载相机的测距方法的计算机程序。

...

【技术特征摘要】

1.一种基于车载相机的测距方法,其特征在于,包括:

2.如权利要求1所述的基于车载相机的测距方法,其特征在于,标定车载相机的镜头构建所述车载相机的内部参数矩阵k和畸变系数d,构建所述车载相机的外部参数的刚性变换矩阵t,包括:

3.如权利要求1所述的基于车载相机的测距方法,其特征在于,将所述2d目标检测框去畸变后生成去畸变后检测框,并将所述去畸变后检测框按照修正规则进行修正,生成规则检测框,计算所述规则检测框的框高h和框宽w,包括:

4.如权利要求1所述的基于车载相机的测距方法,其特征在于,对所述接地点ifoot(uf,vf)进行修正,生成修正后接地点i′foot(uf′,vf′),包括:

5.如权利要求4所述的基于车载相机的测距方法,其特征在于,通过所述2d目标检测框计算修正比例因子,使用所述修正比例因子对所述规则检测框的框高h和框宽w进行修正,生成比例调整检测框的框高h′和框宽w′,包括:

6.如权利要求1所述的基于车载相机的测距方法,其特征在于,对目标物物理高度h...

【专利技术属性】
技术研发人员:程建伟张琴白翔龚锐王雅儒陈岚
申请(专利权)人:武汉极目智能技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1