本发明专利技术涉及智能驾驶技术领域，具体公开了一种夜间行人检测方法，其中，包括：分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；对实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；将雷达检测框与视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。本发明专利技术还提供了一种夜间行人检测装置及夜间行人检测系统。本发明专利技术提供的夜间行人检测方法能够提高黑暗环境下的检测精度。的检测精度。的检测精度。
【技术实现步骤摘要】
一种夜间行人检测方法、装置及系统
[0001]本专利技术涉及智能驾驶
，尤其涉及一种夜间行人检测方法、夜间行人检测装置及夜间行人检测系统。
技术介绍
[0002]随着近年来自动驾驶技术逐渐兴起，人们对该技术的需求也越来越多，而安全驾驶作为智能汽车基本的组成部分，起着重要的作用。尤其是在夜间行车的时候，人可能无法主观判断出在黑暗中是否有潜在的行人横穿，或其他运动的物体。而环境感知技术作为自动驾驶系统的重要组成部分，就可以有效地解决此类问题。一般的环境感知包括摄像头、激光雷达、毫米波雷达、超声波雷达等传感器技术，这些传感器可以有效地检测相应目标的各种信息，如类别、速度、距离、角度、高度等，且各有优势。
[0003]而常见的道路检测系统使用的是摄像头，或者摄像头与雷达相结合。摄像头用来对前方目标进行检测、提供该目标的类别距离速度等信息，但距离速度存在误差，且摄像头不利于在雨雪等恶劣天气工作。而摄像与雷达融合的技术，摄像头主要用于识别道路上前方目标的种类，而雷达主要用来检测距离速度等高精度信息，以此来达到信息融合，可以有效地检测出前方危险的目标的各种信息，从而做出紧急制动，避免危险。
[0004]现有技术如摄像头受雨雪，光线等因素影响、激光雷达造价较高，3d毫米波雷达精度较低。在黑暗环境下可能会造成漏检，会造成一定的安全隐患。因此，如何能够提高黑暗环境下的检测精度成为本领域技术人员亟待解决的技术问题。
技术实现思路
[0005]本专利技术提供了一种夜间行人检测方法、夜间行人检测装置及夜间行人检测系统，解决相关技术中存在的黑暗环境下检测精度低的问题。
[0006]作为本专利技术的第一个方面，提供一种夜间行人检测方法，其中，包括：分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。
[0007]进一步地，对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，包括：根据夜间行人的红外图像训练数据集进行训练，得到夜间行人检测模型；将所述实时视觉图像信息输入所述夜间行人检测模型，得到所述视觉检测框。
[0008]进一步地，包括：
根据追踪算法对所述视觉检测框进行平滑处理。
[0009]进一步地，对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框，包括：对所述实时点云信息进行聚类处理得到多个点云簇；对每个点云簇进行目标跟踪算法处理，得到每个点云簇的航迹；根据每个点云簇的航迹与聚类结果获得雷达检测框。
[0010]进一步地，根据每个点云簇的航迹与聚类结果获得雷达检测框，包括：根据所述实时点云信息的体积以及每个点云簇的航迹生成雷达目标检测框列表；对所述雷达目标检测框列表进行抗干扰处理，得到所述雷达检测框。
[0011]进一步地，将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果，包括：将所述雷达检测框映射到所述视觉检测框所在的摄像头坐标系下；分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标；当所述雷达检测框与所述视觉检测框均检测到相同目标时，将所述雷达检测框对目标的检测信息与所述视觉检测框对目标的检测信息进行融合。
[0012]进一步地，分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标，包括：遍历雷达目标检测框列表中的检测框，得到检测框第一遍历结果；遍历视觉目标检测框列表中的检测框，得到检测框第二遍历结果，其中所述雷达目标检测框列表的框元素和所述视觉目标检测框列表的框元素相同；计算所述检测框第一遍历结果与所述检测框第二遍历结果的目标重合率；若所述目标重合率大于第一预设阈值，则确定所述雷达检测框与所述视觉检测框均检测到相同目标，其中所述目标包括夜间行人；若所述目标重合率不大于第一预设阈值，则计算所述检测框第一遍历结果与所述检测框第二遍历结果的属性匹配度；若所述属性匹配度大于第二预设阈值，则确定所述雷达检测框与所述视觉检测框均检测到相同目标；若所述属性匹配度不大于第二预设阈值，则确定所述毫米波雷达装置和红外视觉检测装置两者至少之一存在误差，并输出两者的所有检测结果。
[0013]进一步地，在所述分别获取夜间目标道路的实时视觉图像信息和实时点云信息的步骤前进行的：对所述毫米波雷达装置和所述红外视觉检测装置进行空间坐标匹配，以实现所述毫米波雷达装置和所述红外视觉检测装置的标定。
[0014]作为本专利技术的另一个方面，提供一种夜间行人检测装置，用于实现前文所述的夜间行人检测方法，其中，包括：获取模块，用于分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；
处理模块，用于对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；融合模块，用于将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。
[0015]作为本专利技术的另一个方面，提供一种夜间行人检测系统，其中，包括：红外视觉检测装置、毫米波雷达装置和前文所述的夜间行人检测装置，所述红外视觉检测装置和毫米波雷达装置均与所述夜间行人检测装置通信连接，所述红外视觉检测装置用于实时采集夜间目标道路的图像信息，所述毫米波雷达装置用于实时采集夜间目标道路的点云信息，所述夜间行人检测装置用于根据所述夜间目标道路的图像信息和夜间目标道路的点云信息进行融合处理，得到夜间行人的检测结果。
[0016]本专利技术提供的夜间行人检测方法，通过毫米波雷达装置与红外视觉检测装置的融合获得夜间行人的检测结果，从而能够实现有效预警与干预。由于毫米波雷达装置比激光雷达成本低，且不受天气影响，而红外视觉检测装置不受黑暗影响能够高准确率的分类信息，因此本专利技术提供的这种夜间行人检测方法将毫米波雷达装置与红外视觉检测装置两者信息融合能够有效提升夜间行人识别准确率。
附图说明
[0017]附图是用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本专利技术，但并不构成对本专利技术的限制。在附图中：图1为本专利技术提供的夜间行人检测方法的流程图。
[0018]图2为本专利技术提供的汽车在世界坐标系下的示意图。
[0019]图3为本专利技术提供的雷达坐标系与摄像头坐标系的示意图。
[0020]图4为本专利技术提供的夜间行人检测方本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种夜间行人检测方法，其特征在于，包括：分别获取夜间目标道路的实时视觉图像信息和实时点云信息，其中所述视觉图像信息为标定后的红外视觉检测装置实时采集到的夜间目标道路的图像信息，所述点云信息为标定后的毫米波雷达装置实时采集到的夜间目标道路的点云信息；对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，以及对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框；将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果。2.根据权利要求1所述的方法，其特征在于，对所述实时视觉图像信息进行基于夜间行人检测的视觉图像处理后得到视觉检测框，包括：根据夜间行人的红外图像训练数据集进行训练，得到夜间行人检测模型；将所述实时视觉图像信息输入所述夜间行人检测模型，得到所述视觉检测框。3.根据权利要求2所述的方法，其特征在于，包括：根据追踪算法对所述视觉检测框进行平滑处理。4.根据权利要求1所述的方法，其特征在于，对所述实时点云信息进行基于夜间行人检测的聚类处理后得到雷达检测框，包括：对所述实时点云信息进行聚类处理得到多个点云簇；对每个点云簇进行目标跟踪算法处理，得到每个点云簇的航迹；根据每个点云簇的航迹与聚类结果获得雷达检测框。5.根据权利要求4所述的方法，其特征在于，根据每个点云簇的航迹与聚类结果获得雷达检测框，包括：根据所述实时点云信息的体积以及每个点云簇的航迹生成雷达目标检测框列表；对所述雷达目标检测框列表进行抗干扰处理，得到所述雷达检测框。6.根据权利要求1所述的方法，其特征在于，将所述雷达检测框与所述视觉检测框进行融合，根据融合结果确定夜间行人的检测结果，包括：将所述雷达检测框映射到所述视觉检测框所在的摄像头坐标系下；分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标；当所述雷达检测框与所述视觉检测框均检测到相同目标时，将所述雷达检测框对目标的检测信息与所述视觉检测框对目标的检测信息进行融合。7.根据权利要求6所述的方法，其特征在于，分别遍历所述雷达检测框与所述视觉检测框，以确定所述雷达检测框与所述视觉检测框均检测到相同目标，包括：遍历雷达目标检测框列表中的检测框，得...
【专利技术属性】
技术研发人员：郭枰，屈操，陶烨，
申请(专利权)人：无锡威孚高科技集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。