基于多摄像头像素融合的车载前视多目标跟踪方法技术

本发明专利技术涉及人工智能图像处理和计算机视觉技术领域，具体涉及基于多摄像头像素融合的汽车驾驶场景目标检测方法，包括：S1、采用多个焦距不同、成像方式不同的摄像头对车辆前方拍摄，并对多个拍摄图像采用像素融合算法，形成融合图像；S2、对融合图像使用识别与跟踪算法，追踪预设距离内的车辆和行人，得到车辆和行人信息；S3、将车辆和行人信息输入基于深度学习的多尺度目标检测模型，得到每帧中的目标行人、车辆的位置和类型信息；S4、将获取到的每帧中的目标行人、车辆的位置和类型信息，发送给车身控制器。本发明专利技术的检测方法，融合算法简易，具有对夜间车辆与行人小目标高速远距识别的特点，有效提高对目标识别的准确率。有效提高对目标识别的准确率。有效提高对目标识别的准确率。

【技术实现步骤摘要】
基于多摄像头像素融合的车载前视多目标跟踪方法


[0001]本专利技术涉及人工智能图像处理和计算机视觉
，具体涉及基于多摄像头像素融合的汽车驾驶场景目标检测方法。

技术介绍

[0002]随着智能驾驶技术的推广，车载图像处理与识别技术，因为具有成本低、对目标位置、尺寸和类型等多种信息能够高效检测和识别，得到广泛应用。特别是在前方目标检测与识别领域，已经能实现白天车辆检测、行人防碰撞提醒、车道线检测等ADAS驾驶辅助功能。
[0003]现有ADAS前视图像识别技术，主要是采用可见光固定焦距单镜头，在环境照度良好的情况下，能清晰采集前方30
°
300m以内的图像。但是如果要采集300m以外的目标，目标成像模糊分辨率变差；夜间环境照度不好，低反射目标对比度差，或者有强光照射，感光元件过度曝光，目标与背景融为一体。在实际使用中，上述远距、低照度、过曝的场景，严重限制了单目前视识别技术的对车辆与行人目标的识别准确率。

技术实现思路

[0004]本专利技术要解决的技术问题是：为了解决现有技术中300m以外的目标，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多摄像头像素融合的车载前视多目标跟踪方法，其特征在于，包括以下步骤：S1、采用多个焦距不同、成像方式不同的摄像头对车辆前方进行拍摄，并对多个摄像头拍摄的图像采用像素融合算法进行融合，形成融合图像；S2、对所述融合图像使用识别与跟踪算法，追踪预设距离内的车辆和行人，得到车辆和行人的运动信息；S3、将所述车辆和行人的运动信息输入基于深度学习的多尺度目标检测模型，得到每帧中的目标行人、车辆的位置和类型信息；S4、将获取到的每帧中的目标行人、车辆的位置和类型信息，发送给车身控制器。2.如权利要求1所述的基于多摄像头像素融合的车载前视多目标跟踪方法，其特征在于，在步骤S1中，多个焦距不同、成像方式不同的摄像头包括：长焦远距摄像头、中焦摄像头和近红外摄像头。3.如权利要求1所述的基于多摄像头像素融合的车载前视多目标跟踪方法，其特征在于，在步骤S2中，若是白天，则预设车辆的追踪距离为500m，行人的追踪距离为200m；若是黑夜，则预设车辆的追踪距离为600m内开车灯的车辆，行人的追踪距离为150m。4.如权利要求2所述的基于多摄像头像素融合的车载前视多目标跟踪方法，其特征在于，在步骤S1中，包括以下步骤：S11、先对长焦与中焦图像分别进行MSRCR增强处理，按照焦距比缩小长焦图像并嵌入中焦图像，进行可见光像素融合，得到可见光融合图像；S12、检测所述可见光图像的灰度等级，若可见光图像平均灰度值<40，则判断为夜间，打开近红外补光灯进行近红外摄像头拍摄，若可见光图像平均灰度值≥40，则判断为白天，则直接进行近红外摄像头拍摄；S13、对步骤S12中近红外摄像头拍摄的近红外图像进行MSR增强处理，所述可见光图像按YUV通道展开，按照红外、可见光各自亮度差异进行叠加，再转为RGB进行像素融合。5.如权利要求4所述的基于多摄像头像素融合的车载前视多目标跟踪方法，其特征在于，在步骤S13中，具体包括：S131、将可见光图像转为灰度图像，并计算出可见光灰度图像与近红外灰度图像的相同的亮度分量；S132、将所述可见光灰度图像的灰度值和所述近红外灰度图像的灰度值分别减去步骤S131中得到的相同的亮度分量，分别得出所述可见光灰度图像和所述近红外灰度图像特有的分量；S133、新建一幅纯黑的RGB图像，其R通道为所述近红外灰度图像的特有分量，G通道为所述可见光灰度图像的特有分量，B通道为所述近红外灰度图像与所述可见光灰度图像特有分量之间的差值的绝对值，得到R
’
,G
’
,B
’
新图像，再将该R
’
...

【专利技术属性】
技术研发人员：邓亮，金瑞鸣，谢正华，王金磊，
申请(专利权)人：常州星宇车灯股份有限公司，
类型：发明
国别省市：