车载相机自动遮挡检测方法和装置制造方法及图纸

一种新的自适应车载相机自动遮挡检测方法，同时考虑遮挡物的时域、频域、空域特征，将遮挡物的时域、频域、空域特征相结合，包括静态检测和动态检测两种检测模式，结合IMU和轮速计的相关信息，检测时将静态检测和动态检测相融合，静态检测中选出的遮挡可疑区域可以作为动态检测的输入，上一个检测周期的部分输出也可以作为下一个检测周期的输入；在检测中同时兼顾当前帧静态情况和一个检测周期内的时域变化情况，能够实时准确地检测出车载相机镜头的遮挡情况，检测精度高、效率高，大大提高了自动驾驶或辅助驾驶系统的感知系统的可靠性。

Automatic occlusion detection method and device for vehicle mounted camera

A new automatic occlusion detection method for adaptive vehicle borne camera is proposed. The temporal, frequency and spatial characteristics of the occlusion are considered at the same time. The temporal, frequency and spatial characteristics of the occlusion are combined, including static detection and dynamic detection. Combined with the relevant information of IMU and wheel tachometer, the static detection and dynamic detection are combined in the detection, and the occlusion selected from the static detection is combined The suspicious area can be used as the input of dynamic detection, and part of the output of the previous detection cycle can also be used as the input of the next detection cycle. In the detection, the static situation of the current frame and the time-domain changes in a detection cycle are taken into account, which can detect the occlusion of vehicle camera lens in real-time and accurately, with high detection accuracy and high efficiency, which greatly improves the automatic driving Or the reliability of the perception system of the auxiliary driving system.

【技术实现步骤摘要】
车载相机自动遮挡检测方法和装置
本专利技术涉及自动检测领域，特别涉及一种车载相机自动遮挡检测方法和装置。
技术介绍
智能时代来临，无论是自动驾驶还是驾驶辅助系统，都或多或少地需要视觉模块的支持。视觉模块中相机被遮挡将极大地影响这些功能的正常开启，甚至危及乘客的生命安全，尤其是驾驶过程中突然被外来的异物遮挡，因此需要自动检测相机是否被遮挡。相机遮挡尤其是车载相机遮挡的情况复杂，场景多样，遮挡的异物包括溅射的泥渍、油污、雨水、树叶、雪花覆盖、人为颜料喷涂、车上其他部件(如雨刮器)遮挡等；一旦发生遮挡，需要发出警告，甚至需要关闭基于视觉的自动驾驶功能，提醒驾驶员接管，以保障驾驶安全。对于摄像头遮挡的检测问题，目前已有的方案主要有基于背景建模、基于边缘纹理、基于清晰度/亮度/模糊度，基于时域差分或平均背景、基于直方图评估方法等。基于背景建模的方法主要适用于单一场景下的固定摄像头，基于时域差分或平均背景的方法对透明物遮挡的检测效果有限，其余的几种方法也仅能检测出某几种特定类型的遮挡，上述方法并不适合针对车载相机的遮挡检测。r>中国专利文献CN本文档来自技高网...

【技术保护点】
1.一种车载相机自动遮挡检测方法，其特征在于，包括以下步骤：/n步骤1、获取当前相机图像；/n步骤2、静态检测：基于内部纹理检测空域图像是否存在严重遮挡；/n步骤3、根据步骤2的静态检测结果，如果存在严重遮挡，则实时输出静态遮挡检测结果；/n步骤4、基于轮速计/惯性测量单元(IMU)获取车辆运动状态；/n步骤5、根据获取的车辆运动状态，自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测；/n步骤6、根据动态实时监测结果实时输出动态遮挡监测结果。/n

【技术特征摘要】
1.一种车载相机自动遮挡检测方法，其特征在于，包括以下步骤：
步骤1、获取当前相机图像；
步骤2、静态检测：基于内部纹理检测空域图像是否存在严重遮挡；
步骤3、根据步骤2的静态检测结果，如果存在严重遮挡，则实时输出静态遮挡检测结果；
步骤4、基于轮速计/惯性测量单元(IMU)获取车辆运动状态；
步骤5、根据获取的车辆运动状态，自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测；
步骤6、根据动态实时监测结果实时输出动态遮挡监测结果。


2.根据权利要求1所述的车载相机自动遮挡检测方法，其特征在于，
所述步骤5中根据获取的车辆运动状态，自适应调整检测周期，将遮挡物的空域特征和频域特征进行融合，然后在时域上进行跟踪，进行动态实时监测，包括：
步骤5.1、获取上一检测周期小波变换特征图像的平均结果图；
步骤5.2、计算小波特征平均图的遮挡备选区域；
步骤5.3、对当前帧(即空域)和小波特征平均图(即频域)获得的遮挡区域进行融合；
步骤5.4、基于帧间差分和计数器统计的方法判断步骤5.3中融合后的遮挡区域在时域上是否静止；
步骤5.5、对当前检测周期的每一帧计算小波特征图像并平均；
步骤5.6、重复执行步骤5.1-步骤5.5，进行动态实时监测。


3.根据权利要求1或2所述的车载相机自动遮挡检测方法，其特征在于，
所述步骤2中所述基于内部纹理检测空域图像是否存在严重遮挡包括如下步骤：
步骤2.1、进行图片质量预评估：
步骤2.2、图像金字塔变换：
步骤2.3、边缘提取：
步骤2.4、构建遮挡可疑区域：
步骤2.5、筛选出遮挡备选区域：
步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡。


4.根据权利要求3所述的车载相机自动遮挡检测方法，其特征在于，
所述步骤2.5、筛选出遮挡备选区域包括：
首先对步骤2.4中每个遮挡可疑区域计算面积，去除小于3％图像总面积的区域，去除天空和地面背景；之后剩下的所有区域构成遮挡备选区域，如公式(3)、(4)、(5)所示：
d1＝[(Smean-Sstandard)2+(Vmean-Vstandard)2]/255(3)






首先将原始图像转为HSV图像，其中d1代表该区域与天空的HSV距离，d2代表与地面的HSV距离，为H颜色通道上的偏差角度；Hmean、Smean、Vmean为当前区域H通道、S通道、V通道的平均值，Hstandard、Sstandard、Vstandard为正常天空/地面的参考H值、S值和V值；同时计算步骤2.4中遮挡可疑区域的在y轴上的质心位置y0。


5.根据权利要求3或4所述的车载相机自动遮挡检测方法，其特征在于，
所述步骤2.6、利用小波特征判断遮挡备选区域是否存在严重遮挡包括：
将相机得到的原始图像转换为灰度图像，然后按公式(6)进行离散小波变换：



其中为近似小波...

【专利技术属性】
技术研发人员：殷佳豪，范圣印，姜筱华，单丰武，陈立伟，熊敏，朱祖伟，龚朋朋，弥博文，
申请(专利权)人：江西江铃集团新能源汽车有限公司，北京易航远智科技有限公司，
类型：发明
国别省市：江西;36