【技术实现步骤摘要】
本专利技术涉及图像处理与计算机视觉的，具体为一种无人矿卡摄像头镜头脏污的检测方法及系统。
技术介绍
1、智能无人驾驶汽车装载了大量的传感器，使车辆具备了环境感知能力，能够自动分析车辆周边路况及目标障碍物情况，确保车辆行驶安全和路径规划提供了依据。车载传感器如摄像机、雷达等大都暴露在车辆外部，在行驶过程中，这些传感器会受到不同程度的污染，尤其恶劣环境路况下，以摄像机为例，车辆行驶到泥泞路段上，泥浆可能飞溅到摄像机表面，造成镜头脏污，使得拍摄图像清晰度下降，造成图像识别感知的结果下降，会对自动驾驶安全造成很大影响。所以，对摄像头脏污进行准确检测，并在检测到摄像头脏污后进行及时处理非常重要。
2、对摄像头脏污进行检测的方法有基于图像特征的传统方法和基于深度学习的模型检测方法。基于图像特征的传统检测方法，比较常见的是通过信息熵计算摄像头拍摄到图像的质量，根据图像质量是否大于预设的判定阈值，确定摄像头存在脏污。这种方法在图像质量较好时，检测效果比较准确，但是对夜晚或雾天、扬尘等场景，摄像机图像质量本身就很差，并非是真的摄像头脏污，比较容易存在误检的情况，另外脏污区域的大小也对检测结果的准确性存在影响；基于深度学习的检测方法有基于分类模型直接进行判定，也有基于检测/分割模型+后处理分析的，基于深度学习模型的方法检测效果需要收集大量样本收集和标定工作的支持，同时模型检测会占用大量的计算资源，对于车端有设备有限的在计算资源是很大的负担。
技术实现思路
1、鉴于上述存在的问题，提出了本专
2、因此，本专利技术解决的技术问题是：现有基于图像特征的摄像头脏污的检测方法存在检测不准确、很难适应不同环境，鲁棒性较差的技术问题。基于模型的方法存在样本需求量大，计算负载占用多的情况，这对车端紧缺的计算资源是一个挑战。
3、为解决上述技术问题，本专利技术提供如下技术方案：一种无人矿卡摄像头镜头脏污的检测方法，其包括如下步骤，
4、读取组合惯导的定位信息获取车辆运动状态和速度；对车辆运动时相邻图像帧相关性及梯度灰度进行计算；根据累积融合多帧运动图像的分析特征，对融合特征进行多尺度的分析；根据融合的相关性梯度灰度特征进行分析，对不同大小的脏污区域进行检测。
5、作为本专利技术所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述获取车辆运动状态和速度包括，实时对车辆进行运动检测，检测车辆是否处于运动状态，所述进行运动检测包括，利用摄像机图像数据以及组合惯导定位数据，若车辆搭载定位设备，则通过定位数据直接判断车辆运动状态，若车辆未搭载定位设备则无定位数据，即使用摄像机图像进行运动检测。
6、当获取定位数据后，读取定位信息的空间坐标位置和x轴、y轴以及z轴的速度信息，当x轴、y轴以及z轴的速度向量模值任一大于阈值，则判断车辆为运动状态，若小于等于阈值，则判断为未运动。
7、所述使用摄像机图像进行运动检测包括读取图像数据，获取摄像机采集的图像数据，通过图像帧差进行运行判断。
8、作为本专利技术所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述通过图像帧差进行运行判断包括，利用帧间插分法计算相邻两帧图像差值，当相邻两帧图像差值大于阈值，则判定为车辆运动，若当相邻两帧图像差值小于等于阈值，则判定为车辆静止。
9、根据车辆的运动判定状态判断是否需要对图像进行处理。
10、作为本专利技术所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述根据车辆的运动判定状态判断是否需要对图像进行处理包括，若车辆运动，则进行后续处理，若车辆静止，则不进行操作。
11、所述后续操作包括图像降频、图像子区域划分以及图像特征的计算。
12、所述图像特征的计算包括，对每个子区域进行图像相关性均值计算、对每个子区域进行图像梯度均值计算以及灰度均值计算。
13、所述图像相关性均值计算包括计算每个像素点局部window内的相关值，将子区域内的相关性值取平均值。
14、所述图像梯度均值计算包括，分别使用sobel水平和垂直方向的两个3*3的矩阵算子与原始图片作卷积，得到横向g(x)和纵向g(y)的梯度值，取横向g(x)和纵向g(y)的梯度值的最大值为梯度值，将子区域内的梯度值取平均值。
15、所述灰度均值计算包括，将彩色图像转换为灰度图像，根据灰度图计算每个子区域的灰度平均值。
16、作为本专利技术所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述对融合特征进行多尺度的分析包括，将每帧得到的子区域相关性均值、梯度均值、灰度均值按照区域进行多帧数值累加，得到多帧累加子区域相关性均值和、累加子区域梯度均值和以及累加子区域灰度均值和，累计，累计到帧数阈值后，对每个子区域的多帧累加相关性均值和、多帧累加梯度均值和、多帧累加灰度均值和求取帧平均值，得到原始m*n个子区域尺度的帧均值，得到帧均值后，进行上采样均值求取，上采样子区域数量为在上采样子区域内计算相关性帧均值、梯度帧均值、灰度帧均值。
17、作为本专利技术所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述根据融合的相关性梯度灰度特征进行分析包括，在原始子区域和上采样子区域尺度上，选取梯度阈值tgrad对子区域梯度帧均值进行二值化，对二值化后的图像进行连通域提取和空洞填充，得到高梯度区域和低梯度区域两类联通区域。
18、在原始子区域和上采样子区域尺度上，选取g*h的滑动窗口，在滑动窗口区域内，使用窗口均值varv+tcorr对滑动窗口中心的子区域的相关性帧均值进行二极化，取高于阈值的区域得到高梯度区域。
19、在原始子区域和上采样子区域尺度上，选取g*h的滑动窗口，在滑动窗口区域内，使用窗口均值varv—tgray对滑动窗口中心的子区域的相关性帧均值进行二极化，取低于阈值的区域得到低梯度区域。
20、将相关性提取区域和高梯度区域进行相交运算，得到原始子区域和上采样子区域尺度上高梯度区域的脏污区域。
21、在原始子区域和上采样子区域尺度上，将低灰度区域和低梯度区域进行相交运算，得到原始子区域和上采样子区域尺度上低梯度区域的脏污区域。
22、作为本专利技术所述的一种无人矿卡摄像头镜头脏污的检测方法的一种优选方案，其中：所述对不同大小的脏污区域进行检测包括，将原始子区域尺度提取的高梯度区域的脏污区域和原始子区域尺度提取低梯度脏污区域进行合并得到原始子区域的脏污检测结果。
23、将上采样子区域提取的高梯度脏污区域和上采样子区域提取的低梯度脏污区域合并得到上采样子区域的脏污检测结果。
24、将原始子区域的脏污检测结果和上采样子区域的脏污检测结果进行尺度对齐后融合，融合采用保守融合方式，即原始子区域和上采样子区域检测的结果都保留下来，得到融合后的子区域检测结果。
25、对融合后的子区域检测结果进行分析，计算脏污本文档来自技高网...
【技术保护点】
1.一种无人矿卡摄像头镜头脏污的检测方法，其特征在于，包括：
2.如权利要求1所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述获取车辆运动状态和速度包括，实时对车辆进行运动检测，检测车辆是否处于运动状态，所述进行运动检测包括，利用摄像机图像数据以及组合惯导定位数据，若车辆搭载定位设备，则通过定位数据直接判断车辆运动状态，若车辆未搭载定位设备则无定位数据，即使用摄像机图像进行运动检测；
3.如权利要求2所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述通过图像帧差进行运行判断包括，利用帧间插分法计算相邻两帧图像差值，当相邻两帧图像差值大于阈值，则判定为车辆运动，若当相邻两帧图像差值小于等于阈值，则判定为车辆静止；
4.如权利要求3所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述根据车辆的运动判定状态判断是否需要对图像进行处理包括，若车辆运动，则进行后续处理，若车辆静止，则不进行操作；
5.如权利要求4所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述对融合特征进行多尺度的分析包括，将每帧得到
6.如权利要求5所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述根据融合的相关性梯度灰度特征进行分析包括，在原始子区域和上采样子区域尺度上，选取梯度阈值Tgrad对子区域梯度帧均值进行二值化，对二值化后的图像进行连通域提取和空洞填充，得到高梯度区域和低梯度区域两类联通区域；
7.如权利要求6所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述对不同大小的脏污区域进行检测包括，将原始子区域尺度提取的高梯度区域的脏污区域和原始子区域尺度提取低梯度脏污区域进行合并得到原始子区域的脏污检测结果；
8.一种采用如权利要求1～7任一所述的一种无人矿卡摄像头镜头脏污的检测方法的系统，其特征在于：包括组合惯导定位模块、图像帧处理模块、多帧运动图像融合分析模块、脏污区域检测模块、车辆运动状态判定模块、图像特征计算模块；
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的一种无人矿卡摄像头镜头脏污的检测方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述一种无人矿卡摄像头镜头脏污的检测方法的步骤。
...【技术特征摘要】
1.一种无人矿卡摄像头镜头脏污的检测方法，其特征在于，包括：
2.如权利要求1所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述获取车辆运动状态和速度包括，实时对车辆进行运动检测，检测车辆是否处于运动状态，所述进行运动检测包括，利用摄像机图像数据以及组合惯导定位数据，若车辆搭载定位设备，则通过定位数据直接判断车辆运动状态，若车辆未搭载定位设备则无定位数据，即使用摄像机图像进行运动检测；
3.如权利要求2所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述通过图像帧差进行运行判断包括，利用帧间插分法计算相邻两帧图像差值，当相邻两帧图像差值大于阈值，则判定为车辆运动，若当相邻两帧图像差值小于等于阈值，则判定为车辆静止；
4.如权利要求3所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述根据车辆的运动判定状态判断是否需要对图像进行处理包括，若车辆运动，则进行后续处理，若车辆静止，则不进行操作；
5.如权利要求4所述的一种无人矿卡摄像头镜头脏污的检测方法，其特征在于：所述对融合特征进行多尺度的分析包括，将每帧得到的子区域相关性均值、梯度均值、灰度均值按照区域进行多帧数值累加，得到多帧累加子区域相关性均值和、累加子区域梯度均值和以及累加子区域灰度均值和，累计，累计到帧数阈值后，对每个子区域的多帧累加相关性均值和、多帧累加梯度均值和、多帧累加灰度均值和求取帧平均值，得到原始m*n个子区域尺...
【专利技术属性】
技术研发人员：赵耀忠，刘强，曹鋆程，王喜贤，高树军，陈志松，林杨，房圆武，
申请(专利权)人：华能伊敏煤电有限责任公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。