一种镜头付着物的检测方法、系统、终端和存储介质技术方案

本发明专利技术提供一种镜头付着物的检测方法、系统、终端和存储介质，包括以下步骤：S01：图像分割：对输入图像进行疑似区域分割；S02：特征提取：提取因附着物造成模糊的轮廓区域，并对轮廓内的多种清晰度评价指标进行统计计算，综合多种指标结果判定区域是否为附着物；S03：预警判断：对判定区进行累计标记，累计次数超过报警阈值的处理结果进行预警触发判定。本发明专利技术为保证辅助系统的正常运行，保证用户车身安全，解决镜头受到不同形态的水滴遮挡或者镜头受到深色污迹、光斑、折射光等遮挡污染问题进行检测，及时报警。

A detection method, system, terminal and storage medium of lens object

The invention provides a detection method, system, terminal and storage medium of lens attachment, which comprises the following steps: S01: image segmentation: suspected area segmentation of input image; S02: feature extraction: extraction of contour area blurred by attachment, statistical calculation of multiple definition evaluation indexes in contour, and judgment of whether or not the area is based on multiple index results As attachment; S03: early warning judgment: mark the judgment area cumulatively, and make early warning trigger judgment for the processing results whose cumulative times exceed the alarm threshold. In order to ensure the normal operation of the auxiliary system, ensure the safety of the user's body, solve the problem that the lens is blocked by different forms of water drops or the lens is blocked by dark stains, facula, refracted light, etc. for detection and timely alarm.

【技术实现步骤摘要】
一种镜头付着物的检测方法、系统、终端和存储介质
本专利技术涉及汽车电子
，特别是涉及一种镜头付着物的检测方法、系统、终端和存储介质。
技术介绍
在现有技术中，“自动代客泊车”(AutoValetParking)成为自动驾驶领域的热门技术之一，同样也将是自动驾驶量产道路上的一个重要里程碑。作为一套完整的自动无人驾驶汽车系统，AVP系统以低速驾驶汽车或将汽车停在有限的区域内，如停车场或周围道路。此外，作为泊车辅助的一种功能扩展，也会是最早商业化的全自动驾驶功能之一。车辆行驶过程中，经常遇到路况、天气等偶然原因，会引起镜头存在污渍、雨水遮挡的情况，这些情景对AVP系统的正常运行存在破坏性影响。所以，在车辆行驶中，需要对摄像头画面进行检测，判断成像效果是否可信。
技术实现思路
为了解决上述的以及其他潜在的技术问题，本专利技术提供了一种镜头付着物的检测方法、系统、终端和存储介质，为保证辅助系统的正常运行，保证用户车身安全，需要对镜头受到不同形态的水滴遮挡，例如凝聚水滴、模糊水渍，或者镜头受到深色污迹、光斑、折射光等遮挡污染问题进行检测，及时报警。一种镜头付着物的检测方法，包括以下步骤：S01：图像分割：对输入图像进行疑似区域分割；S02：特征提取：提取因附着物造成模糊的轮廓区域，并对轮廓内的一种或几种评价指标进行统计计算，综合指标结果判定区域是否为附着物；S03：预警判断：对判定区进行累计标记，累计次数超过报警阈值的处理结果进行预警触发。进一步地，所述步骤S01中，图像分割方式可以采用疑似区域分割算法实现或采用深度学习方式实现。进一步地，所述步骤S01中，图像分割方式采用疑似区域分割算法包括以下步骤：S011：图像分割降采样，S012：提取模糊差分图，S013：并进行多图叠加；S014：利用二值化、滤波、形态学、阈值中的一种或几种操作以实现疑似区域图像分割。进一步地，所述步骤S011中，图像分割降采样的操作为以下表述：假设原捕获图像是一张像素值为N*M的图像，假设降采样系数为k，降采样操作是在原捕获图像中每行每列每隔k个像素点取一个点组成一幅降采样图像，降采样图像的作用是减小图像处理的计算量，保证图像处理的实时性。进一步地，所述步骤S012中，提取模糊差分图的操作为以下表述：对捕获图像用滤波算子进行模糊处理，将原图和模糊处理之后的图像相减，取绝对值，获得模糊差分图。假设xsrc为原图，xblur为模糊平滑得到的图像，定义当前模糊差分图像为：deltax＝|xsrc-xblur|。提取模糊差分图的作用是，利用雨水附着的图像区域模糊特性，对滤波平滑算法不敏感；相比无雨水附着区域变化少，得以区分出附着雨水的图像区域。Deltax是当前帧模糊差分图，xsrc是当前帧原图，xblur是当前帧图像滤波平滑处理后的图。所述模糊处理可以为高斯滤波、中值滤波、均值滤波中的一种或几种进行平滑处理。其中使用高斯滤波、中值滤波、均值滤波和滤波核的尺寸关系如下表1所示，：表1优选地，由表1可知在当前图像尺寸情况下，当滤波核尺寸为5时，使用均值滤波的效果最好。进一步地，所述步骤S013中进行多图叠加的操作为以下表述：对S012中得到模糊差分图进行n帧累计xaccum＝delatxk+deltaxk+nXaccum为多帧累加得到的融合特征图，为k帧到k+n帧的累加结果，deltaxk为第k帧时刻的模糊差分图，deltaxk+n为第k+n帧时刻的模糊差分图。累加得到融合特征图的作用是，短时间内雨水形态位置分布变换较少，累积连续多帧模糊差分图能够增强雨水附着模糊区域与背景的对比度，突出图像上的雨水附区域。进一步地，所述步骤S014利用二值化处理、邻域滤波处理、形态学处理的操作为以下表述：在多帧累加得到的融合特征图上二值化作用是，利用自动阈值划分算法，将灰度图转换为二值图，将图像分割为疑似附着物的感兴趣区域和无附着物的区域；邻域滤波作用是统计二值图邻域内像素分布情况，剔除孤立噪点，以减小噪点对附着物感兴趣区域的影响；形态学滤波作用是对二值图进行腐蚀操作去除较小的噪声区域、膨胀操作填充提取疑似区域中存在的空洞，修复疑似区域面积。进一步地，所述步骤S01中，图像分割方式采用深度学习方式包括以下步骤：预处理：将图像下采样到M*N尺寸，对图像数据存储格式进行转换为三通道BGR格式。图像分割：将输入图像数据送入语义分割卷积神经网络，经过正向传播，输出每个像素点的分类，获得疑似附着物区域的像素点集合。进一步地，所述采用深度学习方式获取图像分割结果时，使用的网络模型为语义分割的卷积神经网络，其特征提取的主干网络可以采用resnet18，squeezenet1.1，mobilenent等网络；语义分割反卷积部分采用了PSPnet的框架，融合主干网络最后4层不同尺度的特征图，最终输出与原图大小一致的分割结果图。进一步地，所述步骤S02特征提取中，提取区域提取轮廓的具体表述为：轮廓提取作用是，对处理后的融合特征图进行轮廓提取，得到不同轮廓的像素集合，用于针对不同轮廓区域进行特征提取计算，评价各集合的清晰度与判定为雨水附着区域的可信程度。进一步地，所述步骤S02特征提取中，对轮廓内的多种清晰度评价指标进行统计计算的具体表述为：利用图像统计特征、形状纹理特征、清晰度评价特征中的一种或几种，对划分出的轮廓进行统计计算，得到不同种类的评价指标数值。图像统计特征：Gray、Grads梯度、Laplas二次梯度、mean/variance/max/min数学统计、均值方差、最大值、最小值形状纹理特征：Round/Area圆度和面积、Wavelet_f小波变换算子、清晰度评价特征：Variance、EVA、Hist、LaplasValue＝F(area,vector)。进一步地，所述步骤S02中对划分出的轮廓进行统计计算得到不同种类的评价指标数值时，包括两种评价方式：可信度值累加评价方式和利用分类器对轮廓区域分类判断。进一步地，当利用分类器对轮廓区域分类判断时，对某一轮廓区域，计算得到N种评价指标数值，将N中评价指标数值整合为为该区域的特征向量；统计得到雨水区域的特征向量作为训练样本送入分类器进行训练。分类器可以选择决策树、SVM、BP网络等，实现对分割出的轮廓区域进行分类判别是否为雨水区域。进一步地，当利用可信度值累加评价方式进行判断时，对某一轮廓区域，设置有N中评价指标，每一种评价指标均设置评判选择阈值，该评判选择阈值用于表述某一轮廓区域的评价指标数值是否可以被认定为是雨水区；对轮廓区域分别计算每一种评价指标得到N种评价指标数值，将每一种评价指标分别与该评价指标对应的评判选择阈值作比较，若超过该评价指标的评判选择阈值，则给该轮廓区域可信度加一分；若不超过该评价指标的评本文档来自技高网...

【技术保护点】
1.一种镜头付着物的检测方法，其特征在于，包括以下步骤：/nS01：图像分割：对输入图像进行疑似区域分割；/nS02：特征提取：提取因附着物造成模糊的轮廓区域，并对轮廓内的一种或几种评价指标进行统计计算，综合指标结果判定区域是否为附着物；/nS03：预警判断：对判定区进行累计标记，累计次数超过报警阈值的处理结果进行预警触发。/n

【技术特征摘要】
1.一种镜头付着物的检测方法，其特征在于，包括以下步骤：
S01：图像分割：对输入图像进行疑似区域分割；
S02：特征提取：提取因附着物造成模糊的轮廓区域，并对轮廓内的一种或几种评价指标进行统计计算，综合指标结果判定区域是否为附着物；
S03：预警判断：对判定区进行累计标记，累计次数超过报警阈值的处理结果进行预警触发。


2.根据权利要求1所述的镜头付着物的检测方法，其特征在于，所述步骤S01中，图像分割方式可以采用疑似区域分割算法实现或采用深度学习方式实现。


3.根据权利要求2所述的镜头付着物的检测方法，其特征在于，所述步骤S01中，图像分割方式采用疑似区域分割算法包括以下步骤：
S011：图像分割降采样；
S012：提取模糊差分图；
S013：并进行多图叠加；
S014：利用二值化、滤波、形态学、阈值中的一种或几种操作以实现疑似区域的图像分割。


4.根据权利要求3所述的镜头付着物的检测方法，其特征在于，所述步骤S012中，提取模糊差分图的操作为以下表述：
对捕获图像用滤波算子进行模糊处理，将原图和模糊处理之后的图像相减，取绝对值，获得模糊差分图；
定义当前模糊差分图像为：deltax＝|xsrc-xblur|；
其中Deltax是当前帧模糊差分图，xsrc是当前帧原图，xblur是当前帧图像滤波平滑处理后的图。


5.根据权利要求4所述的镜头付着物的检测方法，其特征在于，所述步骤S013中进行多图叠加的操作为以下表述：对S012中得到模糊差分图进行n帧累计xaccum＝delatxk+deltaxk+n；
其中Xaccum为多帧累加得到的融合特征图，为k帧到k+n帧的累加结果，deltaxk为第k帧时刻的模糊差分图，deltaxk+n为第k+n帧时刻的模糊差分图。


6.根据权利要求5所述的镜头付着物的检测方法，其特征在于，所述步骤S014利用二值化处理、邻域滤波处理、形态学处理的操作为以下表述：
在多帧累加得到的融合特征图上二值化作用是，利用自动阈值划分算法，将灰度图转换为二值图，将图像分割为疑似附着物的感兴趣区域和无附着物的区域；
邻域滤波作用是统计二值图邻域内像素分布情况，剔除孤立噪点，以减小噪点对附着物感兴趣区域的影响；
形态学滤波作用是对二值图进行腐蚀操作去除较小的噪声区域、膨胀操作填充提取疑似区域中存在的空洞，修复疑似区域面积。


7.根据权利要求6所述的镜头付着物的检测方法，其特征在于，所述步骤S01中，图像分割方式采用深度学习方式包括以下步骤：
预处理：将图像下采样到M*N尺寸，对图像数据存储格式进行转换为三通道BGR格式。
图像分割：将输入图像数据送入语义分割卷积神经网络，经过正向传播，输出每个像素点的分类，获得疑似附着物区域的像素点集合。


8.根据权利要求7所述的镜头付着物的检测方法，其特征在于，所...

【专利技术属性】
技术研发人员：罗亮，唐锐，张笑东，于璇，
申请(专利权)人：纵目科技上海股份有限公司，
类型：发明
国别省市：上海;31