一种摄像机异常检测方法及装置制造方法及图纸

本发明专利技术公开一种摄像机异常检测方法及装置，通过计算机视觉方法实时检测摄像机是否发生异常，并在检测发生异常时进行报警。方法包括：根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型；将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息；根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。

A method and device for camera anomaly detection

The invention discloses a camera anomaly detection method and device, which detects the abnormal of the camera in real time by the computer vision method, and detects the abnormal event when it detects. The method includes: according to the preset abnormal image sets and normal image set to train the neural network, are used to determine the type of each pixel in the image semantic segmentation model, the type species contain abnormal type and normal type; the image input camera of the semantic segmentation model, get the characteristic information corresponding to the image according to the characteristics of information judgment; corresponding to the image of the camera is abnormal, and in determining the abnormal alarm.

【技术实现步骤摘要】
一种摄像机异常检测方法及装置
本专利技术涉及计算机视觉领域，特别涉及一种摄像机异常检测方法及装置。
技术介绍
在基于视觉的无人驾驶车辆、机器人等应用场景中，通常由装载在自动驾驶车辆、高级辅助驾驶车辆、机器人等上的摄像机拍摄周边的环境，再由决策控制单元根据摄像机拍摄的图像进行决策并控制自动驾驶车辆、高级辅助驾驶车辆、机器人等。因此，摄像头拍摄的图像质量对决策控制单元进行决策起着至关重要的作用。然而，在实际应用中，摄像机由于出现一些异常情况导致拍摄的图像质量较差，从而会影响决策控制单元作出决策的准确性，例如：摄像机镜头上有虫子尸体、粘稠液体污损、雨滴、镜头的曝光装置出现问题导致图像过曝光或欠曝光等异常情况。如图1A、图1B、图1C、图1D、图1E和图1F所示，分别为摄像机拍摄得到的异常图像，依次为包含不透明污损图像、包含雨滴图像、包含透明污损图像、包含昆虫液体图像、过曝光图像和欠曝光图像。因此，如何能够实时的检测出摄像机异常并进行报警则成为亟待解决的技术问题。
技术实现思路
鉴于上述问题，本专利技术提供一种摄像机异常检测方法及装置，通过计算机视觉方法实时检测摄像机是否发生异常，并在检测发生异常时进行报警。本专利技术实施例，一方面，提供一种摄像机异常检测方法，该方法包括：根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型；将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息；根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。本专利技术实施例，还提供一种摄像机异常检测装置，包括：训练单元，用于根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型；信息获取单元，用于将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息；异常检测单元，用于根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。本专利技术实施例，本专利技术实施例，一方面，能够实现实时检测摄像机是否异常以及在异常时进行报警，以便操作人员及时获知摄像机发生异常，并对摄像机进行及时处理；另一方面，通过异常图像集和正常图像集对神经网络进行训练，能够提高训练得到的语义分割模型的健壮性和准确性。附图说明附图用来提供对本专利技术的进一步理解，并且构成说明书的一部分，与本专利技术的实施例一起用于解释本专利技术，并不构成对本专利技术的限制。图1A～图1F为摄像机拍摄的异常图像；图2为本专利技术实施例中摄像异常检测方法的流程图；图3为本专利技术实施例中训练神经网络得到语义分割模型的示意图之一；图4为本专利技术实施例中训练神经网络得到语义分割模型的示意图之二；图5为本专利技术实施例中根据连续多帧图像对应的特征信息确定摄像机是否异常的示意图之一；图6A～图6C为图5所示方法的一个具体实例的过程示意图；图7A～图7C为图5所示方法的另一个具体实例的过程示意图；图8为本专利技术实施例中根据连续多帧图像对应的特征信息确定摄像机是否异常的示意图之二；图9为本专利技术实施例中根据一帧图像对应的特征信息判断摄像机是否异常的示意图之一；图10为本专利技术实施例中根据一帧图像对应的特征信息判断摄像机是否异常的示意图之二；图11为本专利技术实施例中摄像异常检测装置的结构示意图。具体实施方式为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本专利技术实施例提供的摄像机异常检测方法主要适用于自动驾驶车辆、高级辅助驾驶车辆、机器人等人工智能设备上。实施例一参见图2，为本专利技术实施例中摄像机异常检测方法的流程图，该方法包括：步骤201、根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型。第一示例，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型为有污损。第二示例，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型包括透明污损和不透明污损。第三示例，所述异常图像集包括过曝光图像和欠曝光图像，所述异常类型包括过曝光、欠曝光，所述正常类型为正常曝光。第四示例，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括有污损、无污损、过曝光和欠曝光。第五示例，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括透明污损、不透明污损、无污损、过曝光和欠曝光。本专利技术实施例中，异常图像集、正常图像集、异常类型和正常类型，并不仅限于第一示例～第五示例，在此不再穷举。本专利技术实施例中，异常图像集可预先通过镜头包含不同污损物的同类型摄像机(即后续被判断是否异常的摄像机同类型)分别采集图像得到。正常图像集可预先通过镜头上无污损的同类型摄像机采集图像得到。本申请不做详细描述。用于训练语义分割模型的神经网络可以是具有语义分割功能的任意一种神经网络模型，本申请不做严格限定。步骤202、将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息。步骤203、根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。在一个实施例中，前述步骤201中，具体可通过图3所示的流程实现，包括：步骤201A、采用异常图像集对所述神经网络进行训练，得到初级语义分割模型。步骤201B、将正常图像集中的正常图像输入所述初级语义分割模型中，输出正常图像对应的语义分割结果，并将语义分割结果有误的正常图像加入所述异常图像集中，以得到新的异常图像集。由于正常图像与异常图像相比，其采集难度更低，为了提高语义分割模型的训练效率，本专利技术实施例仅将通过初级语义分割模型后输出的检测有误的正常图像添加到异常图像集中。步骤201C、采用新的异常图像集对所述初级语义分割模型进行训练，得到语义分割模型。本专利技术实施例中，在通过异常图像集训练得到初始语义分割模型之后，还通过正常图像集对初始语义分割模型进行测试，将错误检测的图像(即正样本)挑选出来并为该图像的每个像素打上正常类型的标签，加入到异常图像集中；并基于新的异常图像集对初始语义分割模型进行训练得到语义分割模型，这样做的目的是，希望通过添加错误检测的正样本，提高语义分割模型的健壮性和降低语义分割模型的错误检测率。优选地，为进一步提高训练得到的语义分割模型的健壮性和准确性，本领域技术人员还可以基于图3所示流程的启示，得到如图4所示的替代方案来实现步骤201，方法包括：步骤201A’、采用异常图像集对所述神经网络进行训练，得到初级语义分割模型。步骤201B’、将正常图像集中的正常图像输入初级语义分割模型中，输出正常图像对应的语义分割结果。步骤201C’、确定语义分割错误的正常图像的数量，并根据所述数量本文档来自技高网...

【技术保护点】
一种摄像机异常检测方法，其特征在于，包括：根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型；将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息；根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。

【技术特征摘要】
1.一种摄像机异常检测方法，其特征在于，包括：根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属类型的语义分割模型，类型的种类包含异常类型和正常类型；将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息；根据所述图像对应的特征信息判断所述摄像机是否异常，并在确定异常时进行报警。2.根据权利要求1所述的方法，其特征在于，将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息，具体为：将摄像机拍摄的连续多帧图像输入所述语义分割模型中，得到每帧图像对应的特征信息；根据所述图像对应的特征信息判断所述摄像机是否异常，具体为：根据所述多帧图像对应的特征信息判断所述摄像机是否异常。3.根据权利要求2所述的方法，其特征在于，所述特征信息为所述语义分割模型中softmax层输出的各像素所属类型；根据所述多帧图像对应的特征信息判断所述摄像机是否异常，具体包括：将多帧图像中位于同一位置的多个像素拟化成一个虚拟像素，并根据所述多个像素所属类型确定所述虚拟像素所属类型，将所述虚拟像素作为语义分割结果图中相应位置的一个像素，依此得到语义分割结果图；在判断所述语义分割结果图中包含所属类型为异常类型的像素的数量大于等于预置的数量阈值时，确定所述摄像机异常。4.根据权利要求2所述的方法，其特征在于，所述特征信息为所述语义分割模型中softmax层的前一层神经网络卷积层输出的特征图；根据所述多帧图像对应的特征信息判断所述摄像机是否异常，具体包括：将所述多帧图像对应的特征图进行合并后输入到预置的第一后处理模型中，得到所述摄像机是否异常的结果；其中，所述第一后处理模型为预先采用样本图像和所述语义分割模型对神经网络模型进行训练得到。5.根据权利要求1所述的方法，其特征在于，将摄像机拍摄的图像输入所述语义分割模型中，得到所述图像对应的特征信息，具体为：将摄像机拍摄的一张图像输入所述语义分割模型中，得到所述一张图像对应的特征信息；根据所述图像对应的特征信息判断所述摄像机是否异常，具体为：根据所述一张图像对应的特征信息判断所述摄像机是否异常。6.根据权利要求5所述的方法，其特征在于，所述特征信息为所述语义分割模型中softmax层输出的各像素所属类型；根据所述一张图像对应的特征信息判断所述摄像机是否异常，具体包括：判断所述一张图像中所属类型为异常类型的像素的数量是否大于等于预置数量阈值，若是则确定所述摄像机异常，若否则确定所述摄像机正常。7.根据权利要求5所述的方法，其特征在于，所述特征信息为所述语义分割模型中softmax层的前一层神经网络卷积层输出的特征图；根据所述一张图像对应的特征信息判断所述摄像机是否异常，具体包括：将所述一张图像对应的特征图输入到预置的第二后处理模型中，得到所述摄像机是否异常的结果；其中，所述第二后处理模型为预先采用样本图像和所述语义分割模型对神经网络模型进行训练得到。8.根据权利要求1～7任一项所述的方法，其特征在于，根据预置的异常图像集和正常图像集对神经网络进行训练，得到用于确定图像中各像素所属异常类型的语义分割模型，具体包括：采用异常图像集对所述神经网络进行训练，得到初级语义分割模型；将正常图像集中的正常图像输入所述初级语义分割模型中，输出正常图像对应的语义分割结果，并将语义分割结果有误的正常图像加入所述异常图像集中，以得到新的异常图像集；采用新的异常图像集对所述初级语义分割模型进行训练，得到语义分割模型。9.根据权利要求1～7任一项所述的方法，其特征在于，所述异常图像集包括透明污损图像和不透明污损图像，所述正常类型为无污损，所述异常类型为有污损，或者所述异常类型包括透明污损和不透明污损；或者，所述异常图像集包括过曝光图像和欠曝光图像，所述异常类型包括过曝光、欠曝光，所述正常类型为正常曝光；或者，所述异常图像集包括透明污损图像、不透明污损图像、曝光图像和欠曝光图像，所述正常类型包括正常曝光和无污损，所述异常类型包括有污损、无污损、过曝光和欠曝光；或者，所述异常类型包括透明污损、...

【专利技术属性】
技术研发人员：王乃岩，黄秀坤，
申请(专利权)人：北京图森未来科技有限公司，
类型：发明
国别省市：北京,11