【技术实现步骤摘要】
本专利技术涉及一种低成本及实时的监控摄像机异常检测系统和方法，特别是自动检测监控图像模糊异常的系统和方法。
技术介绍
1、虽然现时监控摄像机系统普遍用于安全监控，但因为一个监控摄像机系统可以涉及数千个摄像机的安装，其维护始终是一个问题。此外，这些摄像机大多安装在难以进入的偏远地点。近来机器视觉技术的进步使许多利用监控视频进行事件或人员识别的智能监控应用程序成为可能。这些应用程序的性能高度取决于视频的质量。为确保监控摄像机在最佳状态下运行，其对维护计划的效率和效力施加了进一步的要求。
2、有效的故障检测机制是任何维护方案的前提。最有效检测监控摄像机异常的方法是直接评估其拍摄的视频的质量。传统的监控摄像系统主要采用人手方法来监测系统的运行。这种方法难以使用于现时的监控摄像机系统，因现时系统规模能轻易扩大至包含数千个摄像机。这种方法亦需要大量的工人和广大的空间以安装监控设备，这使系统的成本提高。此外，监测还需要全天候,24/7地进行。人在这种情况下工作的容易犯错。因此，以机械来进行自动监测是更可行的方法。
3、监控系统的本质需要两种不同类型的自动监控摄像机异常检测系统。对于将拍摄到的视频发送到中央服务器进行处理的监控系统，监控摄像机异常检测系统应实施为服务器中的计算过程。由于异常检测只是辅助功能，其复杂性和计算资源要求应尽可能地低，以免影响监控系统的主要功能。另一方面，也有直接以边缘处理拍摄视频并接近摄像机使用的嵌入式监控系统。因此，监控摄像机异常检测系统也应该在嵌入式系统或在附加到原始系统的附加嵌入式系统中实
4、然而，因为监控摄像机的运行会受到许多内部和外部因素的影响，自动检测监控摄像机异常是艰巨的任务。所有因素都会降低拍摄到的监控视频的质量。例如，因为这些监控摄像机大多在户外运行，监控视频的能见度可能会受到大雨、雪、雾、灰尘等恶劣天气状况的影响。视频质量也可能因摄像机的老化或摄像机镜头上的污垢而下降。这对于用于车牌识别或车速检测而安装在收费站和路边的监控摄像机来说尤其常见。能被公众接触到的摄像机也可能令监控视频被入侵者蓄意篡改。所述入侵者可能以手动更改摄像机焦点设置以模糊摄像机视野，或将油漆喷到监控摄像机上以阻挡摄像机视野。由于油漆可以是完全不透明、半透明或具有模糊效果而透明，一般很难检测造成污垢的状况。视频亦有可以清楚地看到背景或完全没有污垢的干净区域。此外，污垢的图案形状不规则而且多样。所有上述降级过程都会为拍摄到的监控视频带来模糊效果。在本专利技术中它们被称为模糊异常。所述模糊异常通常出现在监控视频中，并且会显着地影响使用这些视频的应用程序。设计一种能够有效检测不同类型的模糊异常，但复杂性低和计算资源要求低的自动检测监控摄像机异常系统是一项挑战。
5、因此，需要提供低成本、实时和高效的检测监控摄像机异常的系统和方法。还需要有可以实时自动提醒监控摄像机网络或智能应用程序关于监控视频中的模糊异常的系统和方法。从而，适当的行动可以针对不同的模糊类型而执行。这样的系统不仅减少了维护工作，而且确保其智能决策的准确性对于智能监控应用程序也至关重要。
6、美国专利8964030b2公开了一种具有通过块和整个图像处理来检测故障类型的摄像机故障检测功能的监控摄像机系统。该监控摄像系统包括整体特征提取单元，用于从每个输入图像和参考图像中提取整体特征；块特征提取单元，用于从块分割单元将输入图像和参考图像分割为块之后的图像中提取作为每个块的特征的块特征；故障判定单元，用于计算参考图像的全部特征和输入图像的全部特征之间的第一变分，以及参考图像的块特征和输入图像的块特征之间的第二变分。因此，监控摄像机系统通过使用任意或随机阈值来判定摄像机是否故障。该检测准确性可能是次优的或远不是次优的。此外，该监控摄像机系统需要使用先前的帧作为参考，与当前输入图像进行比较来执行背景建模或追踪背景图像。这种参考方法可能也不准确。因此，需要有一种无参考监控摄像机系统，其中不需要手工制作的特征、手工制作的阈值和来自先前的帧的信息。
7、中国专利106203501 a公开了一种基于机器学习的视频图像模糊异常检测方法。该基于机器学习的视频图像模糊异常检测方法包括以下步骤：对高清视频彩色图像转换为灰度图像；对转换后的灰度图像按照模糊和非模糊人工分为两个类别，对每个图像计算梯度直方图特征。把梯度直方图特征作为分类特征，利用支撑向量机进行训练，保存训练后的参数；利用训练的参数对新输入的图像计算梯度直方图特征，然后利用训练的参数计算支撑向量机的输出结果。然后支撑向量机使用训练好的参数进行二元分类。然而，该异常检测方法只能将视频图像检测及分类为模糊或不模糊。需要具有可以检测和分类不同类型的模糊场景的异常检测系统，以便采取必要的行动来克服异常，并使用不同级别的安全评估，从而能够及时介入。
8、美国专利20200090322 a1公开了一种用于自动机器应用和高级驾驶辅助系统(adas)中的传感器失明检测的深度神经网络处理方法。该专利技术的传感器失明检测方法包括以下步骤：将车辆中图像传感器的视野图像的图像数据应用于神经网络；使用神经网络并基于至少一部分的图像数据判断图像的可见度有否受损。训练神经网络并基于该图像数据的至少一部分地来计算一个或多个可见度受损像素的至少一种失明分类。该方法使用神经网络计算图像数据的标量值。当标量值表示图像可用于执行一项或多项针对至少一种失明分类的操作时，该图像会用于执行一项或多项操作。该专利技术用于传感器失明检测的方法还包括通过使用基于红-蓝-绿(rgb)色谱中的颜色分析和通过增色来训练神经网络忽略图像的预定部分的步骤。因此，机器学习模型被训练在当其未能识别失明的技术限制下进行部署。然而，本专利技术仅适用于一辆车辆的adas。此外，该方法预测每个像素并将其分类为特定类型。这可能需要更复杂的步骤和数据对每个像素分类为特定类型。因此，需要有更通用的方法和更简单的监控图像模糊异常检测系统和方法，其需要更有效的计算，使具有多个摄像机的大规模监控系统能够实时被参与和评估及因而进行多次及时的介入。
技术实现思路
1、本专利技术的目标在于提供一种低成本的监控摄像机异常检测系统和方法，其可以就拍摄到的监控图像中的模糊异常实时通知监控摄像机网络或智能监控应用程序，以便采取必要的行动。
2、本专利技术的目标在于提供一种改进的、高度准确的和自动的监视图像模糊异常检测系统和方法，其用于检测监视图像中的模糊异常，包括自然模糊、散焦模糊、污垢模糊和喷漆模糊。
3、本专利技术的目标还在于提供覆盖不同模糊类型的图像数据集，用于训练、验证和测试用于监控摄像机模糊异常检测的深度学习模型。因此，这些目标通过遵循本专利技术的教导实现，其涉及一种以resnet结构为骨干的深度神经网络模型的低成本实时监控摄像机异常检测系统和方法，并进一步简化以降低计算资源要求。上述目的还可以遵循一种用于监控摄像机异常检测的深度神经网络系统来本文档来自技高网...
【技术保护点】
1.一种用于监控摄像机异常检测的深度神经网络系统，包括：
2.根据权利要求1所述的用于监控摄像机异常检测的深度神经网络系统，其中骨干结构包括具有用于提取特征的扩展因子的残差网络。
3.根据权利要求2所述的用于监控摄像机异常检测的深度神经网络系统，其中骨干结构中的残差网络进一步包括缩放因子。
4.根据权利要求1或3所述的用于监控摄像机异常检测的深度神经网络系统，其中必要行动的通知包括检查、清洁、修理和更换监控摄像机，以及向智能应用程序对于该监控摄像机提供的图像数据的完整性发出警报。
5.根据权利要求4所述的用于监控摄像机异常检测的深度神经网络系统，其中系统可选择添加计算机服务器并连接到监控摄像机。
6.一种用于监控摄像机异常检测的深度神经网络方法，包括：
7.根据权利要求6所述的用于监控摄像机异常检测的深度神经网络方法，其中计算和处理包括使用扩展因子来减小参数数量。
8.根据权利要求7所述的用于监控摄像机异常检测的深度神经网络方法，其中计算和处理进一步包括使用缩放因子来减小通道数量。
9
10.根据权利要求6或9所述的用于监控摄像机异常检测的深度神经网络方法，其中方法包括训练、验证和测试深度神经网络于检测监控摄像机获得的图像数据中模糊异常。
11.根据权利要求10所述的用于监控摄像机异常检测的深度神经网络方法，其中图像数据是用模糊异常合成的，用于训练深度神经网络。
12.根据权利要求11所述的用于监控摄像机异常检测的深度神经网络方法，其中图像数据包括正常图像、自然模糊图像、散焦模糊图像、污垢模糊图像和喷漆模糊图像的类别。
13.根据权利要求12所述的用于监控摄像机异常检测的深度神经网络方法，其中自然模糊图像包括受恶劣天气状况影响的图像。
14.根据权利要求12所述的用于监控摄像机异常检测的深度神经网络方法，其中散焦模糊图像、污垢模糊图像和喷漆模糊图像包括因监控摄像机的老化、被误用和被蓄意篡改所产生的图像。
15.根据权利要求6或9所述的用于监控摄像机异常检测的深度神经网络方法，其中获取预定数据集的方法进一步包括：
16.根据权利要求15所述的用于监控摄像机异常检测的深度神经网络方法，其中恶劣天气状况包括雾、大雨、大雪和强风。
17.根据权利要求15所述的用于监控摄像机异常检测的深度神经网络方法，其中方法进一步包括在从监控摄像机收集多个图像之后，生成用于测试深度神经网络的额外一组散焦模糊效果图像、污垢模糊效果图像和喷漆模糊效果图像，用于测试深度神经网络。
18.根据权利要求17所述的用于监控摄像机异常检测的深度神经网络方法，其中额外的散焦模糊效果图像、污垢模糊效果图像和喷漆模糊图像组分别通过调整摄像机焦距、在摄像机镜头上产生污垢和在摄像机镜头上喷漆以生成。
...【技术特征摘要】
1.一种用于监控摄像机异常检测的深度神经网络系统，包括：
2.根据权利要求1所述的用于监控摄像机异常检测的深度神经网络系统，其中骨干结构包括具有用于提取特征的扩展因子的残差网络。
3.根据权利要求2所述的用于监控摄像机异常检测的深度神经网络系统，其中骨干结构中的残差网络进一步包括缩放因子。
4.根据权利要求1或3所述的用于监控摄像机异常检测的深度神经网络系统，其中必要行动的通知包括检查、清洁、修理和更换监控摄像机，以及向智能应用程序对于该监控摄像机提供的图像数据的完整性发出警报。
5.根据权利要求4所述的用于监控摄像机异常检测的深度神经网络系统，其中系统可选择添加计算机服务器并连接到监控摄像机。
6.一种用于监控摄像机异常检测的深度神经网络方法，包括：
7.根据权利要求6所述的用于监控摄像机异常检测的深度神经网络方法，其中计算和处理包括使用扩展因子来减小参数数量。
8.根据权利要求7所述的用于监控摄像机异常检测的深度神经网络方法，其中计算和处理进一步包括使用缩放因子来减小通道数量。
9.根据权利要求8所述的用于监控摄像机异常检测的深度神经网络方法，其中扩展因子为0.75及缩放因子为4。
10.根据权利要求6或9所述的用于监控摄像机异常检测的深度神经网络方法，其中方法包括训练、验证和测试深度神经网络于检测监控摄像机获得的图像数据中模糊异常。
11.根据权利要求10...
【专利技术属性】
技术研发人员：伦栢江，曾锡豪，潘奕昆，陈锐霖，陈德林，洪益东，
申请(专利权)人：产品可靠性暨系统安全研发中心有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。