街道的异常事件检测方法、装置、设备及介质制造方法及图纸

本申请提供了一种街道的异常事件检测方法，包括：获取目标图像和参考图像，参考图像记录的街道景象中不包括异常事件，然后输入目标图像和参考图像至语义差异提取网络，获得目标图像相对于参考图像的语义差异区域，接着根据所述语义差异区域获得检测结果，该检测结果用于表征目标图像记录的街道景象中是否包括异常事件。该方法提高了检测准确度，降低了误警率，进而提高了用户体验。进而提高了用户体验。进而提高了用户体验。

【技术实现步骤摘要】
街道的异常事件检测方法、装置、设备及介质


[0001]本申请涉及人工智能(artificial intelligence，AI)
，尤其涉及一种街道的异常事件检测方法、装置、设备以及计算机可读存储介质。

技术介绍

[0002]随着人工智能技术的不断发展，尤其是深度学习在图像处理任务中取得的进展，越来越多的场景采用抓拍图像或者拍摄视频，然后对图像或者视频中特定事件进行检测的方式，实现实时地自动化监控。例如，在城市管理场景中，通过人工智能技术对街道的监控视频中的街道占用等异常事件进行检测，从而实现智能街道巡查。
[0003]当前，业界主要采用背景建模技术对图像或视频中街道的异常事件进行检测。具体地，对图像或视频流中每个像素点进行建模，学习得到每个像素点在稳定背景状态下的概率分布，通过像素概率分布的拟合情况判断图像或视频流的当前图像帧中的运动前景区域和稳定背景区域。当人工划定的街道中有较大面积被识别为运动前景区域，则认为该街道存在街道占用等异常事件。但是这种检测方法的准确度不高，常常会产生大量误报，影响用户体验。基于此，业界亟需提供一种准确度较高的街道的异常事件检测方法。

技术实现思路

[0004]本申请提供了一种街道的异常事件检测方法，解决了相关技术中检测准确度不高，产生大量误报，影响用户体验的问题。本申请还提供了对应的装置、设备、计算机可读存储介质以及计算机程序产品。
[0005]第一方面，本申请提供了一种街道的异常事件检测方法。该方法通过从街道的监控图像中提取语义差异区域，基于该语义差异区域进行街道的异常事件检测，从而避免光线、天气等噪声差异对异常事件检测产生干扰，提高了检测准确度，降低了误警率，进而提高了用户体验。
[0006]具体地，先获取目标图像和参考图像，其中，目标图像为待检测的图像，参考图像是检测目标图像时所参考的图像，参考图像记录的街道景象中不包括异常事件，将目标图像和参考图像输入语义差异提取网络，该语义差异提取网络可以提取出目标图像和参考图像各自的语义特征，基于该语义特征可以确定目标图像相对于参考图像的语义差异区域，根据该语义差异区域进行街道的异常事件检测，获得检测结果。该检测结果用于表征目标图像记录的街道景象中是否包括所述异常事件。
[0007]在一些可能的实现方式中，异常事件是指与街道中常态不相符或者与相关规定不符的事件。作为一个示例，异常事件可以包括违规事件、安全事故和/或安全隐患事件中的任意一种或多种。
[0008]其中，违规事件可以包括违反道路交通安全条例的违规停车等异常事件，也可以包括违反市容和环境卫生管理条例的占道经营、乱堆物料、游商小贩或者乱扔垃圾等异常事件。安全事故可以是路面塌陷或者是交通事故等异常事件。安全隐患事件可以是缺乏安
全警示标志、安全警示标志不明显、交通指示灯故障等异常事件。
[0009]通过设置上述异常事件，可以实现实时地智能街道巡查。一方面提高了巡查效率，另一方面降低了巡查成本。而且，该方法能够对安全、卫生等多个方面进行全面巡查，具有较高可用性。
[0010]在一些可能的实现方式中，在根据语义差异区域进行异常事件检测时，可以利用语义差异区域的图像与已知异常事件类型的图像的相似度确定检测结果。具体地，先根据语义差异区域获得至少一个检测图像，其中，每个检测图像由目标图像中的语义差异区域进行分割获得，然后根据至少一个检测图像与小样本支撑集中的小样本支撑图像的相似度确定检测结果。
[0011]其中，小样本支撑集中包括表示不同异常事件的小样本支撑图像。根据检测图像与小样本支撑集中至少一个小样本支撑图像的相似度可以确定检测图像对应的异常事件的类型，从而获得检测结果。
[0012]该实现方式可以适用于监控应用(视频监控应用或图像监控应用)的任何阶段，尤其是应用初期，样本数量较少时，根据检测图像和小样本支撑集中的小样本支撑图像的相似度进行街道的异常事件检测，具有较高准确度。
[0013]在一些可能的实现方式中，在根据语义差异区域进行异常事件检测时，也可以通过事件分类网络实现。具体地，输入至少一个检测图像至事件分类网络，其中，每个检测图像是由目标图像中的语义差异区域进行分割获得，事件分类网络是由知识库中的多个图像和类型标签训练得到，类型标签用于标识图像对应的事件的类型，事件分类网络具体是利用图像和类型标签作为样本数据，采用监督学习方式训练得到，利用事件分类网络对检测图像进行检测，可以获得检测结果。
[0014]知识库中的图像可以是检测图像，也可以是通过其他方式获得的图像，或者是这两种图像的组合。其中，知识库中的图像为检测图像时，可以根据检测图像与小样本支撑集中至少一个小样本支撑图像的相似度确定该图像的类型标签。
[0015]当样本数量较多时，如应用后期，利用监督学习训练得到的事件分类网络进行街道的异常事件检测可以进一步提高检测准确度，降低误报率，提高用户体验。
[0016]在一些可能的实现方式中，还可以向用户提供检测结果，然后获取用户对检测结果的反馈，该反馈包括对检测图像对应的事件类型的纠正，如此，通过结合用户反馈进一步提高了检测准确度。
[0017]考虑到后续检测过程的准确度，还可以根据上述反馈更新小样本支撑集。具体地，根据反馈更新小样本支撑集可以分为以下几种情况:
[0018]第一种情况是，根据反馈向所述小样本支撑集中增加第一小样本支撑图像，所述第一小样本支撑图像记录的街道景象中包括第一指定类型的异常事件。
[0019]第二种情况是，根据反馈从所述小样本支撑集中删除第二小样本支撑图像，所述第二小样本支撑图像记录的街道景象中包括第二指定类型的异常事件。
[0020]第三种情况是，根据反馈从所述小样本支撑集中修改第三小样本支撑图像，所述第三小样本支撑图像记录的街道景象中包括第三指定类型的异常事件。
[0021]在该实现方式中，基于检测图像构建知识库时，为了提高样本精度，还可以根据用户对检测结果的反馈确定检测图像的类型标签。
[0022]在一些可能的实现方式中，还可以将检测结果通过可视化方式展示，以便用户快速获知检测结果。具体地，根据目标图像和检测结果，生成可视化结果图。该可视化结果图像可以展示目标图像记录的街道景象中所包括的异常事件。
[0023]其中，生成可视化结果图包括多种实现方式：
[0024]一种实现方式为，在目标图像上添加检测框，该检测框可以是矩形框或者其他形状的框，用于标识出目标图像中的语义差异区域。再在目标图像的对应位置添加异常事件的类型，从而得到可视化结果图。
[0025]另一种实现方式为，在获得检测结果时，在目标图像的对应位置(语义差异区域对应位置)添加检测结果标志，形成可视化结果图。该检测结果标志可以是小旗子或者是星形等标志，用于标识街道中的该位置存在异常事件。
[0026]其中，可视化结果图中还可以展示各位置存在的异常事件的类型。可视化结果图可以直接在检测结果标志附近展示各位置存在的异常本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种街道的异常事件检测方法，其特征在于，所述方法包括：获取目标图像和参考图像，所述参考图像记录的街道景象中不包括所述异常事件；输入所述目标图像和所述参考图像至语义差异提取网络，获得所述目标图像相对于所述参考图像的语义差异区域；根据所述语义差异区域，获得检测结果，所述检测结果用于表征所述目标图像记录的街道景象中是否包括所述异常事件。2.根据权利要求1所述的方法，其特征在于，所述街道的异常事件包括：违规事件、安全事故和/或安全隐患事件。3.根据权利要求1或2所述的方法，其特征在于，所述根据所述语义差异区域，获得检测结果，包括：根据所述语义差异区域获得至少一个检测图像，每个检测图像由所述目标图像中的语义差异区域进行分割获得；根据所述至少一个检测图像与小样本支撑集中的小样本支撑图像的相似度确定所述检测结果，所述小样本支撑集中包括表示不同异常事件的小样本支撑图像。4.根据权利要求1或2所述的方法，其特征在于，所述根据所述语义差异区域，获得检测结果，包括：输入至少一个检测图像至事件分类网络，获得检测结果，其中，每个检测图像由所述目标图像中的语义差异区域进行分割获得，所述事件分类网络由知识库中的多个图像和类型标签训练得到，所述类型标签用于标识图像对应的事件的类型。5.根据权利要求3或4所述的方法，其特征在于，所述方法还包括：向用户提供所述检测结果；获取用户对所述检测结果的反馈，所述反馈包括对检测图像对应的事件的类型的纠正。6.根据权利要求1至5任一项所述的方法，其特征在于，所述方法还包括：根据所述目标图像和所述检测结果，生成可视化结果图。7.根据权利要求1至6任一项所述的方法，其特征在于，所述参考图像为视频流中的图像帧，所述方法还包括：获取所述视频流中当前图像帧的运动前景像素占比；所述当前图像帧的运动前景像素占比小于所述视频流中历史图像帧的运动前景像素占比时，利用所述当前图像帧更新所述参考图像。8.根据权利要求1至7任一项所述的方法，其特征在于，所述方法还包括：从所述语义差异区域中消除运动前景区域，所述运动前景区域为所述目标图像中的运动对象所在的区域；所述根据所述语义差异区域，获得检测结果，包括：根据消除所述运动前景区域的所述语义差异区域，获得检测结果。9.根据权利要求1至8任一项所述的方法，其特征在于，所述语义差异提取网络为一种经过训练后的神经网络模型，所述语义差异提取网络包括特征提取层、语义差异融合层和语义差异分割层；所述输入所述目标图像和所述参考图像至语义差异提取网络，获得所述目标图像相对
于所述参考图像的语义差异区域，包括：输入所述目标图像和所述参考图像至所述特征提取层，获得所述目标图像的基础特征图和所述参考图像的基础特征图；输入所述目标图像的基础特征图和所述参考图像的基础特征图至所述语义差异融合层，获得融合特征图，所述融合特征图中包括所述目标图像的基础特征图、所述参考图像的基础特征图以及所述目标图像和所述参考图像的差异特征图；输入所述融合特征图至所述语义差异分割层，获得所述目标图像相对于所述参考图像的语义差异区域。10.一种街道的异常事件检测装置，其特征在于，所述装置包括：通信模块，用于获取目标图像和参考图像，所述参考图像记录的街道景象中不包括所述异常事件；语义...

【专利技术属性】
技术研发人员：谢奕，胡鹏，陆瑞智，喻晓源，陈普，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：