一种基于深度学习的全天候视频监控方法技术

本发明专利技术公开了一种基于深度学习的全天候视频监控方法，该方法包括以下步骤：实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样本，以及速度采样图样本；对于得到的速度采样图样本进行时空矫正；基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学习模型包括分类模型和统计模型；利用得到的深度学习模型对于实时视频流进行人群状态分析。本发明专利技术对于不同环境、光照强度、天气情况以及摄像头角度均具有良好的适应性；对于大流量人群涌出等人群拥挤环境，可以保证较高的准确率；计算量小，可以满足实时视频处理的要求，能够广泛地应用于对于公交、地铁和广场等滞留人群密集的公共场所的监控和管理。

【技术实现步骤摘要】

本专利技术属于模式识别
，特别涉及一种基于深度学习的全天候视频监控方 法，尤其适用于大流量人群状态的分析。
技术介绍
目前我国城市化水平已超过50 %，大量流动人口的涌入使城市人口的密度越来越 大，大规模人群活动变得日益频繁，由于人流拥挤踩踏而发生重大事故的现象屡见不鲜。因 此，如何对人群进行监控管理，在群体性事件发生的初期进行主动识别和及时预警，成为当 前各个国家视频监控领域的研究热点之一。为了更好地对群体性异常事件进行识别和预 警，从而减少灾难的发生，实时对人群规模变化的掌握是一个关键的因素。基于智能视频监 控的人群分析，是对特定监控场景内的运动物进行行为分析，可以对其行为规律作出描述， 从而实现利用机器智能进行异常事件自动检测，还可以学习建立相关行为模型，为公共空 间设计、智能环境等提供参考。然而，由于监控场景的不同、摄像机安装角度的差异、天气以 及日照强度的变化，使得智能监控系统在全天候监控时，发挥作用甚小。 卷积神经网络，作为一种深度学习方法，是为二维图像处理而特别设计的一个多 层感知器。它具有一些传统技术所没有的优点：良好的容错能力、并行处理能力和自学能 力，可处理环境信息复制，背景知识不清楚，推理规则不明确情况下的问题，允许有较大的 缺损、畸变，运行速度快，自适应性能好，具有较高的分辨能力。因此，卷积神经网络，可以解 决全天候监控中的问题，可以保证智能监控系统在各种情况下的较高的稳定的准确率。
技术实现思路
本专利技术的目的是提供，可以全天候的分 析视频中人群状态，尤其是人群的数量。 为了实现上述目的，本专利技术提出的包括 以下步骤： 步骤1，实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样 本，以及速度采样图样本； 步骤2,对于得到的速度采样图样本进行时空矫正； 步骤3,基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学 习模型包括分类模型和统计模型； 步骤4,利用所述步骤3得到的深度学习模型对于实时视频流进行人群状态分析。 本专利技术与目前国内外最新方法相比具有几个明显的优点：1)对不同环境、光照强 度、天气情况以及摄像头角度的不同设置，均具有良好的适应性；2)对大流量人群涌出等 人群拥挤环境，可以保证较高的准确率；3)计算量小，可以满足实时视频处理的要求。 【附图说明】 图1是本专利技术基于深度学习的全天候视频监控方法的流程图； 图2是本专利技术几何校正的示意图。 【具体实施方式】 为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照 附图，对本专利技术进一步详细说明。 本专利技术的思想要点是：1)人进出门（或虚拟门）行为，可以通过固定位置采样将 动态行为转换成静态图片，以方便人群的分析；2)通过透视矫正以及速度矫正，使得该方 法在不同摄像头角度设置下保证较高的准确率；3)深度学习模型有助于自动发现最有效 的特征，并通过串联多特征保证人群状态分析的准确率在不同场景下的稳定性。下面对于 本专利技术中所涉及到的技术细节予以说明。 本专利技术基于深度学习的全天候视频监控方法的流程图如图1所示，如图1所示，所 述基于深度学习的全天候视频监控方法包括以下步骤： 步骤1，实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样 本，以及速度采样图样本； 在本专利技术一实施例中，为了统计的方便，首先，对于所述视频流中的每帧图像，在 行人进出门的位置处，设置一个宽度固定为n像素（在本专利技术一实施例中，n = 3)、长度覆 盖整个门的标定线ln，作为人进出的虚拟门界限，其中，所述标定线的位置根据视频场景中 需要统计人数的位置而定，其可以是任意角度，优选为与门的长度方向垂直，比如，如果门 正对着摄像头，则标定线可设置为横向放置，如果门与摄像头的拍摄方向垂直，则标定线可 设置为纵向放置；然后，提取所述视频流中每隔f (在本专利技术一实施例中，f = 2)帧的图像 F中所述标定线覆盖的像素，由于标定线的宽度是n像素，因此每完成一次采样，就会得到n 行的像素数据，经过固定时间间隔t (在本专利技术一实施例中，t = 300帧），采样得到的所有 像素累积组成原始采样图像I，进而对于视频流可以得到多幅原始采样图样本。在本专利技术一 实施例中，按照时间采样的顺序，将采样得到的每行图像像素数据，由上到下按行填充，得 到原始采样图像I。 所述速度采样图为行人运动方向图，本专利技术中，行人的运动方向有两种可能，即在 垂直于标定线的方向上，向标定线的两侧行走。因此，在速度采样图中，本专利技术使用RBG不 同的通道表示行人不同的运动方向：其中，R通道和G通道表示两个不同运动方向的像素 点，B通道表示没有运动的像素点。具体地，当对于所述视频流进行采样得到原始采样图像 的同时，使用光流法计算相应标定线覆盖的每个像素点的速度Speed(F t(ln))与运动方向 Orient (Ft(ln))，基于计算得到的像素点的运动方向值，经过类似的相同固定时间间隔t的 累积，得到速度采样图I s。 由上，一段时间的视频流中的人群信息，可以通过原始采样图和速度采样图获得， 即： I(n*t%3/3) =Ft(ln), Is(n*t% 3/3) = Orient (Ft (ln)),本文档来自技高网...

【技术保护点】
一种基于深度学习的全天候视频监控方法，其特征在于，该方法包括以下步骤：步骤1，实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样本，以及速度采样图样本；步骤2，对于得到的速度采样图样本进行时空矫正；步骤3，基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学习模型包括分类模型和统计模型；步骤4，利用所述步骤3得到的深度学习模型对于实时视频流进行人群状态分析。

【技术特征摘要】
1. 一种基于深度学习的全天候视频监控方法，其特征在于，该方法包括以下步骤： 步骤1，实时采集视频流，基于得到的视频流通过线采样获得多幅原始采样图样本，以 及速度采样图样本； 步骤2,对于得到的速度采样图样本进行时空矫正； 步骤3,基于原始采样图和速度采样图，离线训练得到深度学习模型，所述深度学习模 型包括分类模型和统计模型； 步骤4,利用所述步骤3得到的深度学习模型对于实时视频流进行人群状态分析。2. 根据权利要求1所述的方法，其特征在于，所述步骤1进一步包括以下步骤： 首先，对于所述视频流中的每帧图像，在行人进出门的位置处，设置一个宽度固定为η 像素、长度覆盖整个门的标定线In，作为人进出的虚拟门界限； 然后，提取所述视频流中每隔f帧的图像F中所述标定线覆盖的像素，每经过固定时间 间隔t，采样得到的所有像素组成原始采样图像I ; 在采样标定线覆盖的像素时，使用光流法计算每个像素的速度与运动方向，每经过固 定时间间隔t，采样得到的所有像素的运动方向组成速度采样图。3. 根据权利要求1所述的方法，其特征在于，所述速度采样图中，使用RBG不同的通道 表示行人不同的运动方向，其中，R通道和G通道表示两个不同运动方向的像素点，B通道表 示没有运动的像素点。4. 根据权利要求1所述的方法，其特征在于，所述步骤2中，利用图像平面上不同像素 的贡献对于所述速度采样图样本进行空间矫正，利用不同像素点的速度值对于所述速度采 样图进行时间矫正。5. 根据权利要求4所述的方法，其特征在于，经过空间和时间矫正后的速度采样图Γ s 表示为： I's = Is*Sc(x，y)*S(Ft(ln))， 其中，Is表示空间和时间矫正前的速度采样图，Sc(x，y)表示图像平面上任意一个像素 I (x，y)的几何贡献因子，S (Ft (In))表示时间矫正系数：S (Ft (In)) =Speed (Ft (In))/Ns，Ns为 标准速度值，Speed(F t(l...

【专利技术属性】
技术研发人员：黄凯奇，康运锋，曹黎俊，张旭，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京;11