一种基于智能三维立体监控设备的行人监测方法及装置，对同一场景采集两张不同视角的行人图像，用立体匹配算法计算得到深度图像，将深度图像与基准彩色图像分别作为浅层和深层网络的输入，构建基于卷积特征融合的行人检测网络，获得行人检测结果；对采集到音频信息，采用语音识别算法进行异常事件关键词句识别，根据关键词句识别结果和音频图像同步校准结果截取连续帧图像，采用LSTM算法对连续帧图像的融合特征进行时域关联表征，经过全连接方式的特征映射后，采用softmax分类器进行客流状态与事件判别。采用该算法的设备包括视频图像处理及中央控制单元以及高速缓存模块、存储模块、加密芯片、网络传送模块、USB接口和电源模块。
Pedestrian Monitoring Method and Device Based on Intelligent Three-dimensional Monitoring Equipment
【技术实现步骤摘要】
基于智能三维立体监控设备的行人监测方法及装置
本专利技术属智能检测领域，尤其涉及一种基于智能三维立体监控设备的行人监测方法及装置。
技术介绍
行人检测技术在行人分析、智能监控、客流统计、安防等领域都有着广泛的应用，可应用于的场景包括：学校、地铁车站、广场、商场、停车场、公园等重要场所及人流密集区域，能够实现对行人的实时检测、个体特征及群体特征与参数的提取等功能，可为基于行人检测的运动态势分析、大规模数据采集、异常事件分析、客流分析与预警等系统提供数据获取手段，本专利技术在传统视频监控仅采用彩色视频信息分析的基础上，创新性的提出了结合彩色信息、深度信息及语音信号结合的智能化三维立体监控方法，是对监控设备的智能化升级，也是智慧城市的重要体现所在。国内外很多大学和科研机构均对行人检测进行过研究，并取得了一定的研究成果。从目前主要的检测方法来看，有基于激光扫描的方法、基于雷达探测的方法及基于视频图像分析的方法等。由于视频图像包含的信息比较丰富，可以直观地展现客流状态及事件情况、客流运动态势、客流所处的区域环境等重要的信息，并且相较激光设备及雷达设备来说，基于视频图像分析的方法具有成本低、易实现、适用范围广的优势，这使得基于视频图像分析的方法成为国内外研究的热点。并且，随着越来越多监控摄像头尤其是高清监控摄像头的普及，基于视频图像分析的行人检测方法将会得到更加广泛的应用和推广。现有的基于视频分析的行人监测系统可大致分为两类，一类系统采用的仍然是模板匹配的方法，而行人本身具有姿态各异的特点，因而准确率较低。另一类系统采用的是深度学习的方法，这类方法虽然通过大样本数据训练降低了行人姿态各异的影响，但仍易受光照条件及背景条件等因素的干扰，尤其是环境复杂或高密度人流情况下，检测精度较低。这也进一步影响了异常事件判别的准确度。因此，为了提高检测精度，就需要进一步降低光照及背景条件的影响，如：采用深度图像，从而增强前景目标轮廓信息。同时，为了进一步提高异常事件的判别，还需要引入其它辅助信息，如：实时的语音信息，在决策级辅助视频手段进行异常事件判别。
技术实现思路
为了克服上述缺陷，本专利技术的目的是提供一种智能三维立体监控设备的行人监测算法和装置，通过引入深度图像和基准彩色图像构造融合特征，克服光照条件及背景干扰的问题，并通过采集语音信息辅助异常事件的判别，克服仅采用视频方法对事件判别准确率较低的问题，实现包括晚上等各种环境下的准确行人检测，可满足复杂环境下及客流密集区域的行人监测及统计。为达到上述目的，本专利技术的技术解决方案是：一种基于智能三维立体监控设备的行人监测方法，步骤包括：1)进行彩色图像采集，获取两个不同视角下的某一监控区域图像，并根据二维视差优化下的立体匹配算法，将彩色图像转换成深度图像，深度图像和彩色图像都有时间标记；2)通过构造浅层特征提取网络，自动提取深度图像的卷积特征；3)通过构造深层特征提取网络，自动提取基准彩色图像的卷积特征；4)在中间层统一浅层特征提取网络和深层特征提取网络特征图的宽度和高度，并对两种特征进行通道信息融合，保存融合特征信息；5)通过加载卷积特征分类器进行分类判别，判断各目标是否为行人：如果判别为否，直接滤除该目标；如果判别为是，确认为行人检测结果(检测结果以矩形目标检测框表示，包括其在图像中的位置和大小)；然后进入步骤6)；6)根据采集到的语音信息，采用语音识别算法实现关键词句识别，进行异常事件关键词句判别；如果判别为否，不进行连续帧融合特征读取操作，进入步骤8)；如果判别为是，读取对应连续帧的融合特征信息，进入步骤7)；7)将各组图像对应的融合特征按照时间顺序排列后，采用LSTM网络融合连续帧图像的关联特征，采用全连接方式进行特征映射，根据Softmax分类器对异常事件判别；如果判别为否，不进行报警，进入步骤8)；如果判别为是，报警并显示异常事件类别，清除已存储的融合特征，进入步骤8)；8)对结合深度图像和彩色图像的判断得到所确认的行人检测结果，统计当前区域内客流量，根据摄像头架设角度、内参及架设高度计算监控区域面积，进一步统计当前区域内客流密度、行人高度等信息，并将异常事件判别结果与客流参数显示。本方法中：由于深度图像相较彩色图像所含信息更为单一，为了防止模型过拟合，因此针对深度图像构造的特征提取网络更为简单，针对彩色图像构造的特征提取网络较为复杂，然后通过深度图像和彩色图像卷积特征的通道融合实现特征融合表征。(见图4)通过预先建立一系列的行人样本，包括多种场景、多种角度、多种姿态的行人样本，根据设计好的网络框架训练生成行人目标特征分类器。通过采集摄像头架设角度、内参及架设高度，根据三角测距原理计算监控区域面积，结合统计出的客流量计算得到客流密度，根据客流密度可对异常事件的发生进行初步的分析预警。通过语音识别算法对采集到的语音信息进行关键词句的识别，根据识别出的语义信息，进一步分析异常事件所属的类别，包含严重拥挤、踩踏、斗殴等。一种采用上述方法的基于智能三维立体监控设备的行人监测装置，包括智能三维立体监控设备(同时采集音频信息及彩色图像并进行同步校正)、视频图像处理及中央控制单元、高速缓存模块、存储模块、加密芯片、网络传送模块、USB接口和电源模块；电源模块与其它各模块电连接。视频图像处理及中央控制单元控制各模块协同工作。所述的装置中，智能三维立体监控设备包括双目彩色CCD/彩色CMOS、拾音器、彩色图像采集及控制单元、音频信号采集及控制单元和音频图像同步校正模块；彩色图像采集及控制单元向彩色CCD/彩色CMOS发送控制信号，确定其采样帧率及分辨率；双目彩色CCD/彩色CMOS获取到的二维阵列数据逐帧经视频图像采集及控制单元进行预处理及编码，逐帧转换成普通RGB彩色图像；音频信号采集及控制单元将语谱图像传送到音频图像同步校正模块，彩色图像采集及控制单元将彩色图像逐帧传送到音频图像同步校正模块；音频图像同步校正模块将接收到的语谱图像和彩色图像进行时间和空间同步校准后，发送至视频图像处理及中央控制单元。彩色图像采集及控制单元控制与双目彩色CCD(或彩色CMOS)通过控制线和数据线相连，彩色图像采集及控制单元通过控制线向彩色CCD(或彩色CMOS)发送控制信号，确定其采样帧率及分辨率。双目彩色CCD(或彩色CMOS)获取到的二维阵列数据逐帧通过数据线传送到视频图像采集及控制单元，并经视频图像采集及控制单元进行预处理及编码，逐帧转换成普通RGB彩色图像序列。音频信号采集及控制单元和彩色图像采集及控制单元与图像同步校正模块连接。音频信号采集及控制单元将语谱图像传送到音频图像同步校正模块，彩色图像采集及控制单元将彩色图像逐帧传送到图像同步校正模块，图像同步校正模块将接收到的语谱图像和彩色图像进行时间和空间同步校准后，逐帧发送至视频图像处理及中央控制单元。本装置中：视频图像处理及中央控制单元逐帧接收智能三维立体监控设备通过图像同步校正模块发送过来的语谱图像和彩色图像，按照前述算法进行实时处理，获取行人检测跟踪结果，及客流计数、行人高度及异常事件判别预警结果信息，并将这些结果及深度图像和彩色图像通过网络传送模块发送至远端服务器或远程监控终端。视频图像处理及中央控制单元与存储模块、高速缓存模块直接本文档来自技高网...
【技术保护点】
1.一种基于智能三维立体监控设备的行人监测方法，其特征是步骤包括：1)采集语音和彩色图像；获取两个不同视角下的某一监控区域的彩色图像，并将彩色图像转换成深度图像；深度图像和彩色图像都进行时间标记；2)通过构造浅层特征提取网络，提取深度图像的卷积特征；3)通过构造深层特征提取网络，提取彩色图像的卷积特征；4)在中间层统一浅层特征提取网络和深层特征提取网络特征图的宽度特征和高度特征，并对两种特征进行通道信息融合，保存融合特征信息；5)通过加载卷积特征分类器对步骤4)得到的特征信息进行分类判别，判断各目标是否为行人：如果判别为否，则直接滤除该目标；如果判别为是，则确认为行人检测结果，然后进入步骤6)；6)把采集到的语音信息进行关键词句识别，进而判断是否为异常事件关键词句；如果判别为否，则进入步骤8)；如果判别为是，则进入步骤7)，读取对应连续帧的融合特征信息；7)将各组图像对应的融合特征按照时间顺序排列后，采用长短期记忆LSTM网络融合连续帧图像的关联特征，采用全连接方式进行特征映射，根据Softmax分类器判别连续帧图像是否为异常事件；如果判别为否，则不进行报警，进入步骤8)；如果判别为是，则报警，并显示异常事件类别，清除已存储的融合特征信息，进入步骤8)；8)对结合深度图像和彩色图像的判断得到所确认的行人检测结果，统计当前区域内客流量；根据摄像头架设角度、内参及架设高度计算监控区域面积，进一步统计当前区域内客流密度、行人高度信息，并显示异常事件判别结果与客流参数。...
【技术特征摘要】
1.一种基于智能三维立体监控设备的行人监测方法，其特征是步骤包括：1)采集语音和彩色图像；获取两个不同视角下的某一监控区域的彩色图像，并将彩色图像转换成深度图像；深度图像和彩色图像都进行时间标记；2)通过构造浅层特征提取网络，提取深度图像的卷积特征；3)通过构造深层特征提取网络，提取彩色图像的卷积特征；4)在中间层统一浅层特征提取网络和深层特征提取网络特征图的宽度特征和高度特征，并对两种特征进行通道信息融合，保存融合特征信息；5)通过加载卷积特征分类器对步骤4)得到的特征信息进行分类判别，判断各目标是否为行人：如果判别为否，则直接滤除该目标；如果判别为是，则确认为行人检测结果，然后进入步骤6)；6)把采集到的语音信息进行关键词句识别，进而判断是否为异常事件关键词句；如果判别为否，则进入步骤8)；如果判别为是，则进入步骤7)，读取对应连续帧的融合特征信息；7)将各组图像对应的融合特征按照时间顺序排列后，采用长短期记忆LSTM网络融合连续帧图像的关联特征，采用全连接方式进行特征映射，根据Softmax分类器判别连续帧图像是否为异常事件；如果判别为否，则不进行报警，进入步骤8)；如果判别为是，则报警，并显示异常事件类别，清除已存储的融合特征信息，进入步骤8)；8)对结合深度图像和彩色图像的判断得到所确认的行人检测结果，统计当前区域内客流量；根据摄像头架设角度、内参及架设高度计算监控区域面积，进一步统计当前区域内客流密度、行人高度信息，并显示异常事件判别结果与客流参数。2.根据权利要求1所述的方法，其特征是所述步骤2)中，浅层特征提取网络设计了6层，用于提取深度图像；浅层特征提取网络中使用了3个5×5的卷积核和3个2×2的池化核，激活函数采用了PReLU。3.根据权利要求1所述的方法，其特征是所述步骤3)中，深层特征提取网络设计了16层，用于提取基准彩色图像；深层特征提取网络中，采用NIN的方式加深特征提取层层数，7层选择3×3的卷积核、6层选择1×1的卷积核、3层选择2×2的池化核。4.根据权利要求1所述的方法，其特征是所述步骤4)中，通过构建后续特征提取网络进行通道信息融合，后续特征提取网络采用了3×3的卷积核和1×1的卷积核进行通道信息融合。5.根据权利要求1所述的方法，其特征是所述步骤5)中，根据深度图像和彩色图像样本构建样本集，训练生成用于行人目标特征分类的卷积特征分类器。6.根据权利要求1所述的方法，其特征是所述步骤8)中，通过采集摄像头架设角度、内参及架设高度，根据三角测距原理计算监控区域面积，结合统计出的客流量计算得到客流密度，根据客流密度可对异常事件的发生进行分析预警。7.一种采用权利要求1～6任一所述方法的基于智能三维立体监控设备的行人监测装置，其特征是包括智能三维立体监控设备、视频图像处理及中央控制单元、高速缓存模块、存储模块、接口模块和电源模块；电源模块与其它各模块电连接；智能三维立体监控设备包括双目彩色CCD/彩色CMOS、拾音器、彩色图像采集及控制单元、音频信号采集及控制单元、...
【专利技术属性】
技术研发人员：魏运，田青，仝淑贞，
申请(专利权)人：魏运，田青，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。