【技术实现步骤摘要】
一种基于场景结构的行人实时检测系统及方法
本专利技术涉及一种基于场景结构的行人实时检测系统，具体说是一种综合考虑监控场景实际场景空间结构和深度信息的行人实时检测系统，并可提供行人分割实例以及出入口和道路概率估计，属于监测安保领域。
技术介绍
目前，监控摄像机所采集的场景信息主要被用于提取视觉特征，来完成对于行人的自主检测、自动跟踪等任务。然而实际应用中，监控场景的空间几何结构是固定的，监控摄像机的位置与俯仰角度一般是固定的，这些信息在实际的行人检测中始终被忽视，没有得到很好的利用。对于监控摄像机获取的场景信息的视觉特征提取，主要分为两类，一种是外观视觉特征，另一种是深度视觉特征。外观视觉特征描述的是图像内部各个区域在颜色、形状、大小等方面的整体特征，深度视觉特征指的是二维图像内计算得到的实际三维场景下的深度或者高度特征。外观视觉特征是进行视觉任务的基础，其在提取速度上较为快速，有着较高的区分度，但其受到环境的光线条件变化、动态遮挡和平面反射的影响比较严重，对外界环境变化导致的图像采集差异比较敏感，因此在行人检测中经常...
【技术保护点】
1.一种基于场景结构的行人实时检测系统，其特征在于，包括：入口模块、数据收集模块、预处理模块和检测分割模块；其中：/n入口模块，为数据收集模块、预处理模块、检测模块、输出模块的模块入口，同时为用户提供一个管理接口，方便用户从图形化终端管理；用户根据自己的实际需求，选择对应的模块进入，进行下一步的操作；该模块是用户登录的界面，在用户输入用户名和密码后，核检用户名和密码开放对应的权限；对于普通用户，仅提供在线查看权限，不可导出各项数据；对于管理员，提供全部权限，从入口模块提供的数据导出接口导出各项数据；/n数据收集模块，负责系统运行时所需要的各个数据的收集，包括监控摄像机的实时...
【技术特征摘要】
1.一种基于场景结构的行人实时检测系统，其特征在于，包括：入口模块、数据收集模块、预处理模块和检测分割模块；其中：
入口模块，为数据收集模块、预处理模块、检测模块、输出模块的模块入口，同时为用户提供一个管理接口，方便用户从图形化终端管理；用户根据自己的实际需求，选择对应的模块进入，进行下一步的操作；该模块是用户登录的界面，在用户输入用户名和密码后，核检用户名和密码开放对应的权限；对于普通用户，仅提供在线查看权限，不可导出各项数据；对于管理员，提供全部权限，从入口模块提供的数据导出接口导出各项数据；
数据收集模块，负责系统运行时所需要的各个数据的收集，包括监控摄像机的实时视频数据和实时光场图像数据；通过摄像机拍摄目标场景图像，获取24小时内监控空间内连续的视频图像数据；通过光场相机获取24小时内监控空间内连续的光场图像数据；数据收集模块将获取到的视频图像数据和光场图像数据按照对应时间、对应几何坐标打包封装，并将封装后的数据作为输入传递给预处理模块；
预处理模块，首先接收数据收集模块传入的由视频帧序列组成的视频图像数据及光场图像数据，然后建立基于统计的分时段背景模板，并将该模板保存到数据库中；所述背景包括监控场景内的非行人区域以及遮挡区域；在建立基于统计的分时段背景模型时，采用基于统计的分时段背景建模方法，首先依据24小时内的光照强度变化，设定多个时间段，将获取的视频图像数据和光场图像数据分类，然后分时段计算帧背景模板，并使用光场图像数据对帧背景模板进行过滤，获取最终的分时段背景模板；
检测分割模块，首先接收预处理模块得到的分时段背景模板以及数据收集模块得到的视频图像数据和光场图像数据，然后根据输入的视频图像数据和分时段背景模板，判定当前监控空间所属时间段与类别，选择对应时间段的预设参数和对应时间段的背景模板；根据预设参数和背景模板，使用基于场景结构的检测分割算法利用基于背景滤波的深度神经网络和语义分割网络提取视频图像特征，并根据预处理模块计算得到的基于光场图像的场景深度信息进行辅助过滤，获得行人的检测分割结果；并将行人检测分割结果传递到道路估计模块中与输出模块中；
道路估计模块，负责估计监控空间的道路概率分布以及监控空间场景出入口；根据检测分割模块所获得的行人检测分割结果，获得一个叠加区域，根据预处理模块获得的分时段背景模板对叠加区域进行过滤，得到多个时段下监控空间内行人行走道路的概率分布和道路出入口；
输出模块，将数据收集模块得到的视频图像数据及检测分割模块得到的行人检测分割结果打包保存到数据库中，并提供数据访问的接口，用户通过该接口查看行人检测分割结果以及行人行走道路的概率分布和场景出入口。
2.根据权利要求1所述的基于场景结构的行人实时检测系统，其特征在于：所述预处理模块中，基于统计的分时段背景建模方法实现如下：
(1)数据获取，接受数据收集模块传递的封装后的视频图像数据和光场图像数据；
(2)将视频图像数据和光场图像数据按照时间段分类为多个时间段，多个时段包含早晨、中午、下午、傍晚和晚上时间段，每个时间段的数据存储于对应的集合中；
(3)分时间段计算，检测早晨、中午、下午、傍晚和晚上时间段对应的集合是否为空，如果集合非空，则按照时间段先后顺序，从分类后的集合中选取一个时间段对应的集合，从该集合中获取视频图像数据和光场图像数据，取出数据后，删除该集合并转入步骤(4)；如果没有集合可以获取，则取出数据失败，转入步骤(10)；
(4)补偿模板计算，获取该时间段内所有视频图像数据，将视频分为帧序列，并将所有帧序列相加，计算累加的帧的平均值，记为补偿模板；
(5)帧补偿，将每一帧与补偿模板相加并计算补偿后的新帧与原帧的均值，得到补偿后的得到的均值序列；
(6)帧背景模板计算，将进行补偿后的得到的均值序列转为新的帧序列，并对新的帧序列进行均值建模，得到对应时间段的帧背景模板；
(7)光场辅助过滤，根据光场图像数据计算帧背景模板对应像素区域的深度，扫描帧背景模板对应的区域，对于计算出的深度低于阈值的区域，作为噪声区域过滤掉；最终将经过过滤保留的区域作为新的帧补偿模板；
(8)保存当前的帧补偿模板；
(9)转入步骤(3)；
(10)将所有保存的帧补偿模板按照时间段合并归类，得到最终的分时段背景模板并保存到数据库中。
3.根据权利要求1所述的基于场景结构的行人实时检测系统，其特征在于：所述检测分割模块中，采用的基于场景结构的检测分割算法实现如下：
(1)如果基于背景滤波的深度神经网络已经完成训练，则转入步骤(4)，否则，转入步骤(2)；
(2)构建基于背景滤波的深度神经网络，所有的输入图像被重设为(416×416)尺寸的帧图像，所有的帧图像经过一个卷积层和池化层的处理，然后被送入第一个组合层ccr，组合层后使用卷积层进一步降低特征维度；紧接着连续堆叠三个组合层，然后同样使用卷积层降低特征维度；进一步堆叠6个组合层和一个卷积层；再堆叠6个组合层和一个卷积层，提取该卷积层的输出作为第一个分支；该卷积层后使用三个卷积层和一个上采样层，将此时的输出与第一个分支的输入进行拼接，作为第二个分支的输入；在该上采样层后使用卷积层降低维度，然后添加上采样层，将上采样层的输出与第二个分支的输入进行拼接，作为第三个分支的输入；第一个分支使用一个3*3的卷积层和1*1的卷积层获取...
【专利技术属性】
技术研发人员：盛浩，王帅，崔正龙，杨达，王思哲，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。