一种基于级联结构的会场内座位状态检测方法技术

本发明专利技术公开了一种会场内座位状态的检测方法，该方法包括以下步骤：预处理、座位粗分类、座位细分类、结果校正。具体可描述为：对给定视频序列的每一帧图像，以手工标定的方法获取每个座位的位置区域；对每个座位区域，用已训练好的粗分类器判断该座位是否为未被任何物体遮挡的全空座位；对剩余的疑似有人座位，用已训练好的细分类器判断该座位是否为有人座位；对每帧的检测结果，利用前后多帧的检测结果进行滤波，并利用一段时间内座位的运动信息对少量的误检测进行校正，由此获取最终的稳定检测结果。本发明专利技术无需通过检测人来确定座位上是否有人，可显著降低算法复杂度，提高检测的速度和精度，可广泛应用于智能视频监控系统、会场智能服务系统。

【技术实现步骤摘要】

本专利技术涉及计算机视觉
，特别是。
技术介绍
随着人们对社会安全问题的关注日益增加，以及对智能化服务的需求日渐显著，实现对公共场所的实时监控越来越重要。如何利用摄像头代替人眼，利用计算机代替人脑， 理解场景中正在发生什么，预测将要发生什么，是计算机视觉的主要任务。普遍意义上，人的视觉首先获取场景的低层信息，如时间、地点、对象、数目等，通过人脑的综合处理形成对 场景内容的高层描述，从而解决是谁、在干什么的问题。同样对于计算机，检测、跟踪、人数 统计等低层视觉构成了行为分析和识别、场景语意理解等高层视觉的基础。 视频或图像中的目标检测是高层计算机视觉的一个基本方面。目标检测是目标识另IJ、场景理解的基础。在会议场景中，尤其是大会场场景下，会场内座位状态的判断对完成会场内的智能监控和智能服务有重要意义。会场内座位状态的判断的主要内容是座位有无人的检测。目前已经有较多算法对会议场景中人的检测进行了研究，主要有两种方式基于图像的检测方式和基于视频序列的检测方式。在基于图像的目标检测方法中，目前的方法一般通过检测图像中的人脸或头肩特征来确定人的位置，但是在较大的监控场景(大型会议场景)下，由于人的姿态各异，以及摄像机视角带来的图像中人的表观的差异，会造成大量的漏检。基于视频序列的检测方法通常利用视频帧间差异捕捉视频中的运动信息，从而获得人的位置。该方法主要应用于场景中运动目标的检测。当视频中的目标出现短时静止时，会出现漏检现象。
技术实现思路
现有的会议场景中人的检测方法一般通过检测人脸、头部或头肩特征，或采用帧间差分法获取运动目标的位置，当对礼堂等大场景下的人进行检测时，由于人的姿态各异，很难获取具有一致性的外貌特征，而且处于会议中的人运动微小，利用运动信息检测会议中的人容易受到其他运动物体的干扰。为解决现有技术存在的问题，本专利技术的目的是希望在大场景下(例如礼堂)，快速高效地检测每个座位的状态，为此，有别于常见的对人进行检测的方法，本专利技术提供。为实现上述目的，本专利技术提供一种基于级联结构的座位状态检测方法，其特征在于，该方法包括以下步骤步骤1，对在会场内采集到的视频序列中的每帧图像数据进行高斯平滑滤波以消除噪声的影响；步骤2，基于所述步骤I滤波后得到的图像数据，用预先人工标定好的座位位置获取每个座位的座位区域，每个座位区域即为一个座位块；步骤3，基于会场背景视频建立背景模型；步骤4，基于所述步骤3建立的背景模型，将每个座位块与其对应的背景区域做差分，获取表示该座位块与背景之间的差异的全局特征；步骤5，选取全空座位作为正样本，被遮挡的座位和有人座位作为负样本，建立训练样本库，提取每个样本的全局 特征，训练得到粗分类器，根据所述步骤4提取出的每个座位块的全局特征，用所述粗分类器判断每个座位块是否为未被任何物体遮挡的全空座位，并将全空座位标记为+1，将被遮挡的空座位和有人座位标记为-I ；步骤6，对于所述步骤5中标记为-I的座位块，提取其加权梯度方向直方图特征；步骤7，将所述步骤6得到的每个标记为-I的座位块的加权梯度方向直方图特征与其局部二值模式LBP特征融合，获得该座位块的最终纹理特征；步骤8，在训练样本库中选取局部被遮挡、以及放有衣服或包的空座位作为正样本，选取有人座位作为负样本，提取每个样本的最终纹理特征，训练得到细分类器，根据所述步骤7提取得到的每个座位块的最终纹理特征，使用所述细分类器检测所述座位块是否有人就座，并将无人就座的座位标记为+1，有人就座的座位标记为-I ；步骤9，基于对每帧图像的检测结果，在一较短时间内，对该时间期间根据所述步骤8得到的每个座位块的所有帧的检测结果进行中值滤波，以消除因分类错误而引起的检测结果不稳定；步骤10，在一较长时间内，对该时间内经中值滤波后的每个座位块的所有帧做帧间差分，未检测到有运动信息的座位标记为空座位，从而获得对每个座位的最终检测结果。本专利技术的方法在大型会议座位状态的检测中可以凸显它的优越性。与其他基于人的检测方法不同，本专利技术的方法无需对人和座位进行精确的建模，而是首先将未被遮挡的全空座位快速检测出来，然后再对被遮挡的空座位和有人座位进行判断，从而缩短了检测时间。本专利技术的方法不需要对座位上的人或其部件进行建模，从而易于实现和应用。本专利技术的大会场内座位状态检测方法可以用于监控场景下会议中已就座的人的快速定位以及会场内的人数统计和会场内的场景理解。附图说明图I是本专利技术提出的一种基于级联结构的会场内座位检测方法的流程图。图2a示出根据本专利技术的一实施例所建立的背景模型；图2b示出根据本专利技术的一实施例的视频序列中的一帧示例；图2c示出根据本专利技术的一实施例的一帧示例图像的梯度图与背景模型的梯度图的差分图像；图2d示出根据本专利技术的一实施例的一帧示例图像与背景模型在HSV颜色空间H、S通道的差分图像的平均值。具体实施例方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。现有的基于视频序列的会场内座位状态的检测，通常通过提取人脸、头部或头肩等外貌特征建立特定模型，然后在图像中采用滑动窗口的方法获取人的位置，或者利用帧间的运动信息判断人的位置。但是在真实的大型会场场景下，会议中的人姿态各异，而且应用场景下由于摄像头安装位置的限制以及不同座位间视角的差异导致很难捕捉到人脸或头部轮廓以及头肩等形状特征。而且会议中的人运动微小，利用运动信息对人进行定位容易受到噪声干扰。所以现有方法的鲁棒性较差，实用性不好。本专利技术提供的利用一种由粗到细的空座位检测方法,逐步检测场景内的空座位，最终获取有人座位和无人座位的精确分类。该方法无需检测场景中的人，而是利用座位表观的差异，对不同表观的座位建立不同强弱的分类器，因此提高了检测速度。根据会场内座位的被遮挡情况及表观差异，会场内座位可以分为三种I)全空座位。全空座位是指未被任何物体或人遮挡的空座位。2)被遮挡座位。被遮挡座位是指无人就座，但被相邻座位的人遮挡、或放有衣服或包的座位。3)有人座位。 对第一种座位，由于具有统一的外观，因此是最容易检测的座位。首先排除此类座位将在整体上提高检测速度。对第二种座位，由于受到遮挡的影响，可以提取更精细的纹理特征以区别于有人座位。基于以上思想，本专利技术提出，旨在首先快速检测出全空座位，而对被遮挡的空座位再做进一步处理，从而准确、高效地判断会场内每个座位的状态。图I是本专利技术提出的的流程图。如图I所示，本专利技术提出的包括图像预处理、座位粗分类、座位细分类、多帧校正四个步骤。所述图像预处理步骤进一步包括以下步骤步骤I，对在会场内采集到的视频序列中的每帧图像数据进行高斯平滑滤波以消除噪声的影响； 在本专利技术的一实施例中，所述高斯平滑滤波中的高斯模板大小选为3*3。步骤2，基于所述步骤I滤波后得到的图像数据，用预先人工标定好的座位位置获取每个座位的座位区域，每个座位区域即为一个座位块；所述座位位置的标定可以以该座位在图像中的最小外接矩形为标准，即所述座位块的大小和位置以其最小外接矩形的大小和位置来表示，不同的座位块以其座位号为标识。所述座位粗分类步骤进一步包括以下步骤步骤3，基于会场背景视频建立背景模型；为建立背景模型，需预先选取一段该相机视角下的会场内视频作为会场本文档来自技高网...

【技术保护点】
一种基于级联结构的会场内座位检测方法，其特征在于，该方法包括以下步骤：步骤1，对在会场内采集到的视频序列中的每帧图像数据进行高斯平滑滤波以消除噪声的影响；步骤2，基于所述步骤1滤波后得到的图像数据，用预先人工标定好的座位位置获取每个座位的座位区域，每个座位区域即为一个座位块；步骤3，基于会场背景视频建立背景模型；步骤4，基于所述步骤3建立的背景模型，将每个座位块与其对应的背景区域做差分，获取表示该座位块与背景之间的差异的全局特征；步骤5，选取全空座位作为正样本，被遮挡的座位和有人座位作为负样本，建立训练样本库，提取每个样本的全局特征，训练得到粗分类器，根据所述步骤4提取出的每个座位块的全局特征，用所述粗分类器判断每个座位块是否为未被任何物体遮挡的全空座位，并将全空座位标记为+1，将被遮挡的空座位和有人座位标记为？1；步骤6，对于所述步骤5中标记为？1的座位块，提取其加权梯度方向直方图特征；步骤7，将所述步骤6得到的每个标记为？1的座位块的加权梯度方向直方图特征与其局部二值模式LBP特征融合，获得该座位块的最终纹理特征；步骤8，在训练样本库中选取局部被遮挡、以及放有衣服或包的空座位作为正样本，选取有人座位作为负样本，提取每个样本的最终纹理特征，训练得到细分类器，根据所述步骤7提取得到的每个座位块的最终纹理特征，使用所述细分类器检测所述座位块是否有人就座，并将无人就座的座位标记为+1，有人就座的座位标记为？1；步骤9，基于对每帧图像的检测结果，在一较短时间内，对该时间期间根据所述步骤8得到的每个座位块的所有帧的检测结果进行中值滤波，以消除因分类错误而引起的检测结果不稳定；步骤10，在一较长时间内，对该时间内经中值滤波后的每个座位块的 所有帧做帧间差分，未检测到有运动信息的座位标记为空座位，从而获得对每个座位的最终检测结果。...

【技术特征摘要】

【专利技术属性】
技术研发人员：黄凯奇，谭铁牛，梁宏雨，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：