一种适用于鱼眼相机俯视拍摄的行人身高估计方法技术

本发明专利技术提出了一种适用于鱼眼相机俯视拍摄的行人身高估计方法。用基于鱼眼相机俯视拍摄的行人头部检测数据集训练一个用于行人头部检测的深度卷积神经网络；使用训练好头部检测神经网络对鱼眼图像中的行人头部进行检测，得到图像中行人头部的位置；接着根据行人的头部位置对图像进行旋转操作，并将图像中的该行人截取出来；然后对截取出来的行人图像进行填补并进行语义分割，从而得到行人准确边框，计算出行人的图上身高；根据行人的图上身高和鱼眼相机的数学模型进行行人身高估计。重复以上过程，对图像中的行人逐个进行身高估计，从而实现同时对多个行人进行身高估计。本发明专利技术针对鱼眼相机俯视拍摄场景提出了一种准确、有效的行人身高估计方法。

A pedestrian height estimation method for fish eye camera

The invention provides a pedestrian height estimation method suitable for the fish eye camera to shoot from the top. A deep convolution neural network for pedestrian head detection is trained with the pedestrian head detection data set based on the fish eye camera overhead shooting; the pedestrian head in the fisheye image is detected with the trained head detection neural network to get the position of the pedestrian head in the image; then the image is rotated according to the position of the pedestrian head, and the pedestrian in the image is cut off Then fill in the intercepted pedestrian image and carry out semantic segmentation, so as to get the accurate pedestrian frame and calculate the height of the traveler on the graph; estimate the height of the pedestrian according to the height of the pedestrian on the graph and the mathematical model of the fish eye camera. Repeat the above process to estimate the height of pedestrians in the image one by one, so as to realize the height estimation of multiple pedestrians at the same time. The invention provides an accurate and effective pedestrian height estimation method for a fish eye camera top view shooting scene.

【技术实现步骤摘要】
一种适用于鱼眼相机俯视拍摄的行人身高估计方法
本专利技术主要涉及视频图像中的行人身高估计领域，具体而言，是一种适用于鱼眼相机俯视拍摄的行人身高估计方法。
技术介绍
近年来，随着信息产业的飞速发展和计算机性能的不断提高，利用计算机来检测视频图像中的行人信息已经是智能视频监控系统发展的主要任务。行人身高信息是监控系统需要获取的重要信息之一。目前虽然有一些针对普通相机的行人身高估计方法。然而，随着监控范围的不断扩大，普通摄像机已经不能满足使用需求，由于鱼眼相机的视角范围比较大，可以达到180°甚至超过180°，其监控范围远大于普通相机，使用鱼眼相机进行对象检测可以减少相机的数目，节约监控成本，因此在安防监控领域鱼眼相机的使用越来越广泛。但是，鱼眼相机所拍摄图片存在较大的畸变，使得行人身高估计变得比较困难；另外为了实现大范围的监控我们将鱼眼相机安装在监控区域顶部的中心位置，俯视拍摄也极大增加了行人身高估计的难度。因此，鱼眼相机俯视拍摄场景下的行人身高估计是一项极具挑战性的任务，目前还没有方法能实现鱼眼相机俯视场景下，同时对多个行人进行身高估计。本文档来自技高网...

【技术保护点】
1.一种适用于鱼眼相机俯视拍摄的行人身高估计方法，其特征在于，包括以下步骤：/nS1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集，并用该数据集训练用于行人头部检测的深度卷积神经网络，获得训练好的行人头部检测神经网络；/nS2、用训练好的行人头部检测神经网络进行行人头部检测，根据目标行人头部位置对图像进行旋转，将图像中的目标行人旋转至直立状态，然后将目标行人从图像中截取出来；/nS3、对截取后的图像进行填补并对填补之后的图像中的行人进行语义分割，从而得到行人在图像中的准确边框，并根据准确边框计算行人的图上身高；/nS4、根据鱼眼相机的数学模型和目标行人的图上身高，对该目标行人进行身高估计；/n...

【技术特征摘要】
1.一种适用于鱼眼相机俯视拍摄的行人身高估计方法，其特征在于，包括以下步骤：
S1、制作基于鱼眼相机俯视拍摄的行人头部检测数据集，并用该数据集训练用于行人头部检测的深度卷积神经网络，获得训练好的行人头部检测神经网络；
S2、用训练好的行人头部检测神经网络进行行人头部检测，根据目标行人头部位置对图像进行旋转，将图像中的目标行人旋转至直立状态，然后将目标行人从图像中截取出来；
S3、对截取后的图像进行填补并对填补之后的图像中的行人进行语义分割，从而得到行人在图像中的准确边框，并根据准确边框计算行人的图上身高；
S4、根据鱼眼相机的数学模型和目标行人的图上身高，对该目标行人进行身高估计；
S5、选择不同的目标行人，重复S2至S4，依次对图像中的行人进行身高估计，从而实现对多个行人进行身高估计。


2.根据权利要求1所述的一种适用于鱼眼相机俯视拍摄的行人身高估计方法，其特征在于，步骤S1具体包括以下步骤：
S1.1、首先采集不同场景下的鱼眼相机俯视拍摄的视频，然后从视频中截取样本图像，并用方框手动标注出每张图像中出现的行人的头部，同时将标注框的左上角和右下角坐标写入到标注文件中，完成数据集的制作，此处标注框的左上角和右下角坐标用于S1.3的神经网络微调训练过程中计算损失，从而根据损失值优化网络参数，实现对行人头部边框的回归；
S1.2、基于单次检测器构建一个用于行人头部检测的深度神经网络即检测器，其特征提取部分使用VGG-16，然后使用PascalVOC数据集，采用批量梯度下降的方式对检测器进行预训练，该行人头部检测神经网络的基本结构和损失函数与单次检测器的框架相同；
S1.3、使用S1.1中制作的鱼眼相机俯视场景下行人头部检测数据集来对预训练后的检测器进行微调训练；在微调训练过程中，行人头部检测神经网络的结构和损失函数与预训练过程相同，首先加载预训练得到的网络参数，然后采用批量梯度下降的方式进行训练，获得训练好的行人头部检测神经网络。


3.根据权利要求1所述的一种适用于鱼眼相机俯视拍摄的行人身高估计方法，其特征在于，步骤S2具体包括以下步骤：
S2.1、从S1中鱼眼相机俯视拍摄的视频中一帧一帧地读取图像，然后用训练好的行人头部检测神经网络对图像进行行人头部检测，从而得到图像中各个行人的头部位置；
S2.2、从图像中选择一个目标行人Oi，i为图像中行人的序号，i＝1,2,3...，根据其头部边框计算其头部中心点Hi，然后计算图像中心点C0和头部中心点Hi的连线与竖直向上方向的夹角θ，并根据θ对图...

【专利技术属性】
技术研发人员：谢龙汉，杨烈，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东;44