救援环境中的人体检测以及姿态识别方法技术

技术编号:19779014 阅读:17 留言:0更新日期:2018-12-15 11:33
本发明专利技术提出了一种救援环境中的人体检测以及姿态识别方法,属于救援环境中的人体检测与姿态识别技术领域,主要应用于智能探测机器人中,完成灾难事故现场的人员探测以及救援任务。具体流程包括:本方法通过摄像头采集救援现场实时图像信息并传输到服务器中,服务器首先截取视频帧,使用均值滤波进行一次实时去雾处理。接着,使用去雾图像完成人体检测的相关计算从而检测出人体区域。最后,针对每个人体图像,完成姿态识别的相关计算检测出人体关键点和姿态向量,并且通过人体框的宽高比与人体姿态向量来完成姿态判断。

【技术实现步骤摘要】
救援环境中的人体检测以及姿态识别方法
:本专利技术属于救援环境中的人体检测与姿态识别
具体涉及一种对救援现场图像进行去雾后检测人体并进行姿态识别从而确定伤员的方法。
技术介绍
近年来,由于自然灾害、恐怖活动以及各类突发状况,灾难事故层出不穷,给经济和社会生活带来了极大的损失,成为了当前安全保障的重大议题。在事故发生后的救援过程中,首要任务就是检测并营救伤员,保障所有人员的生命安全。但是由于事故现场环境恶劣,并且容易存在大量有毒有害气体,常规安全检测手段失效,救援工作难以开展。在这种危险和复杂的环境下,基于视觉的人体检测和姿态识别技术可以使智能机器人协助救援人员完成伤员搜救的任务,从而避免营救过程中的二次伤亡。目前,基于视觉的人体检测算法主要分为两类:基于手工特征的人体检测和基于深度学习的人体检测。其中,最常用的两种手动特征方法是HOG算法和DPM算法。基于手工特征方法的缺点是鲁棒性差,检测率低。同时,由于其检测时间长,难以满足实际应用。深度学习技术可以自动学习图像的内在特征,弥补手工特征泛化能力差的问题,如今也开始被应用于人体检测问题。比较出色的算法包括ConvNet、JointDeep等。但是网络模型不够深,检测精度低。同时检测时间长,不能满足实时性要求。另一方面,由于救援现场资源有限,需要根据事态的紧急情况对资源进行有侧重的分配,所以可以通过姿态识别技术判断现场人员的受伤情况,从而合理分配现场资源。目前的人体姿态估计方法主要可以分为基于部件的框架与基于整体的框架两种。基于部件的框架首先检测人体部位,然后组装人体部位形成多个人体姿势,具有代表性的是openpose,缺点就是当人员密集时,会将不属于同一个人的部位进行拼接,并且丧失了从全局进行部位识别的能力。基于整体的框架就是在行人检测的基础上,对每一个人整体进行关键点检测,缺点是受检测框影响大,姿态估计的准确性主要取决于人体边界框的质量。同时,由于救援现场往往存在大量烟雾灰尘,致使获取到的图像可视性差、细节模糊,极大地影响了基于视觉的检测系统的检测精度。并且现有的姿态识别算法仅仅是输出关键点坐标,因此,还需要对人的具体姿态进行分析。
技术实现思路
本专利技术的主要目的是提出一种救援环境中的人体检测以及姿态识别方法,该方法可以应用于智能探测机器人中,完成灾难事故现场的人员探测以及救援任务。主要面临如下问题:1.救援现场往往存在大量烟雾灰尘,致使获取到的图像可视性差、细节模糊,极大地影响了基于视觉的检测系统的检测精度。2.救援场景中对于人体检测实时性的要求极高,在满足高准确率的同时,检测速度也需要达到实时性要求。3.现有的单人姿态识别算法严重依赖于检测到的人体边界框质量,只有人体位于图像中央的高精度边界框可以满足姿态识别的需要。4.现有的姿态识别算法仅仅是输出关键点坐标,无法得到人的具体姿态。为了解决以上技术问题,本专利技术提出了一种救援环境中的人体检测以及姿态识别方法,该方法通过摄像头采集救援现场实时图像信息并传输到服务器中,服务器首先截取视频帧,进行一次实时去雾处理。接着,使用去雾图像完成人体检测。最后,针对每个人体图像,完成人体姿态识别,并且结合识别出的人体姿态向量与检测出的人体框宽高比完成人体姿态的判断。本专利技术方法的具体工作流程如下:S1实时图像去雾本方法通过有雾图像的物理模型得出原始图像、去雾图像、环境光以及全局大气光之间的关系,然后通过均值滤波,估计出环境光以及全局大气光的值,最后恢复出清晰的无雾图像。S2利用去雾图像完成人体检测算法使用多尺度预测,分别在8×8、16×16以及32×32大小的特征图上进行人体框的预测。在每个尺度上,将输入图像分成N×N个网格,在每个网格中,通过微调人体默认框进行预测,对于每个默认框,网络预测人体框的左上角坐标、人体框的宽和高以及人体框的置信度。最后,将网络预测的人体框通过一次非极大值抑制得到最终的预测结果。S3使用检测得到的人体图像进行姿态识别本方法的姿态识别过程首先把人体检测得到的人体框图单独剪裁出来得到一幅独立的人体图像,使用RMPE姿态识别框架与StackedHourglass网络相结合的方法进行人体姿态识别。具体步骤如下:S3.1剪裁人体图片为了确保可以将完整的人体剪裁出来,在人体检测得到的人体框基础上,宽延长30%,高延长20%进行剪裁。经验证,大部分图片中的人体可以通过此方法被完整的剪裁出。S3.2使用空间变换网络提取高质量的人体区域S3.3使用StackedHourglass网络进行单人姿态估计S3.4使用空间反变换网络将姿态估计结果映射回原图像S3.5使用PNMS消除姿势冗余,得到最终姿态向量。S4判断人体姿态在救援场景中,通过判断人员是否处于躺卧姿势即可确定其是否需要立即救助。因此,本方法通过得到的人体边框与姿态向量,采用简单的几何约束完成对人体姿态的判断。使用的几何约束包括人体边框的宽高比以及人体躯干的方向角。最终判断人体是否为躺卧姿势,并为每个人赋予姿态标签。本专利技术具有如下优点:本方法采用k-means++聚类算法代替YOLOv3检测框架中传统k-means聚类算法获取默认人体框的宽和高,并且将该检测框架应用于救援环境中的人体检测,从而满足了高准确度和实时性的要求。同时,使用RMPE姿态识别框架与StackedHourglass网络相结合的方法进行人体姿态识别,使得人体检测框质量不足时也能较好的完成姿态识别任务。并且通过人体检测和姿态识别结果进行了人体姿态判断,从而得到人的具体姿态。最后,使用简单的均值滤波完成实时去雾处理,使得方法可以工作于环境恶劣的救援现场。附图说明图1救援环境中的人体检测以及姿态识别方法流程图;图2实时图像去雾处理的流程框图;图3人体检测结果示例图,其中图(a)为躺卧姿势下检测结果,图(b)为其他姿势下检测结果;图4人体姿态识别流程图;图5人体姿态识别结果示意图,其中图(a)为躺卧姿势下识别结果,图(b)为其他姿势下识别结果;图6人体姿态判断结果示意图,其中图(a)为躺卧姿势下判断结果,图(b)为其他姿势下判断结果具体实施方式下面结合附图与实例,针对本方法做详细说明。图1为本专利技术提出的救援环境中的人体检测以及姿态识别方法流程图。该方法通过摄像头采集救援现场实时图像信息并传输到服务器中,服务器首先截取视频帧,使用均值滤波进行一次实时去雾处理。接着,使用去雾图像完成人体检测的相关计算从而检测出人体区域。最后,针对每个人体图像,完成姿态识别的相关计算检测出人体关键点和姿态向量,并且通过人体框的宽高比与人体姿态向量来完成姿态判断。具体步骤如下:1、实时图像去雾图2为实时图像去雾处理的流程框图。在救援现场中,往往存在大量烟雾灰尘。因此,可以采用公式(1)所示的物理模型公式描述救援现场的原始有雾图像。H(x)=F(x)t(x)+A(1-t(x))(1)其中,H(x)为救援现场的原始图像;F(x)为处理后的去雾图像;A表示全局大气光成分;t(x)表示透射率。A(1-t(x))被称为环境光,是影响图像色彩亮度偏移的因素。公式(1)中,令L(x)=A(1-t(x)),则公式(1)可以转化为公式(2)。因此可以看出,可以通过估计全局大气光成分A以及环境光L(x)来计算去雾图像。由本文档来自技高网
...

【技术保护点】
1.救援环境中的人体检测以及姿态识别方法,其特征在于,具体工作流程如下:S1实时图像去雾通过有雾图像的物理模型得出原始图像、去雾图像、环境光以及全局大气光之间的关系,然后使用均值滤波,估计出环境光以及全局大气光的值,最后恢复出清晰的无雾图像;S2利用去雾处理后的图像完成人体检测算法使用多尺度预测,分别在8×8、16×16以及32×32大小的特征图上进行人体框的预测;在每个尺度上,将输入图像分成N×N个网格,在每个网格中,通过微调人体默认框进行预测,对于每个默认框,网络预测人体框的左上角坐标、人体框的宽和高以及人体框的置信度;最后,将网络预测的人体框通过一次非极大值抑制得到最终的预测结果;S3使用检测得到的人体图像进行姿态识别的姿态识别过程将人体检测得到的人体框图单独剪裁出来得到一幅独立的人体图像,使用RMPE姿态识别框架与Stacked Hourglass网络相结合的方法进行人体姿态识别;具体步骤如下:S3.1剪裁人体图片为了确保可以将完整的人体剪裁出来,在人体检测得到的人体框基础上,宽延长30%,高延长20%进行剪裁;S3.2使用空间变换网络提取高质量的人体区域S3.3使用Stacked Hourglass网络进行单人姿态估计S3.4使用空间反变换网络将姿态估计结果映射回原图像S3.5使用PNMS消除姿势冗余,得到最终姿态向量;S4判断人体姿态在救援场景中,通过判断人员是否处于躺卧姿势即可确定其是否需要立即救助;因此,通过得到的人体边框与姿态向量,采用简单的几何特征完成对人体姿态的判断;使用的几何特征包括人体边框的宽高比以及人体躯干的方向角;采用如下约束条件进行姿态判断:(1)人体框的宽高比小于0.5;(2)人体躯干角度小于±30°;当满足上述条件时,则判定该姿态为躺卧姿态,并为每个人赋予姿态标签。...

【技术特征摘要】
1.救援环境中的人体检测以及姿态识别方法,其特征在于,具体工作流程如下:S1实时图像去雾通过有雾图像的物理模型得出原始图像、去雾图像、环境光以及全局大气光之间的关系,然后使用均值滤波,估计出环境光以及全局大气光的值,最后恢复出清晰的无雾图像;S2利用去雾处理后的图像完成人体检测算法使用多尺度预测,分别在8×8、16×16以及32×32大小的特征图上进行人体框的预测;在每个尺度上,将输入图像分成N×N个网格,在每个网格中,通过微调人体默认框进行预测,对于每个默认框,网络预测人体框的左上角坐标、人体框的宽和高以及人体框的置信度;最后,将网络预测的人体框通过一次非极大值抑制得到最终的预测结果;S3使用检测得到的人体图像进行姿态识别的姿态识别过程将人体检测得到的人体框图单独剪裁出来得到一幅独立的人体图像,使用RMPE姿态识别框架与StackedHourglass网络相结合的方法进行人体姿态识别;具体步骤如下:S3.1剪裁人体图片为了确保可以将完整的人体剪裁出来,在人体检测得到的人体框基础上,宽延长30%,高延长20%进行剪裁;S3.2使用空间变换网络提取高质量的人体区域S3.3使用StackedHourglass网络进行单人姿态估计S3.4使用空间反变换网络将姿态估计结果映射回原图像S3.5使用PNMS消除姿势冗余,得到最终姿态向量;S4判断人体姿态在救援场景中,通过判断人员是否处于躺卧姿势即可确定其是否需要立即救助;因此,通过得到的人体边框与姿态向量,采用简单的几何特征完成对人体姿态的判断;使用的几何特征包括人体边框的宽高比以及人体躯干的方向角;采用如下约束条件进行姿态判断:(1)人体框的宽高比小于0.5;(2)人体躯干角度小于±30°;当满足上述条件时,则判定该姿态为躺卧姿态,并为每个人赋予姿态标签。2.根据权利要求1所述的救援环境中的人体检测以及姿态识别方法,其特征在于:在提取默认框算法使用k-means++聚类算法,求取YOLOv3算法中所需的n个默认框的宽和高;在聚类过程中,采用公式(1)所...

【专利技术属性】
技术研发人员:于乃功吕健陈玥张勃
申请(专利权)人:北京工业大学
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1