基于多传感器的室内人体检测跟踪和身份识别系统技术方案

技术编号:14825911 阅读:118 留言:0更新日期:2017-03-16 13:27
基于多传感器的室内人体检测跟踪和身份识别系统,该系统通过热释电红外传感器完成人体的初步定位,将摄像头通过舵机移动到人体出现的范围,通过摄像头采集该范围内的图像信息并将图像信息传输到计算机中,计算机完成人体检测的相关计算并控制舵机趋使摄像头和移动平台跟踪人体。计算机通过采集到图像信息和后台信息进行匹配从而确定检测人的身份。主要用于检测室内环境下是否有人入侵和帮助室内移动服务机器人确定目标服务人。系统主要通过热释电传感器控制摄像头舵机云台使其转动到人体活动的范围,利用视觉信息检测和跟踪人体。检测到人体后用Adaboost和主要成分分析的方法进行身份识别。

【技术实现步骤摘要】

本专利技术涉及室内人体检测的
,具体来说是一种通过热释电红外传感器和单目摄像头检测并跟踪室内运动人体并完成身份识别的系统。
技术介绍
随着计算机视觉技术的发展,人体运动分析问题受到了极大的关注,而人体检测跟踪与身份识别又是基于计算机视觉的人体运动分析的重要组成部分。它在人机交互、视频监控、智能车系统、虚拟现实等领域有着广泛的应用背景和经济价值。而室内人体检测跟踪与识别技术更是其中一项重要应用,例如在室内交互环境中,该技术可以帮助移动服务机器人确定目标服务人,同时也可以监护儿童、老年人以及身体有残疾的病人。另一方面,在安防和监控领域,室内人体检测跟踪与识别技术有着巨大的使用价值,通过运动人体的检测可以对室内环境进行监控,使监控系统能够自动识别人并对危险目标进行报警。传统的人体检测方法主要分为立体视觉方法、轮廓检测方法、模板匹配方法、人体模型方法、步态识别的方法、小波分析以及神经网络的方法,更多的是将其中两种或更多种相结合的方法。但由于运动的人体在角度的变化和背景的影响下,传统的人体检测方法在准确性上并没有达到期望的效果。近年来基于机器学习的人体检测跟踪及识别技术以良好的实时性和鲁棒性为目标,得到了较快的发展。将机器学习的相关理论和技术运用到各个环节中,较好的取代了传统的检测跟踪及识别技术,其检测精度高,同时也能满足部分实时性的需求。所以带有机器学习的人体检测方法得到了广泛应用,识别阶段主要是从目标中区分出人体,主要通过人体的特定特征进行匹配,或者通过神经网络、SVM(支持向量机)、多层感知器等方法来判断目标区域中是否有行人出现。另一方面,为了获得人体目标的信息,当前的研究热点是在单目摄像头静止的情况下完成运动的人体检测及跟踪。但在实际情况下,由于单目摄像头广角范围有限,如果运动的人体移出摄像头的视角范围,系统则无法检测到运动的人体。因此如何通过控制单目摄像头的运动来实时检测及跟踪室内运动的人体仍是一个亟待解决的问题。当检测到人体目标后,如何辨别身份是一项十分重要的的任务,传统的方法对人体图像进行人脸部分检测,将检测到的部分进行身份识别,但传统的方法并未提及如果没有在人体图像中检测到人脸部分检测系统如何识别人体身份。
技术实现思路
本专利技术的主要目的是提出一种室内人体检测和身份识别系统,该系统可以检测室内环境下是否有人入侵和帮助室内移动服务机器人确定目标服务人,所以其主要作用在检测单人或少数人的室内环境下。其主要解决了三个技术问题:1.静止的摄像头无法确定移动人体所在室内区域,只有当人体移动到摄像头视角范围内,摄像头才能捕捉人体信息。2.当人体移动出摄像头视角范围内,摄像头获取的图像信息无法继续跟踪室内移动的人体。3.当人体图片中的信息为人体侧面,系统并未从图像信息中检测到人脸区域时如何确认目标身份信息。基于多传感器的室内人体检测跟踪和身份识别系统,该系统通过热释电红外传感器完成人体的初步定位,将摄像头通过舵机移动到人体出现的范围,通过摄像头采集该范围内的图像信息并将图像信息传输到计算机中,计算机完成人体检测的相关计算并控制舵机趋使摄像头和移动平台跟踪人体。计算机通过采集到图像信息和后台信息进行匹配从而确定检测人的身份。其系统结构框图如图1所示。本专利技术方法的工作流程图如图2所示,具体工作流程如下:S1人体的初步检测和摄像头的初步定位本系统利用热释电红外传感器捕捉人体红外辐射并将其转变成微弱的电压信号的原理来检测室内是否有人体,系统采用的热释电红外传感器感应范围为6米,感应角度为100度。将四个热释电传感器分布在摄像头的正西、正南、正东、正北四个方向,检测角度将覆盖室内360度的范围,当热释电传感器检测到人体信号的时候,摄像头舵机云台便转动至该范围内,其结构如图3所示。S2利用图像完成人体检测本系统采用HOG+SVM的方法对视频序列中的人体进行检测,步骤如下:S2.1样本库的制作采集人体样本作为正样本,本系统采用如图4所示INRIA静态行人检测数据库中的图片作为训练正样本,采用如图5所示INRIA数据库中的负样本和经过处理的室内无人环境下的图片作为训练负样本。S2.2HOG特征提取的参数的选择本方法采用OpenCv自带的HOG检测库函数,相应的参数设置为:检测窗口为64*64,细胞单元的尺寸为16*16像素,块滑动步长为16,梯度方向量化为9个,故一幅图像的HOG特征维数为4*9*3*3=324个。特征块的标准化方法选择L2-Hys,阈值为0.2并进行Gamma校正。S2.3进行SVM训练提取所有正负样本的HOG特征,并对正负样本赋予标签,将正样本标记为1,将负样本标记为0,然后将正负样本的HOG特征和标签都输入到SVM训练器中进行训练,便得到一个人体分类器。S3控制摄像头转动跟踪人体如图6所示,系统将人体在图像内用方框标出其所在范围,每25帧检测一次,然后通过计算方框内中心像素坐标和整副图像中心像素坐标的差来计算出舵机左右转动的角度和上下转动的角度,从而保证人体始终出现在摄像头视角范围内。另一方面,通过摄像机标定获得摄像头的内参数和畸变参数,从而根据人体框图中心像素的坐标推算出人体实际物理坐标,从而调节底盘电机使摄像头与人体保持在既定范围内。S4身份识别本系统的身份识别过程首先把检测出来的人体框图单独裁剪出来变成一副独立的图像,在该副图像上利用VIola-Jones分类器进行人脸检测,其过程大致如下:S4.1利用积分图像加速矩形图像区域或矩形区域的45度旋转的值的计算,该图像结构被用来加速类Haar输入特征的计算,其作为Adaboost分类器的全部输入特征,类Harr特征如图7所示。S4.2使用Adaboost算法来创建人脸与非人脸的分类器节点。S4.3把弱分类器节点组成筛选式级联的一个节点,其如图8所示。图中每个节点Dj包含一组使用类Haar特征训练有没有人脸的决策树。节点由简单到复杂排列,这样可以最小化拒绝图像的简单区域时的计算量。第一组分类器是最优,能通过包含人脸的图像区域,同时允许一些不包含人脸的图像通过;第二组分类器次优分类器,也是有较低的拒绝率;然后以此类推,只要图像区域通过了整个级联,则认为里面有人脸,并将人脸用框图匡出。由于家庭人员的数量有限制,故人脸的样本库的数量亦被限制,采用主成分分析法PCA进行身份识别,把所有的训练数据投影到PCA子空间,把待识别的图像投影到PCA子空间,找到训练数据投影后的向量和待识别图像投影后的向量最接近的那个,训练数据如图9所示。本系统使用的人体检测的方法并不是每次都能捕捉到人脸正面的信息,如果裁剪出来的人体框图只有头部的侧面信息、背面信息、或者只有头部以下的信息,则跳过Adaboost人脸检测的过程,直接使用PCA的方法进行身份判别,只需将数据集更换即可,数据集如图10所示。附图说明图1系统结构框图。图2系统工作流程图。图3热释电传感器分布结构图。图4人体检测正样本示例。图5人体检测负样本示例。图6检测出的人体框图示例。图7类Harr特征。图8Viola-Jones分类器中用到的筛选式级联。图9人脸识别PCA训练数据集示例。图10非人脸部分PCA训练数据集示例。具体实施方式结合图1至图9,详细说明本系统。图1展示了系统结构框图,Arduino读取本文档来自技高网
...
基于多传感器的室内人体检测跟踪和身份识别系统

【技术保护点】
基于多传感器的室内人体检测跟踪和身份识别系统,其特征在于:该系统通过热释电红外传感器完成人体的初步定位,将摄像头通过舵机移动到人体出现的范围,通过摄像头采集该范围内的图像信息并将图像信息传输到计算机中,计算机完成人体检测的相关计算并控制舵机趋使摄像头和移动平台跟踪人体;计算机通过采集到图像信息和后台信息进行匹配从而确定检测人的身份;具体工作流程如下:S1人体的初步检测和摄像头的初步定位本系统利用热释电红外传感器捕捉人体红外辐射并将其转变成微弱的电压信号的原理来检测室内是否有人体,系统采用的热释电红外传感器感应范围为6米,感应角度为100度;将四个热释电传感器分布在摄像头的正西、正南、正东、正北四个方向,检测角度将覆盖室内360度的范围,当热释电传感器检测到人体信号的时候,摄像头舵机云台便转动至该范围内;S2利用图像完成人体检测本系统采用HOG+SVM的方法对视频序列中的人体进行检测,步骤如下:S2.1样本库的制作采集人体样本作为正样本,本系统采用INRIA静态行人检测数据库中的图片作为训练正样本,采用INRIA数据库中的负样本和经过处理的室内无人环境下的图片作为训练负样本;S2.2HOG特征提取的参数的选择本方法采用OpenCv自带的HOG检测库函数,相应的参数设置为:检测窗口为64*64,细胞单元的尺寸为16*16像素,块滑动步长为16,梯度方向量化为9个,故一幅图像的HOG特征维数为4*9*3*3=324个;特征块的标准化方法选择L2‑Hys,阈值为0.2并进行Gamma校正;S2.3进行SVM训练提取所有正负样本的HOG特征,并对正负样本赋予标签,将正样本标记为1,将负样本标记为0,然后将正负样本的HOG特征和标签都输入到SVM训练器中进行训练,便得到一个人体分类器;S3控制摄像头转动跟踪人体系统将人体在图像内用方框标出其所在范围,每25帧检测一次,然后通过计算方框内中心像素坐标和整副图像中心像素坐标的差来计算出舵机左右转动的角度和上下转动的角度,从而保证人体始终出现在摄像头视角范围内;另一方面,通过摄像机标定获得摄像头的内参数和畸变参数,从而根据人体框图中心像素的坐标推算出人体实际物理坐标,从而调节底盘电机使摄像头与人体保持在既定范围内;S4身份识别本系统的身份识别过程首先把检测出来的人体框图单独裁剪出来变成一副独立的图像,在该副图像上利用VIola‑Jones分类器进行人脸检测,其过程大致如下:S4.1利用积分图像加速矩形图像区域或矩形区域的45度旋转的值的计算,该图像结构被用来加速类Haar输入特征的计算,其作为Adaboost分类器的全部输入特征;S4.2使用Adaboost算法来创建人脸与非人脸的分类器节点;S4.3把弱分类器节点组成筛选式级联的一个节点;每个节点Dj包含一组使用类Haar特征训练有没有人脸的决策树;节点由简单到复杂排列,这样可以最小化拒绝图像的简单区域时的计算量;第一组分类器是最优,能通过包含人脸的图像区域,同时允许一些不包含人脸的图像通过;第二组分类器次优分类器,也是有较低的拒绝率;然后以此类推,只要图像区域通过了整个级联,则认为里面有人脸,并将人脸用框图匡出。...

【技术特征摘要】
1.基于多传感器的室内人体检测跟踪和身份识别系统,其特征在于:该系统通过热释电红外传感器完成人体的初步定位,将摄像头通过舵机移动到人体出现的范围,通过摄像头采集该范围内的图像信息并将图像信息传输到计算机中,计算机完成人体检测的相关计算并控制舵机趋使摄像头和移动平台跟踪人体;计算机通过采集到图像信息和后台信息进行匹配从而确定检测人的身份;具体工作流程如下:S1人体的初步检测和摄像头的初步定位本系统利用热释电红外传感器捕捉人体红外辐射并将其转变成微弱的电压信号的原理来检测室内是否有人体,系统采用的热释电红外传感器感应范围为6米,感应角度为100度;将四个热释电传感器分布在摄像头的正西、正南、正东、正北四个方向,检测角度将覆盖室内360度的范围,当热释电传感器检测到人体信号的时候,摄像头舵机云台便转动至该范围内;S2利用图像完成人体检测本系统采用HOG+SVM的方法对视频序列中的人体进行检测,步骤如下:S2.1样本库的制作采集人体样本作为正样本,本系统采用INRIA静态行人检测数据库中的图片作为训练正样本,采用INRIA数据库中的负样本和经过处理的室内无人环境下的图片作为训练负样本;S2.2HOG特征提取的参数的选择本方法采用OpenCv自带的HOG检测库函数,相应的参数设置为:检测窗口为64*64,细胞单元的尺寸为16*16像素,块滑动步长为16,梯度方向量化为9个,故一幅图像的HOG特征维数为4*9*3*3=324个;特征块的标准化方法选择L2-Hys,阈值为0.2并进行Gamma校正;S2.3进行SVM训练提取所有正负样本的HOG特征,并对正负样本赋予标签,将正样本标记为1,将负样本标记为0,然后将正负样本的HOG特征和标签都输入到SVM训练器中进行训练,便得到一个人体分类器;S3控制摄像头转动跟踪人体系统将人体在图像内用方框标出其所在范围,每25帧检测一次,然后通过计算方框内中心像素坐标和整副图像中心像素坐标的差来计算出舵机左右转动的角度和上下转动的角度,从而保证人体始终出现在摄像头视角范围内;另一方面,通过摄像机标定获得摄像头的内参数和畸变参数,从而根据人体框图中心像素的坐标推算出人体实际物理坐标,从而调节底盘电机使摄像头与人体保持在既定范围内;S4身份识别本系统的身份识别过程首先把检测出来的人体框图单独裁剪出来变成一副独立的图像,在该副图像上利用VIola-Jones分类器进行人脸检测,其过程大致如下:S4.1利用积分图像加速矩形图像区域或矩形区域的45度旋转的值的计算,该图像结构被用来加速类Haar输入特征的计算,其作为Adaboost分类器的全部输入特征;S4.2使用Adaboost算法来创建人脸与非人脸的分类器节点;S4.3把弱分类器节点组成筛选式级联的一个节点;每个节点Dj包含一组使用类Haar特征训练有没有人脸的决策树;节点由简单到复杂排列,这样可以最小化拒绝图像的简单区域时的计算量;第一组分类器是最优,能通过包含人脸的图像区域,同时允许一些不包含人脸的图像通过;第二组分类器次优分类器,也是有较低的拒绝率;然后以此类推,只要图像区域通过了整个级联,则认为里面有人脸,并将人脸用框图匡出。2.根据权利要求1所述的基于多传感器的室内人体检测跟踪和身份识别系统,其特征在于:由于家庭人员的数量有限制,故人脸的样本库的数量亦被限制,采用主成分分析法PCA进行身份识别,把所有的训练数据投影到PCA子空间,把待识别的图像投影到PCA子空间,找到训练数据投影后的向量和待识别图像投影后的向量最接近的那个。3.根据权利要求1所述的基于多传感器的室内人体检测跟踪和身份识别系统,其特征在于:本系统使用的人体检测的方法并不是每次都能捕捉到人脸正面的信息,如果裁剪出来的人体框图只有头部的侧面信息、背面信息、或者只有头部以下的信息,则跳过Adaboost人脸检测的过程,直接使用PCA的方法进行身份判别,只需将数据集更换即可。4.根据权利要求1所述的基于多传感器的室内人体检测跟踪和身份识别系统,其特征在于:Arduino读取热释电传感器信号负责完成初始定位,将摄像头移动到人体活动的范围,然后摄像头采集当前视角内的所有视觉信息,将视频...

【专利技术属性】
技术研发人员:于乃功王琛蒋晓军苑云鹤刘庆瑞蔡建羡
申请(专利权)人:北京工业大学
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1