基于RGBD人脸检测的机器人自动跟踪方法和系统技术方案

本发明专利技术涉及一种基于RGBD人脸检测的机器人自动跟踪方法和系统，其中，所述系统包括：RGBD摄像头、图像算法处理平台、机器人运动控制单元；所述RGBD摄像头用于采集人体的RGB图像和深度图像，用于对人体上半身和人脸图像的识别；所述图像算法处理平台用于接收RGBD摄像头采集的人体图像，并通过算法处理，实现对人体的人脸识别，并计算出机器人距离人脸的距离；所述机器人运动控制单元通过图像算法处理平台得出人脸在纵向前进后退距离，控制机器人跟据距离变化信息跟随人脸的移动而移动。本发明专利技术解决人脸跟踪准确率及人脸纵向精准测距问题，使机器人跟随人脸移动的准确率更高、类人功能更强。

【技术实现步骤摘要】
基于RGBD人脸检测的机器人自动跟踪方法和系统
本专利技术涉及机器人控制
，尤其涉及一种基于RGBD人脸检测的机器人自动跟踪方法和系统。
技术介绍
随着计算机科学和自动控制技术的发展，越来越多的智能机器人出现在生产生活中，视觉系统作为智能机器人系统中一个重要的子系统，也越来越受到人们的重视。智能机器人视觉系统以人的智能行为能力为蓝本，实现机器人对环境知觉组织、复杂场景适应、交互与协作、概念形成与整合、知识获取与推理、自主认知与高级决策、类人智能行为等角度，展开机器人的智能性开发。人脸检测跟随时机器人智能化的一部分，主要用于快速准确的人脸检测和跟踪，使得人与机器的交流中得到更好的体验。国内专利CN103093212A公开了一种基于人脸检测和跟踪截取人脸图像的方法和装置，该系统包括检测模块、跟踪模块、判断模块和截取模块，采用级联分类器对待检测图像进行人脸检测；当检测到人脸目标时，使用均值跟踪算法对人脸目标进行人脸跟踪；当人脸目标离开检测区域时，在各个帧上根据目标的位置判断同一帧内的人脸检测与人脸跟踪是否对应同一个人脸目标，选出人脸检测与人脸跟踪对应同一个人脸目标的各个帧；在选出的各个帧中，计算同一帧内人脸检测的窗口与人脸跟踪的窗口的重合度，将重合度最大的帧上人脸检测得到的人脸图像作为截取的人脸图像；本专利技术的不足之处在于它是单一使用级联分类器，分类器误检测会很高，不利于在复杂环境中使用，使用的2D摄像机，没有图像深度信息这样当人脸前进和后退时只能粗劣的估算出大小，不能测量出前进后退的实际距离。国内专利CN101477616公开了一种人脸检测与追踪方法，通过计算机或具计算能力的微处理器执行此人脸检测与追踪方法，以识别图像画面中的人脸及其所在位置，采用人脸检测，在每帧画面进行人脸追踪，记录人脸位置，在间隔数帧画面后，在已发现的人脸所在位置的条件下，再次对图像画面进行一次人脸检测，以便能快速地寻找到其它可能新加入的人脸，本专利技术由于其采用的是间数帧后重新检测的方法，当检测目标运动过快的时候就会丢失跟踪的目标。因此，现有技术需要改进。
技术实现思路
本专利技术公开了一种基于RGBD人脸检测的机器人自动跟踪方法和系统，用以提高移动机器人自动返回充电的效率和自动返回充电成功率。一方面，本专利技术实施例提供的一种基于RGBD人脸检测的机器人自动跟踪方法，包括：获取人体样本图像数据，通过人体样本图像检测分类器的技术指标；使级联用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认；使用级联分类器在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认，所述级联分类器是指将多个强分类器连接在一起进行操作，所述强分类器是由多个弱分类器加权组成；检测到人脸区域后，使用控制模块，在深度图像提取对应的区域做距离运算，得到人与机器人之间的精确距离。在基于本专利技术上述基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例中，所述获取人体样本图像数据，通过人体样本图像检测分类器的技术指标包括：准备训练数据，制作人体图像训练样本，所述人体图像训练样本包括：负样本和正样本，所述负样本是指不包括物体的图像；所述正样本是待检测的物体图像且不能包含任何负样本；使用完成训练样本的图像测试分类器，并跟据测试结果分析分类器的技术指标，所述技术指标包据：上半身图像的检出成功率、误检率及人脸检测的成功率、误检率；调整分类器的技术参数，分类器调整的参数包括：训练时所用的正样本数目、每级分类器训练时所用的负样本数目、分类器的级数、haar特征类型、分类器的每一级最小检测率。在基于本专利技术上述基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例中，所述使用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认包括：先对RGB图像进行灰度转换，把彩色图像变成0到255阶的灰度图像；使用直方图均衡法增强灰度图的亮度；选定图像检测区域，对选定区域进行积分处理，采用积分方法在计算矩形特征时不必每次重新统计矩形内像素灰度值的和，只需计算矩形几个相应点的积分，即计算出矩形特征值，且计算时间不会随着矩形大小变化而发生改变；整体扫描一次图像检测区域得到检测因子系数；使用第一级检测结果乘以检测因子系数得到一个弱分类器结果，弱分类器级联得到强分类器检测结果；对原始图像进行缩放一半，用固定尺寸的哈尔窗口扫描待检测图像，所述固定尺寸的哈尔窗口为基础窗口；计算不同尺寸窗口内的均值和方差，遍历待检测图像，当满足设定的条件时，认为此窗口为人体上半身图像；计算候选区域内的Haar-like特征，把这些特征传递到级联adaboost分类器中进一步判断；若存在三个窗口能同时检测出人体上半身图像，则认定级联分类器输出结果为真值，输出上半身坐标，若不存在，则认定级联分类器输出结果为非真值；对上半身区域深度图内所有像素值都进行求取距离运算distance(x,y)＝Pix(x,y)/1000；对测量出的距离数据进行一致性分析，如果存在一致性，则确认在RGB图像中检测到的目标，在深度图像中存在，否则，在深度图像中不存在。在基于本专利技术上述基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例中，所述使用分类器在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认包括：预先加载好人脸检测分类器数据，设定好扫描窗口大小，所述扫描窗口大小不限定，跟据实际项目中的需求来具体确定；按照设定的尺度缩放的窗口对图像进行扫描，直到检测到人脸。在基于本专利技术上述基于RGBD人脸检测的机器人自动跟踪方法的另一个实施例中，所述在深度图像提取对应的区域做距离运算包括：求取深度图中人脸区域内每一个像素点距离faceDis(x,y)＝image(x,y)/1000；对算出所有像素点的距离求和取均值最终得到人与机器人的实际距离。本专利技术实施例还提供的一种基于RGBD人脸检测的机器人自动跟踪系统，包括：RGBD摄像头、图像算法处理平台、机器人运动控制单元；所述RGBD摄像头用于采集人体的RGB图像和深度图像，用于对人体上半身和人脸图像的识别；所述图像算法处理平台用于接收RGBD摄像头采集的人体图像，并通过算法处理，实现对人体的人脸识别，并计算出机器人距离人脸的距离；所述机器人运动控制单元通过图像算法处理平台得出人脸在纵向前进后退距离，控制机器人跟据距离变化信息跟随人脸的移动而移动；所述RGBD摄像头包括RGB摄像头和深度摄像头，所述RGB摄像头用于拍摄人体的RGB图像，所述深度摄像头用于拍摄人体的深度图像，所述RGB摄像头和所述深度摄像头经过摄像机标定后，深度摄像头拍摄的图像和RGB摄像头拍摄的图像重合；所述RGBD摄像头为intel深度处理摄像头。在基于本专利技术上述基于RGBD人脸检测的机器人自动跟踪系统的另一个实施例中，所述RGBD摄像头还包括级联分类器，所述级联分类器用于检测RGB摄像头拍摄图像中的人体上半身图像，当图像检测到上半身时，对图像上半身区域再一次使用级联分类器进行人脸检测。在基于本专利技术上述基于RGBD人脸检测的机器人自动跟踪系统的另一个实施例中，所述级联分类器包括本文档来自技高网...

【技术保护点】
一种基于RGBD人脸检测的机器人自动跟踪方法，其特征在于，包括：获取人体样本图像数据，通过人体样本图像检测分类器的技术指标；使级联用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认；使用级联分类器在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认，所述级联分类器是指将多个强分类器连接在一起进行操作，所述强分类器是由多个弱分类器加权组成；检测到人脸区域后，使用控制模块，在深度图像提取对应的区域做距离运算，得到人与机器人之间的精确距离。

【技术特征摘要】
1.一种基于RGBD人脸检测的机器人自动跟踪方法，其特征在于，包括：获取人体样本图像数据，通过人体样本图像检测分类器的技术指标；使级联用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认；使用级联分类器在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认，所述级联分类器是指将多个强分类器连接在一起进行操作，所述强分类器是由多个弱分类器加权组成；检测到人脸区域后，使用控制模块，在深度图像提取对应的区域做距离运算，得到人与机器人之间的精确距离。2.根据权利要求1所述的方法，其特征在于，所述获取人体样本图像数据，通过人体样本图像检测分类器的技术指标包括：准备训练数据，制作人体图像训练样本，所述人体图像训练样本包括：负样本和正样本，所述负样本是指不包括物体的图像；所述正样本是待检测的物体图像且不能包含任何负样本；使用完成训练样本的图像测试分类器，并跟据测试结果分析分类器的技术指标，所述技术指标包据：上半身图像的检出成功率、误检率及人脸检测的成功率、误检率；调整分类器的技术参数，分类器调整的参数包括：训练时所用的正样本数目、每级分类器训练时所用的负样本数目、分类器的级数、haar特征类型、分类器的每一级最小检测率。3.根据权利要求1所述的方法，其特征在于，所述使用分类器进行人体上半身检测，并使用深度图像数据进行数值分析，对检测人体图像进行确认包括：先对RGB图像进行灰度转换，把彩色图像变成0到255阶的灰度图像；使用直方图均衡法增强灰度图的亮度；选定图像检测区域，对选定区域进行积分处理，采用积分方法在计算矩形特征时不必每次重新统计矩形内像素灰度值的和，只需计算矩形几个相应点的积分，即计算出矩形特征值，且计算时间不会随着矩形大小变化而发生改变；整体扫描一次图像检测区域得到检测因子系数；使用第一级检测结果乘以检测因子系数得到一个弱分类器结果，弱分类器级联得到强分类器检测结果；对原始图像进行缩放一半，用固定尺寸的哈尔窗口扫描待检测图像，所述固定尺寸的哈尔窗口为基础窗口；计算不同尺寸窗口内的均值和方差，遍历待检测图像，当满足设定的条件时，认为此窗口为人体上半身图像；计算候选区域内的Haar-like特征，把这些特征传递到级联adaboost分类器中进一步判断；若存在三个窗口能同时检测出人体上半身图像，则认定级联分类器输出结果为真值，输出上半身坐标，若不存在，则认定级联分类器输出结果为非真值；对上半身区域深度图内所有像素值都进行求取距离运算distance(x,y)＝Pix(x,y)/1000；对测量出的距离数据进行一致性分析，如果存在一致性，则确认在RGB图像中检测到的目标，在深度图像中存在，否则，在深度图像中不存在。4.根据权利要求1所述的方法，其特征在于，所述使用分类器在对人体上半身进行检测的图像中，使用融入图像深度信息方法进行人脸检测，直至检测到人脸，并对检测的人脸图像进行确认包括：预先加载好人脸检测分类器数据，设定好扫描窗口大小，所述扫描窗口大小不限定，跟据实际项目中的需求来具体确定；按照设定的尺度缩放的窗口对图像进行扫描，直到检测到人脸。5.根据权利要求1所述的方法，其特征在于，所述在深度图像提取对应的区域做距离运算包括：求取深度图中人脸区域内每一个像素点...

【专利技术属性】
技术研发人员：陈东伟，
申请(专利权)人：深圳前海勇艺达机器人有限公司，
类型：发明
国别省市：广东,44