一种基于MSER与ORB相结合的人体匹配与定位方法及系统技术方案

本发明专利技术提供一种基于MSER与ORB相结合的人体匹配与定位方法，包括以下步骤：双目摄像头采集左右立体图像对；并对其进行立体标定处理，得到摄像机内外参数；利用摄像机内外参数对图像对进行校正、人体检测，对人体检测结果进行交叉验证；在左右立体图像对分别提取MSER区域；对提取的MSER区域进行过滤、椭圆拟合和归一化处理、提取多尺度ORB特征；对ORB特征点进行立体匹配；进行人体定位；显示人体定位结果。本发明专利技术基于MSER与ORB相结合的人体匹配与定位方法及系统是在人体区域提取MSER特征的基础上，提取多尺度ORB特征，克服了传统基于双目视觉人体定位在特征提取和立体匹配阶段是针对整个人体区域进行定位的缺点，降低了计算量、提高了实时性。

【技术实现步骤摘要】

本专利技术涉及一种计算机视觉定位领域，特别是涉及一种基于MSER与0RB相结合的 人体匹配与定位方法及系统。
技术介绍
人体检测与定位是计算机视觉领域的研究热点与难点，在人机交互和人机协作等 方面具有广泛的应用，如在智能监控、智能家居服务型机器人、汽车的安全驾驶、智能交通 等方面都有广泛的应用。人体检测与定位不仅有直接的应用价值，同时也是计算机实现人 体动作行为识别和跟踪等视觉技术的基础，具有很好的理论研究价值。 目前立体匹配方法主要有两种，一种是基于区域的立体匹配方法，即给定一幅 图像上的某一点，选取该像素点领域内的一个子窗口，在另一幅图像中的一个区域内，根 据某种相似性测度算法，寻找与子窗口图像最为相似的子图，而其匹配的子图中对应的 像素点就为该像素的匹配点。常用的相似性测度算法有像素差平方和（Sum of Squared Differences, SSD)，像素差绝对值和（Sum of Absolute Differences, SAD)，归一化交叉 相关（Normalized Correlation Coefficient，NCC)等；一种是基于特征的立体匹配方法， 如，Harris，SIFT、SURF、0RB等。基于区域的立体匹配方法能够获得稠密、均匀的图像视差 图，但是其对于图像旋转和外界光照的变化较为敏感，鲁棒性差，同时也不能处理图像中纹 理相似区域或遮挡图像区域。而基于特征的立体匹配方法虽然已经具有较好的匹配精度和 鲁棒性，但特征匹配方法搜索范围较广，计算量大，且容易出现误匹配。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提出一种基于MSER与0RB相结合 的人体匹配与定位方法，旨在降低计算量的同时，提高立体匹配的精度。 本专利技术所采取的技术方案是： -种基于MSER与0RB相结合的人体匹配与定位方法，实施该方法的系统包括硬件 设备和服务器端，所述方法包括以下步骤： 所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体 图像对 imageLeft 和 imageRight ; 硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处 理，处理结果得到摄像机内外参数； 硬件设备发送摄像机内外参数至服务器端； 服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对 imageLeft 和 imageRight 进行校正； 服务器端通过H0G+SVM人体检测算法分别对左右立体图像对imageLeft和 imageRight进行人体检测； 服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证； 服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取 MSER区域； 服务器端对提取的MSER区域进行过滤； 服务器端对提取的MSER区域进行椭圆拟合和归一化处理； 服务器端对提取的MSER区域提取多尺度0RB特征； 服务器端利用Hamming距离对提取的0RB特征点进行立体匹配； 服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体 定位； 服务器端显示人体定位结果。 优选的是，所述立体图像对校正步骤进一步包括； 利用Matlab标定工具箱对左右立体图像对imageLeft和imageRight进行立体标 定，得到双目摄像机的内外参数； 使用OpenCV中的cvStereoRectify函数对摄像机内外参数参与校准的参数项进 行计算，得出校准参数； 根据校准参数使用cvRemap对输入的左右图像对进行校准。 在上述任一方案中优选的是，所述服务器端对左右图像对进行人体检测步骤进一 步包括： 将校准后的图像对进行颜色和空间伽马归一化预处理； 计算经过预处理后的图像对的每个像素的水平方向梯度和垂直方向梯度，得到图 像对的梯度强度和梯度方向值； 将图像对分成固定大小的单元，每4个单元组合成块；将梯度方向分为9个bins， 每个单元得到的特征向量的维度为9 ; 对单元内每个像素点，以各像素点的梯度强度值为权重，对其梯度方向所属区间 进行投票加权； 统计各个块内各个单元在各个方向上的梯度分布，计算出图像对的Hog特征； 将得到的H0G特征输入SVM分类器；SVM分类器分别对左右图像对imageLeft和 imageRight进行人体检测。 在上述任一方案中优选的是，所述服务器端对左右图像对人体检测结果交叉验证 的步骤进一步包括： 将左图像imageLeft中的每一个人体检测结果与右图像imageRight中的人体检 测结果进行匹配，若匹配成功，服务器端保留该左右图像对人体检测结果；若匹配不成功， 将SVM分类器阈值下降0. 5 ; 在该人体右图像imageRight中构造一个与左图像imageLeft位置对应，大小相等 的区域； 使用SVM分类器检测，如果检测结果为行人，则保留该左右图像的该人体检测结 果，否则不保留左图像该人体检测结果； 对右图像中每一个未与左图像对应的人体检测结果进行上述同样的处理。 在上述任一方案中优选的是，服务器端提取MSER区域的步骤进一步包括： 选择一幅灰度图像，从1-255分别取阈值进行二值化处理，对于阈值为i时有N 个连通域，记为仏，Q2,...，Qi，...，QN，对于任意一个连通区域Qi，当灰度阈值i变化Δ = 5 时，对应的4变为，当，Qi即为MSER区域。 在上述任一方案中优选的是，服务器端对提取的MSER区域进行过滤步骤进一步 包括： 根据所述二值化处理方法得到Nr个MSER区域，记为R r i = 1，· · ·，Nr; A_表示MSER区域面积的最大值，取值为8000 ; A_表示MSER区域面积的最小值，取值为100 ; (? (A))表示第i个MSER区域的面积： 在上述任一方案中优选的是，服务器端对提取MSER特征的区域进行椭圆拟合和 归一化步骤进一步包括： 采用协方差矩阵将每一个MSER区域拟合成椭圆； 计算出每个区域内所有像素点的一阶矩和二阶矩，则该区域由均值和协方差矩阵 来确定要拟合成的椭圆； 将拟合的椭圆区域归一化为圆。 在上述任一方案中优选的是，所述服务器端提取多尺度0RB特征步骤进一步包 括： 提取MSER区域的多尺度0RB特征，其中以MSER椭圆区域的最长轴为基准，记 为R，以椭圆区域的中心（x，y)为关键点位置，以椭圆区域的主方向σ为关键点的角 度，服务器端提取以（x，y)为中心，半径为k*R区域内的0RB特征，其中，κ的取值为 0· 5，1. 0，1. 5, 2. 0〇 在上述任一方案中优选的是，所述服务器端对提取的0RB特征点进行立体匹配 步骤进一步包括： 通过Hamming距离对特征点进行立体匹配，使用d(Lfcy), RUy))表示左右图像匹配 点LfcydP R ^^的Hamming距离，其中，d〈100的匹配点保留。 在上述任一方案中优选的是，所述服务器端对图像进行人体定位步骤进一步包 括： 对立体匹配得到的匹配点对N求视差，所述N的视差c^i = 1，...，N，并求视差d 的均值 根据双目立体定位原理以及摄像机标定得到的内外参数计算目标人体距摄像头 本文档来自技高网...

【技术保护点】
一种基于MSER与ORB相结合的人体匹配与定位方法，实施该方法的系统包括硬件设备和服务器端，所述方法包括以下步骤：所述硬件设备包括双目摄像头，将所述双目摄像头固定位置，用以采集左右立体图像对imageLeft和imageRight；硬件设备将采集到的左右立体图像对imageLeft和imageRight进行立体标定处理，处理结果得到摄像机内外参数；硬件设备发送摄像机内外参数至服务器端；服务器端接收摄像机内外参数，服务器端利用摄像机内外参数对左右立体图像对imageLeft和imageRight进行校正；服务器端通过HOG+SVM人体检测算法分别对左右立体图像对imageLeft和imageRight进行人体检测；服务器端对左右图像对imageLeft和imageRight人体检测结果进行交叉验证；服务器端在左右立体图像对imageLeft和imageRight人体感兴趣区域分别提取MSER区域；服务器端对提取的MSER区域进行过滤；服务器端对提取的MSER区域进行椭圆拟合和归一化处理；服务器端对提取的MSER区域提取多尺度ORB特征；服务器端利用Hamming距离对提取的ORB特征点进行立体匹配；服务器端根据双目视觉定位原理、摄像机内外参数以及立体匹配结果，进行人体定位；服务器端显示人体定位结果。...

【技术特征摘要】

【专利技术属性】
技术研发人员：黄先开，袁家政，刘宏哲，赵霞，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京;11