一种基于双目视觉目标检测的家居环境下门定位方法技术

本发明专利技术公开了一种基于双目视觉目标检测的家居环境下门定位方法，该方法包括：通过双目视觉摄像机获取图像；截取图像并获得二值化图像；获得可能为门边框的线段序列；寻找左右图像中相匹配的线段对；采用全局最优匹配的原则获得最优匹配线段对队列；通过匹配线段对对应的实际线的距离获得疑似门线对；采用特征积分制原则获得疑似门最优解，从而对门定位。本发明专利技术技术方案采用双目视觉，通过高效算法识别门的双边框，有效实现家居环境下的门定位，具有成本低、使用方便灵活、应用场景广泛的优点。

【技术实现步骤摘要】

本专利技术涉及机器人视觉领域，是一种实时的目标定位方法，尤其是一种基于双目视觉目标检测的家居环境下门定位方法。
技术介绍
近年来，机器人技术作为高新科技，得到了不断地发展，在家庭、办公室、医院和工厂等得到广泛采用。从生产车间用于智能装配的工业机器人到用于公共服务、家庭服务的智能服务机器人，机器人已经越来越贴近并进入我们的工作和生活中。目前新兴的服务机器人企业和服务机器人应用市场也不断地增加，所以各式各样的娱乐、救援、监视机器人也逐渐渗透进入我们生活的方方面面。随着对服务机器人智能程度需求的愈来愈高，对以人工识别技术、人机交互技术、自主巡逻技术和智能控制技术等为代表的智能技术要求也愈来愈高。对于家庭服务机器人，尤其是监视机器人，室内导航和自主巡逻通常是必要的功能。因此对于该类机器人最大的挑战是在对周边环境进行有限了解的基础上，可自主的执行越来越多的复杂任务。其中门对机器人在家居环境中地图构建、室内导航、自主巡逻具有极其重要的意义。其原因如下：1.门在家居环境的位置是相对不变的；2.门是连接一个房间与另一个房间的唯一通道；3.门的宽度和形状具有统一的标准。但是一些家庭服务型机器人因其集成功能较多，体积相对庞大，但家居环境下的门相对较小。实现对门定位，并顺利通过门，成为机器人技术发展的难点。所以实现对家居环境下门的定位，对于机器人技术和产业的发展具有十分重要的意义。国际上有很多科研机构和厂商都在研究家居环境下门的定位问题，通过采用摄像头、声呐传感器、激光雷达传感器等来实现传感器信息或多传感器信息融合，并提出了一系列的解决方案，如：1.在门两侧粘贴标签，并通过单目视觉对标签的定位进而实现对门的定位；2.采用声呐传感器或激光雷达传感器探测机器人前进方向上是否有深度突变区，并结合已知地图信息实现对开着的门定位；3.采用RGB-D传感器，通过对门的特征进行提取，并结合视野中各物体的深度信息实现对门的定位；4.采用单目视觉，通过提取图像中线特征，进一步匹配门线特征的各种组合情况，实现对门的定位。但上述方法都有一定的缺陷。首先，声呐传感器、激光雷达传感器价格很高，RGB-D传感器的价格也相对不低，所以带有上述传感器的机器人很难推广到各个经济阶层的家庭中；而且此方案也存在不足，不能对关着的门实现定位。其次，上述方法1和方法4虽然成本比较低，但是方法1需要对家庭环境进行修改，并且操作较为繁琐，难以被用户所接受；方法4需要机器人需要离门有一定距离才可实现对门的定位，否则门与地的界限会位于摄像头的死角范围内，在实际应用中受到一定的局限。
技术实现思路
本专利技术提出一种基于双目视觉目标检测的家居环境下门定位方法，该方法通过采用双目视觉目标检测实现对家居环境下门的定位，通过高效的算法有效的解决了采用传感器、激光雷达传感器等传感器方案价格昂贵的缺陷，降低了硬件成本；而且，本方法不需要在门上增加多余的标志物，在实际操作中更为简单方便；同时，本方法只需要门的两侧边框同时出现在双目视野中便可实现对门的定位，实际使用更加的灵活；本方法还可以实现对家居环境下不同状态的门实现定位，比如关闭、半开、全开的门，具有更加的广泛应用前景。本专利技术的技术方案提供了一种基于双目视觉目标检测的家居环境下门定位方法，包括以下步骤：S101、将双目视觉摄像机(左摄像机和右摄像机)置于距离地面一定高度的支架上，水平放置，接收来自两路双目视觉摄像机的图像IL、IR；S102、以左摄像机和右摄像机各自图像主点为中心，分别截取图像IL中坐标为的矩形区域和图像IR中坐标为的矩形区域(yup和ydown为图像截取的上侧阈值和下侧阈值，w为图像IL和IR图像的宽度)可得截取后的RGB图像IL,C，IR,C；上述的摄像头参数是通过单目标定获得的，如张正友标定法，S103、对图像IL,C，IR,C分别灰度化，获得灰度图像IL,G和IR,G，再分别对IL,G和IR,G进行Canny算子边缘检测，获得二值化图像IL,B和IR,B；S104、采用累计概率霍夫变换算法对二值化图像IL,B和IR,B进行直线线段检测，并提取其中斜率为的线段(Td为角度变化阈值)，每条线段表示为式中是线段La,i与直线yI＝yup+1交点的xI值，并根据既定规则对两幅图像中得到的线段进行筛选，进一步可获得左图像中的线段组LL＝{LL,1,LL,2,…,LL,nL本文档来自技高网...

【技术保护点】
一种基于双目视觉目标检测的家居环境下门定位方法，其特征在于，包括以下步骤：S101、将双目视觉摄像机(左摄像机和右摄像机)置于距离地面一定高度的支架上，水平放置，接收来自两路双目视觉摄像机的图像IL、IR；S102、以左摄像机和右摄像机各自图像主点为中心，分别截取图像IL中坐标为的矩形区域和图像IR中坐标为的矩形区域(yup和ydown为图像截取的上侧阈值和下侧阈值，w为图像IL和IR图像的宽度)可得截取后的RGB图像IL,C，IR,C；上述的摄像头参数是通过单目标定获得的，如张正友标定法，S103、对图像IL,C，IR,C分别灰度化，获得灰度图像IL,G和IR,G，再分别对IL,G和IR,G进行Canny算子边缘检测，获得二值化图像IL,B和IR,B；S104、采用累计概率霍夫变换算法对二值化图像IL,B和IR,B进行直线线段检测，并提取其中斜率为的线段(Td为角度变化阈值)，每条线段表示为式中是线段La,i与直线yI＝yup+1交点的xI值，并根据既定规则对两幅图像中得到的线段进行筛选，进一步可获得左图像中的线段组LL＝{LL,1,LL,2,…,LL,nL}和右图像中的线段组LR＝{LR,1,LR,2,…,LR,nR}(nL为左图像中线段的数量，nR为右图像中线段的数量)；S105、以左图像的线段组LL中线段LL,i为基准，计算LL,i对应于右图像中线段组LR匹配范围内所有线段的匹配度，可得到符合筛选阈值的疑似匹配线段对组{LL,i,:}＝{(LL,i,LR,i1),(LL,i,LR,i2),…,(LL,i,LR,in)}；S106、判断LL中所有的线段是否完成疑似匹配线段对组的获取，若否，则转向步骤S105；S107、得到线段组LL中每一条线段对应线段组LR中的疑似匹配线段对组集合CMP＝{{LL,0,:},{LL,1,:},…,{LL,nL,:}}；S108、采用全局最优匹配的原则从CMP中选择LL和LR中最优匹配线段对队列(其中ix和jx分别代表线段和线段在线段组LL和LR中的序号)，其对应的实际竖线组为L＝{L1,L2,…,Ln}；S109、使用双目测距公式zC=-f′·TxlI-xrI-(Cxl-Cxr)xC=z·(xlI-Cxl)f]]>计算出OMPQ对应的实际竖线组L在摄像头坐标系下的坐标其中，f'、为双目视觉摄像头参数，由单目标定获得，T为两个摄像头光轴间的间距，分别为相匹配的两条线段和中心坐标的xI值，xC和zC为相匹配的两条线段对应的实际竖线在摄像头坐标系下的xC‑zC坐标；S110、根据公式(i和j表示线Li和线Lj在L的序号)计算L中竖线Li和竖线Lj的距离，并认为：当di,j∈[WD,min,WD,max](WD,min和WD,max分别为家居环境门宽的最小值和最大值)时，线Li和线Lj可能为门的两个外边框，记为疑似门当di,j∈[WF,min,WF,max](WF,min和WF,max分别为家居环境门框宽的最小值和最大值)时，线Li和线Lj可能为门框的两侧边线，记为疑似门框计算L中所有线之间的距离，可得到疑似门组(ix和jx分别代表竖线Lix,x和Ljx,x在竖线组L中的序号，D为疑似门标号，x代表疑似门在Dsus中的序号)，和疑似门框组(ix和jx分别代表竖线Lix,x和Ljx，x在竖线组L中的序号，F为疑似门框标号，x代表疑似门框在Fsus中的序号)S111、采用特征积分制原则从疑似门组Dsus中选择最优解，积分最大的疑似门为最优解，即实现对门的识别。...

【技术特征摘要】
1.一种基于双目视觉目标检测的家居环境下门定位方法，其特征在于，包括以下步骤：S101、将双目视觉摄像机(左摄像机和右摄像机)置于距离地面一定高度的支架上，水平放置，接收来自两路双目视觉摄像机的图像IL、IR；S102、以左摄像机和右摄像机各自图像主点为中心，分别截取图像IL中坐标为的矩形区域和图像IR中坐标为的矩形区域(yup和ydown为图像截取的上侧阈值和下侧阈值，w为图像IL和IR图像的宽度)可得截取后的RGB图像IL,C，IR,C；上述的摄像头参数是通过单目标定获得的，如张...

【专利技术属性】
技术研发人员：薛林，王玉亮，乔涛，王巍，
申请(专利权)人：北京进化者机器人科技有限公司，
类型：发明
国别省市：北京;11