基于人工标志和几何变换的电梯按钮定位和识别方法技术

本发明专利技术公开了一种基于人工标志和几何变换的电梯按钮定位和识别方法，它包括电梯面板样本训练过程和电梯面板识别过程，所述电梯面板样本训练过程用以获取电梯面板样本中按钮的布局和坐标并对电梯面板样本中的按钮进行功能设置，所述电梯面板识别过程用以获取所要识别电梯面板中按钮的布局和坐标，并结合电梯面板样本中的按钮功能来对所要识别电梯面板中每个按钮进行定位和识别。本发明专利技术的方法简单但是可靠高效，可在短时间内完成按钮的定位和识别，对于机器人自助上下直梯有重要的帮助。

【技术实现步骤摘要】
基于人工标志和几何变换的电梯按钮定位和识别方法
本专利技术涉及一种基于人工标志和几何变换的电梯按钮定位和识别方法，属于电梯按钮智能识别

技术介绍
最近，对于代替人进行基本作业的移动机器人的研究出现了许多进展。导航、人机交互、定位和地图构建等课题在工业和家庭中的应用也得到研究，移动式服务机器人更是人们研究的热点。移动式服务机器人常用于在室内进行物品传送，如在医院中传送医疗器械和药品、在旅馆中为旅客提供相关物品等。同移动机器人一样，导航是移动式服务机器人的核心和关键。机器人在进行室内导航时，为了完成跨越楼层的作业，必然会面临跨楼层导航，这就需要机器人有自主乘坐电梯的能力。在欧美等发达国家对服务机器人的研发起步较早，而且有很多知名的外国公司如Aethon、Savioke等都开发出了自己的服务型机器人(如TUG和Relay)，并成功应用于医院和旅馆内的物品传递。以上这些机器人它们都是通过无线或蓝牙的方式呼叫电梯，需要对电梯内部系统进行改装，并且像TUG这样的机器人乘坐电梯时，人类是不能与其一同乘坐的。如果能够让机器人利用视觉方法自主检测和识别电梯按键区域和各个按钮，自行控制其机械臂来操控电梯面板，便可以将机器人在不影响人类正常使用电梯的同时到达的目的楼层，但目前还未有能够实现该目的电梯按钮定位和识别方法。
技术实现思路
针对上述不足，本专利技术提供了一种基于人工标志和几何变换的电梯按钮定位和识别方法，其能够实现对电梯按钮的定位和识别，且能够保证电梯面板定位和识别的准确性，为机器人操作电梯按钮创造了条件，也为服务型机器人提供很好的应用价值。本专利技术解决其技术问题采取的技术方案是：本专利技术的一种基于人工标志和几何变换的电梯按钮定位和识别方法，它包括电梯面板样本训练过程和电梯面板识别过程，所述电梯面板样本训练过程用以获取电梯面板样本中按钮的布局和坐标并对电梯面板样本中的按钮进行功能设置，所述电梯面板识别过程用以获取所要识别电梯面板中按钮的布局和坐标，并结合电梯面板样本中的按钮功能来对所要识别电梯面板中每个按钮进行定位和识别。优选地，所述电梯面板样本训练过程包括以下步骤：步骤1：通过人工标志确定电梯按钮图像中电梯面板区域；步骤2：求解变换矩阵；步骤3：利用变换矩阵通过双线性插值法将电梯面板区域透视变换为矩形；步骤4：对变换为矩形的电梯面板进行投影，获得电梯面板中按钮的布局和坐标；步骤5：对电梯面板中的按钮进行功能设置。优选地，所述电梯面板识别过程包括以下步骤：步骤1：通过人工标志确定电梯按钮图像中电梯面板区域；步骤2：求解变换矩阵；步骤3：利用变换矩阵通过双线性插值法将电梯面板区域透视变换为矩形；步骤4：对变换为矩形的电梯面板进行投影，获得电梯面板中按钮的布局和坐标；步骤6：根据获得电梯面板中按钮的坐标，并结合电梯面板样本训练过程中获得电梯面板中的按钮功能信息实现对每个按钮的定位和识别。本专利技术的另一种基于人工标志和几何变换的电梯按钮定位和识别方法，它包括以下过程：一、电梯面板样本训练过程步骤1：通过人工标志确定电梯按钮图像中电梯面板区域；步骤2：求解变换矩阵；步骤3：利用变换矩阵通过双线性插值法将电梯面板区域透视变换为矩形；步骤4：对变换为矩形的电梯面板进行投影，获得电梯面板中按钮的布局和坐标；步骤5：对电梯面板中的按钮进行功能设置；二、电梯面板识别过程步骤6：对所要识别的电梯面板按照步骤1至步骤4的方法获得电梯面板中按钮的坐标，并结合电梯面板样本训练过程中获得电梯面板中的按钮功能信息实现对每个按钮的定位和识别。进一步地，在步骤1中，通过人工标志确定电梯按钮图像中电梯面板区域的具体步骤为：步骤11，对获取的电梯按钮图像进行灰度化和高斯滤波预处理，去除图像中的大量噪声；步骤12，通过Canny算子获得预处理后电梯按钮图像的边缘信息，并运用形态学对电梯按钮图像在四个方向上分别进行闭运算操作，确保标志的每一层边缘是连通的；步骤13，提取电梯按钮图像中的轮廓，并获取各层轮廓之间的嵌套关系；步骤14，寻找四个被多层轮廓所嵌套的轮廓，分别计算它们的中心矩得到四个标记点的质心坐标，并对四个坐标的相对位置进行分析得到四个标志相对于电梯面板的位置(x0，y0)，(x1，y1)，(x2，y2)，(x3，y3)，确定电梯面板区域，其中，(x0，y0)，(x1，y1)，(x2，y2)，(x3，y3)分别为电梯面板的左上、右上、左下和右下四个顶点的坐标。进一步地，在步骤2中，求解变换矩阵的的具体步骤为：步骤21中，利用电梯面板的左上、右上、左下和右下四个顶点的坐标计算变换后的矩形的长L和宽W，并获得变换后矩形的左上、右上、左下和右下四个顶点的坐标(0，0)，(W，0)，(0，L)，(W，L)，变换后的矩形的长L和宽W的计算公式为：步骤22，根据电梯面板的左上、右上、左下和右下四个顶点的坐标和变换后矩形的左上、右上、左下和右下四个顶点的坐标计算变换矩阵的参数，变换矩阵的参数由奇异值分解法求解以下线性系统可得：其中，(x0′,y0′),(x1′,y1′),(x2′,y2′),(x3′,y3′)分别为变换后矩形的左上、右上、左下和右下四个顶点的坐标(0，0)，(W，0)，(0，L)，(W，L)在原始电梯面板图像中对应的坐标。进一步地，在步骤3中，将电梯面板区域透视变换为矩形的具体步骤为：步骤31，通过变换矩阵将目标矩形电梯面板的坐标(xi，yi)变换到原始电梯面板图像中对应的坐标(x′i，y′i)，其变换公式为；其中，ti为坐标(xi，yi)经过投影变换后在三维空间中的Z轴的坐标值，步骤32，根据目标矩形电梯面板变换到原始电梯面板图像中的坐标(x′i，y′i)，由双线性插值算法计算得到对应矩形坐标(xi，yi)处对应的灰度值f(xi，yi)，计算公式如下：f(xi，yi)＝f(floor(x′i)，floor(y′i))*(1-Δx)*(1-Δy)+f(floor(x′i)+1，floor(y′i))*Δx*(1-Δy)+f(floor(x′i)，floor(y′i)+1)*(1-Δx)*Δy+f(floor(x′i)+1，floor(y′i)+1)*Δx*Δy其中，Δx＝x′i-floor(x′i)，Δy＝y′i-floor(y′i)；步骤33，将通过人工标志确定电梯按钮图像中电梯面板区域中左上角和右下角标记的最外层轮廓坐标利用变换公式矫正为矩形区域，然后找到两个矫正后轮廓矩形区域的外接矩形，通过左上角外接矩形的右下角坐标和右下角外接矩形的左上角坐标进一步确定电梯面板的区域。进一步地，在步骤4中，对变换为矩形的电梯面板进行投影的具体步骤为；步骤41，对变换为矩形的电梯面板通过光照均衡化算法进行图像处理，去除不均衡光照造成的影响：步骤42，将电梯面板图像通过大津法进行二值化处理，进一步去除噪声，仅保留按钮的特征；步骤43，对电梯面板图像在水平和垂直方向上进行腐蚀膨胀处理后投影，即对水平方向腐蚀膨胀处理过的图像进行垂直投影，对垂直方向腐蚀膨胀处理过的图像进行水平投影，得到垂直投影直方图方图和水平投影直方图方图；步骤44，判断垂直投影直方图方图和水平投影直方图方图中峰相交处的区域是否存在图像像素，如果存在则判定该位置有电梯按钮，遍历完所有垂直投本文档来自技高网...

【技术保护点】
基于人工标志和几何变换的电梯按钮定位和识别方法，其特征是，包括电梯面板样本训练过程和电梯面板识别过程，所述电梯面板样本训练过程用以获取电梯面板样本中按钮的布局和坐标并对电梯面板样本中的按钮进行功能设置，所述电梯面板识别过程用以获取所要识别电梯面板中按钮的布局和坐标，并结合电梯面板样本中的按钮功能来对所要识别电梯面板中每个按钮进行定位和识别。

【技术特征摘要】
1.基于人工标志和几何变换的电梯按钮定位和识别方法，其特征是，包括电梯面板样本训练过程和电梯面板识别过程，所述电梯面板样本训练过程用以获取电梯面板样本中按钮的布局和坐标并对电梯面板样本中的按钮进行功能设置，所述电梯面板识别过程用以获取所要识别电梯面板中按钮的布局和坐标，并结合电梯面板样本中的按钮功能来对所要识别电梯面板中每个按钮进行定位和识别。2.根据权利要求1所述的基于人工标志和几何变换的电梯按钮定位和识别方法，其特征是，所述电梯面板样本训练过程包括以下步骤：步骤1：通过人工标志确定电梯按钮图像中电梯面板区域；步骤2：求解变换矩阵；步骤3：利用变换矩阵通过双线性插值法将电梯面板区域透视变换为矩形；步骤4：对变换为矩形的电梯面板进行投影，获得电梯面板中按钮的布局和坐标；步骤5：对电梯面板中的按钮进行功能设置。3.根据权利要求1所述的基于人工标志和几何变换的电梯按钮定位和识别方法，其特征是，所述电梯面板识别过程包括以下步骤：步骤1：通过人工标志确定电梯按钮图像中电梯面板区域；步骤2：求解变换矩阵；步骤3：利用变换矩阵通过双线性插值法将电梯面板区域透视变换为矩形；步骤4：对变换为矩形的电梯面板进行投影，获得电梯面板中按钮的布局和坐标；步骤6：根据获得电梯面板中按钮的坐标，并结合电梯面板样本训练过程中获得电梯面板中的按钮功能信息实现对每个按钮的定位和识别。4.基于人工标志和几何变换的电梯按钮定位和识别方法，其特征是，包括以下过程：一、电梯面板样本训练过程步骤1：通过人工标志确定电梯按钮图像中电梯面板区域；步骤2：求解变换矩阵；步骤3：利用变换矩阵通过双线性插值法将电梯面板区域透视变换为矩形；步骤4：对变换为矩形的电梯面板进行投影，获得电梯面板中按钮的布局和坐标；步骤5：对电梯面板中的按钮进行功能设置；二、电梯面板识别过程步骤6：对所要识别的电梯面板按照步骤1至步骤4的方法获得电梯面板中按钮的坐标，并结合电梯面板样本训练过程中获得电梯面板中的按钮功能信息实现对每个按钮的定位和识别。5.根据权利要求4所述的基于人工标志和几何变换的电梯按钮定位和识别方法，其特征是，在步骤1中，通过人工标志确定电梯按钮图像中电梯面板区域的具体步骤为：步骤11，对获取的电梯按钮图像进行灰度化和高斯滤波预处理，去除图像中的大量噪声；步骤12，通过Canny算子获得预处理后电梯按钮图像的边缘信息，并运用形态学对电梯按钮图像在四个方向上分别进行闭运算操作，确保标志的每一层边缘是连通的；步骤13，提取电梯按钮图像中的轮廓，并获取各层轮廓之间的嵌套关系；步骤14，寻找四个被多层轮廓所嵌套的轮廓，分别计算它们的中心矩得到四个标记点的质心坐标，并对四个坐标的相对位置进行分析得到四个标志相对于电梯面板的位置(x0，y0)，(x1，y1)，(x2，y2)，(x3，y3)，确定电梯面板区域，其中，(x0，y0)，(x1，y1)，(x2，y2)，(x3，y3)分别为电梯面板的左上、右上、左下和右下四个顶点的坐标。6.根据权利要求5所述的基于人工标志和几何变换的电梯按钮定位和识别方法，其特征是，在步骤2中，求解变换矩阵的的具体步骤为：步骤21中，利用电梯面板的左上、右上、左下和右下四个顶点的坐标计算变换后的矩形的长L和宽W，并获得变换后矩形的左上、右上、左下和右下四个顶点的坐标(0，0)，(W，0)，(0，L)，(W，L)，变换后的矩形的长L和宽W的计算公式为：步骤22，根据电梯面板的左上、右上、左下和右下四个顶点的坐标和变换后矩形的左上、右上、左下和右下四个顶点的坐标计算变换矩阵的参数，变换矩阵的参数由奇异值分解法求解以下线性系统可得：

【专利技术属性】
技术研发人员：李金屏，史建杰，安庆浩，于向茹，赵鹏鹏，韩延彬，
申请(专利权)人：济南大学，
类型：发明
国别省市：山东,37