基于手势控制的非接触电梯键盘的使用方法技术

基于手势控制的非接触电梯键盘的使用方法，直接采用电梯内的摄像头，无需增加或修改设备。通过摄像头采集电梯间内的图像，图像传至PC机，PC机对摄像头传输的图像进行处理，并将结果反馈到电梯总控主机。有两种工作模式：第一，当人手指电梯按键时，可以根据人手指尖位置，识别到相应的楼层按键，并控制该层电梯按键的点亮；第二，当键盘旁有人时不方便操作时，可以用手绘制楼层数字，再根据人的手部运动轨迹，识别到相应的楼层，控制该层电梯按键点亮。本发明专利技术利用电梯中的摄像头采集人们手势信息进行无接触式选择楼层，有效的在疫情期间减少接触机会，避免交叉感染。

【技术实现步骤摘要】
基于手势控制的非接触电梯键盘的使用方法
本专利技术涉及计算机视觉
，特别涉及基于手势控制的非接触电梯键盘的使用方法。
技术介绍
随着房地产产业的快速发展，国家倡导的节能省地型住宅建设政策广泛落实，高层住宅建设逐渐成为房地产开发和消费的主体。目前，所有的高层住宅基本都安装有电梯设备，而电梯作为公共场所，可以被任何人使用，由于每个人的健康状态都是未知的，所以直接接触电梯键盘会给传染病毒提供了机会。目前市场上推出的有语音控制电梯键盘、基于红外传感器的电梯键盘，这些键盘也可以实现非接触控制，但都需要对电梯进行改造，增加成本，因此性价比与推广性达不到市场要求。
技术实现思路
为了克服上述现有技术的不足，本专利技术的目的在于提供基于手势控制的非接触电梯键盘的使用方法，利用电梯中的摄像头采集人们手势信息进行无接触式选择楼层，有效的在疫情期间减少接触机会，避免交叉感染。为了实现上述目的，本专利技术采用的技术方案是：基于手势控制的非接触电梯键盘的使用方法，包括以下步骤；步骤一，使用摄像头采集电梯内手部图像本文档来自技高网...

【技术保护点】
1.基于手势控制的非接触电梯键盘的使用方法，其特征在于，包括以下步骤；/n步骤一，使用摄像头采集电梯内手部图像；/n步骤二，使用椭圆肤色检测模型，在YCrCb空间将手指与背景区分开来，获得手部图像；/n步骤三：使用高斯滤波对手部图像进行去噪处理，然后使用OTSU进行阈值分割，获得手部二值化图像；/n步骤四：将二值化的图像进行处理，得到最大轮廓并记录坐标，然后根据最大轮廓点集画出凸包轮廓，获得手部轮廓质心；/n步骤五：根据获得的手部轮廓质心坐标判断选择楼层模式，当坐标在适配电梯规格的虚拟键盘内，则采用指尖指向楼层按键来获取所需楼层数，否则采用手部绘制楼层数来选择要到达的楼层；/n步骤六：当采用指...

【技术特征摘要】
1.基于手势控制的非接触电梯键盘的使用方法，其特征在于，包括以下步骤；
步骤一，使用摄像头采集电梯内手部图像；
步骤二，使用椭圆肤色检测模型，在YCrCb空间将手指与背景区分开来，获得手部图像；
步骤三：使用高斯滤波对手部图像进行去噪处理，然后使用OTSU进行阈值分割，获得手部二值化图像；
步骤四：将二值化的图像进行处理，得到最大轮廓并记录坐标，然后根据最大轮廓点集画出凸包轮廓，获得手部轮廓质心；
步骤五：根据获得的手部轮廓质心坐标判断选择楼层模式，当坐标在适配电梯规格的虚拟键盘内，则采用指尖指向楼层按键来获取所需楼层数，否则采用手部绘制楼层数来选择要到达的楼层；
步骤六：当采用指尖指向按键模式时，利用步骤四的结果求出每个轮廓点到质心的距离，去除轮廓点在质心以下的点，距离最远的轮廓点即为指尖坐标点。再将指尖位置坐标与电梯按键所在位置进行对比，如果在指尖出现在按键所在的区域内，则输出其对应的楼层号；
步骤七：当采用手部绘制楼层数模式时，利用步骤一获取的图像截取帧图像，然后通过SSD神经网络模型获取手部位置，并且利用上诉步骤四确定手部质心点；
步骤八：使用卡尔曼滤波器对步骤七中获取的手部质心进行轨迹的预测与跟踪，同时将其运动轨迹保存在图像中；
步骤九：使用空间注意力机制STN改进后的ResNet残差神经网络对提取的手部轨迹图像进行分类，得到所要到达的楼层数。


2.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤一中，利用电梯里自带的摄像头采集图像，并且将图像传给PC进行分析。


3.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤二中，通过PC对接收步骤一得到的的图像进行处理分析，根据手部质心位置判断使用的方法；
首先PC读取视频的每一帧图像，然后使用椭圆肤色检测模型检测分割图像，所述皮肤信息映射到YCrCb空间，则在CrCb二维空间中这些皮肤像素点近似成一个椭圆分布，如果得到了一个CrCb的椭圆，下次来一个坐标(Cr,Cb)判断是否在椭圆内，如果是，则可以判断其为皮肤，否则就是非皮肤像素点。


4.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤三中，对步骤二中分割后的图像进行滤波降噪处理，然后进行阈值分割处理，随后确定手部轮廓，得到手部质心点位置；
首先利用高斯滤波图像进行处理，高斯滤波是通过对输入数组的每个点与输入的高斯滤波模板执行卷积计算然后将这些结果一块组成了滤波后的输出数组，二维的高斯分布为：



其中x、y表示像素坐标，σ表示常数字；
高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到；
高斯滤波的具体操作是：用一个模板扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值；
使用3×3模板，计算公式如下:
g(x,y)＝{f(x-1,y-1)+f(x-1,y+1)+f(x+1,y-1)+f(x+1,y+1)+[f(x-1,y)+f(x,y-1)+f(x+1,y)+f(x,y+1)]*2+f(x,y)*4}/16
其中x，y表示像素坐标，f(x,y)为图像中点(x,y)的灰度值，g(x,y)为该点经过高斯滤波后的值；
其次是使用OTSU算法对图像进行阈值分割，确定二值化图像，OTSU算法的假设是存在阈值TH将图像所有像素分为两类C1(小于TH)和C2(大于TH)，则这两类像素各自的均值就为m1、m2，图像全局均值为mG，同时像素被分为C1和C2类的概率分别为p1、p2。因此就有：
p1*m1+p2*m2＝mG
p1+p2＝1
根据方差的概念，类间方差表达式为：
σ2＝p1*(m1-mG)2+p2*(m2-mG)2
把上式化简，可得：
σ2＝p1*p2*(m1-m2)
使得上式最大化的灰度级k就是OTSU阈值。


5.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤四根据二值化的图像取得手部轮廓，并获得手部质心位置，通过二值化图像检测到各个物体的轮廓，并对轮廓面积进行排序，得到最大轮廓，保留最大轮廓坐标，然后通过最大轮廓的点集得到轮廓的凸包，再根据轮廓点的坐标，求得相应的x轴的一阶距，y轴的一阶距，一阶距除以面积即可获得最大轮廓的质心。


6.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤五根据步骤四获得的手部轮廓质心坐标判断选择楼层模式，当坐标在适配电梯规格的虚拟键盘内，则采用指尖指向楼层按键来获取所需楼层数，否则采用手部绘制楼层数字来选择要到达的楼层。


7.根据权利要求1所述的基于手势控制的非接触电梯键盘的使用方法，其特征在于，所述步骤六具体为：
采用指尖指向按键的方式确定所选楼层数；
首先要确定指尖位置坐标，指尖的寻找是根据距离人手质心最远的点来判定的，分别求出每个轮廓点到质心的距离，去除轮廓点在质心以下的点，避免手臂或者其他物体的干扰，剩余的轮廓点到...

【专利技术属性】
技术研发人员：李颀，李煜哲，冯文斌，郭梦媛，叶小敏，张冉，雷涛，
申请(专利权)人：陕西科技大学，
类型：发明
国别省市：陕西;61