一种基于手势识别技术的智能电梯控制方法及系统技术方案

本发明专利技术涉及目标检测领域，尤其是一种基于手势识别技术的智能电梯控制方法及系统。针对手势识别技术中，过于注重对目标手势的识别精度，忽视网络复杂度和检测速率；在追求网络轻量化时，降低模型精度等问题提出以下方案：S1：收集手势图像并对手势位置和类别进行标记，制作成标准数据集；S2：利用改进yolov4网络结构训练手势识别的模型；S3：建立目标手势与电梯服务请求的对应关系。本发明专利技术将Ghostnet作为改进后的yolov4的骨干网络，利用三个有效特征层替换原来yolov4骨干网络CSPdarknet53的有效特征层进行加强特征提取网络的构建，保证良好检测效果的情况下，减少模型的参数量与提高模型的执行速度；主干特征提取网络使用hard

【技术实现步骤摘要】
一种基于手势识别技术的智能电梯控制方法及系统
[0001]本专利技术涉及目标检测领域，具体来说，涉及一种基于手势识别技术的智能电梯控制方法及系统。

技术介绍

[0002]电梯作为人类生活中不可缺少的一种工具，它的诞生给予了人们极大的方便。在人类生活中，电梯随处可见，而它作为一个密闭的空间，也极易为病毒传播与繁衍提供条件，特别是新冠病毒肆虐期间，电梯的病毒防控不容忽视。
[0003]基于手势识别的智能电梯控制技术因为其非接触式的特点，可以很好的解决以上问题。然而，手势识别技术中，一个缺点是过于注重对目标手势的识别精度，忽视了网络的复杂度和检测速率；另一个不足是在追求网络轻量化时，降低了模型精度。为此，我们提出了一种基于改进yolov4的手势识别方法，很好的均衡了识别的速度和精度。

技术实现思路

[0004]针对相关技术中的问题，本专利技术提出一种基于手势识别技术的智能电梯控制方法，以克服现有相关技术所存在的上述技术问题。
[0005]本专利技术的技术方案是这样实现的：
[0006]一种基于手势识别技术的智能电梯控制方法,所述方法包含以下步骤：
[0007]S1：收集手势图像并对手势位置和类别进行标记，制作成标准数据集；
[0008]S2：利用改进yolov4网络结构训练手势识别的模型；
[0009]S3：建立目标手势与电梯服务请求的对应关系；
[0010]S4：将采集到的视频流通过以帧为单位的方式输入手势识别模型，若识别出每帧图像数据的目标手势置信分数超过设定的阈值则将识别结果显示在原图上，并通过信号传输设备将识别出的结果类别发送给，电梯相应做出服务响应；
[0011]S5：当原图上显示出不同识别结果时，信号传输装置将会将识别出的所有结果发送给下位机，电梯将做出不同的服务响应。
[0012]进一步来说，所述S1中，标准数据集制作包含以下步骤：
[0013]使用图像采集设备采集具有目标手势且不同背景的照片；
[0014]使用labelimg软件对拍摄的照片进行打标签处理；
[0015]将照片与标签文件按pascol voc数据集格式排列；
[0016]划分训练所需的训练，验证和测试文件，比例分别为70％，20％，10％。
[0017]进一步来说，所述S2中，模型训练包含以下步骤：
[0018]改进yolov4网络模型，改进过程如下：
[0019]将Ghostnet作为改进后的yolov4的骨干网络，利用三个有效特征层替换原来yolov4骨干网络CSPdarknet53的有效特征层进行加强特征提取网络的构建。Ghostnet使用深度可分离卷积获得特征浓缩的相似特征图，保证良好检测效果的情况下，减少模型的参数量与提高模型的执行速度。
[0020]kmeans算法聚类出适合自制手势数据集的9种尺寸的锚框，使锚框的长宽形状越接近真实的bbox，有效提高模型检测精度。
[0021]对于主干特征提取网络使用hard
‑
swish作为主要激活函数，提高模型的运算速率。
[0022]设置模型训练参数,参数包括：
[0023]学习率(learning rate)、批量尺寸大小(batch size)，迭代次数(epoch)、隐藏层数目层数、激活函数的选择、部分损失函数的可调系数以及正则化系数。
[0024]模型训练：在pytorch中配置好模型训练需要的虚拟环境，并在此虚拟环境中训练改进后的yolov4模型。
[0025]进一步来说，所述S4中图像数据在手势识别模型中的识别过程包括以下步骤：
[0026]模型加载：加载训练好的权值文件；
[0027]设置预测参数，参数包括：得到预测框的置信度分数阈值、非极大值抑制所用到的nms_iou值、输入图片的大小、是否使用Gpu；
[0028]预测：在模型中输入待预测的图像或视频路径进行预测，预测结果将保存在指定路径的文件夹下；实时检测时，模型将调用摄像头。
[0029]结果显示：将预测后的框,手势类别,置信分数绘制在原图上。
[0030]一种基于手势识别的智能电梯控制系统,所述系统包含以下模块：
[0031]手势识别模型建立模块,用于建立手势识别模型。
[0032]电梯服务模型建立模块,用于建立电梯服务请求与目标手势相对应的关系。
[0033]手势识别模块，用于将采集到的视频流通过以帧为单位的方式输入手势识别模型，若识别出每帧图像数据的目标手势置信分数超过设定的阈值则将识别结果显示在原图上，同时信号传输设备将识别出的手势类别传输给电梯控制设备，电梯相应做出服务响应。当原图上显示出不同识别结果时，信号传输装置将会将识别出的所有结果发送给电梯控制装置，电梯将做出不同的服务响应。
[0034]进一步来说，所述手势识别模型建立模块包括：
[0035]数据集制作部分：使用图像采集装置采集具有目标手势且不同背景的照片，使用labelimg软件对拍摄的照片进行打标签处理，将照片与标签文件按pascol voc数据集排列，划分所需的训练，验证和测试文件。
[0036]模型训练部分，搭建改进yolov4网络模型，设置超参数，开始模型训练，每隔一定迭代次数保留权值文件，保留的模型文件可以用于图片，实时视频流的手势检测。
[0037]进一步来说，所述手势识别模块包括：
[0038]将目标手势图像输入预先训练好的模型之中；
[0039]主干特征提取网络对手势图像进行特征提取；
[0040]特征金字塔进行特征融合；
[0041]头部网络利用获得到的特征进行预测；
[0042]对预测结果进行解码，并进行得分排序和非极大抑制筛选，最后在图像上获得一系列置信分数和预测框；
[0043]将筛选后的框绘制在原图上。
[0044]本专利技术的有益效果：
[0045]本专利技术涉及目标检测技术yolov4。yolov4是yolo系列目标检测算法的第四个版本，但其在手势等小目标检测精度较差，而且其模型参数量较大，执行速度较慢。介于此，本专利技术在原始yolov4网络的基础上，将Ghostnet作为改进后的yolov4的骨干网络，利用三个有效特征层替换原来yolov4骨干网络CSPdarknet53的有效特征层进行加强特征提取网络的构建，保证良好检测效果的情况下，减少模型的参数量与提高模型的执行速度。利用kmeans算法聚类出适合自己手势数据集的9种尺寸的锚框，使锚框的长宽形状越接近真实的边界框，有效提高模型检测精度。对于主干特征提取网络使用hard
‑
swish作为主要激活函数，提高了模型的运算速率。同时，在电梯服务模型的设计上，我们利用yolov4可实现多目标检测的特性，当原图上返回不同识别结果时，信号传输装置将会将识别出的所有结果发送给电梯控制装置，届时电梯将做出不同的服务响应。
附图说明
[0046]为了更清本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手势识别技术的智能电梯控制方法，其特征在于，所述所属方法包括以下步骤：S1：收集手势图像并对手势位置和类别进行标记，制作成标准数据集。S2：利用改进yolov4网络结构训练手势识别的模型。S3：建立目标手势与电梯服务请求的对应关系。S4：将采集到的视频流通过以帧为单位的方式输入手势识别模型，若识别出每帧图像数据的目标手势置信分数超过设定的阈值则将识别结果显示在原图上，同时信号传输设备将识别出的手势类别传输给电梯控制设备，电梯相应做出服务响应。S5：当原图上显示出不同识别结果时，信号传输装置将会将识别出的所有结果发送给电梯控制装置，电梯继而做出不同的服务响应。2.根据权利要求1所述的一种基于手势识别技术的智能电梯控制方法，其特征在于，所述S1中，制作标准数据集包括以下步骤：使用图像采集装置采集具有目标手势且不同背景的照片；使用labelimg软件对拍摄的照片进行打标签处理；将照片与标签文件按pascol voc数据集格式排列；划分训练所需的训练，验证和测试文件，比例分别为70％，20％，10％。3.根据权利要求1所述的一种基于手势识别技术的智能电梯控制方法，其特征在于，所述S2中，训练手势识别的模型包括以下步骤：改进yolov4网络模型，改进过程如下：将Ghostnet作为改进后的yolov4的骨干网络，利用三个有效特征层替换原来yolov4骨干网络CSPdarknet53的有效特征层进行加强特征提取网络的构建。Ghostnet使用深度可分离卷积获得特征浓缩的相似特征图，保证良好检测效果的情况下，减少模型的参数量与提高模型的执行速度。kmeans算法聚类出适合自己手势数据集的9种尺寸的锚框，使锚框的长宽形状越接近真实的预测框，有效提高模型检测精度。对于主干特征提取网络使用hard
‑
swish作为主要激活函数，提高了模型的运算速率。设置模型参数，参数包括...

【专利技术属性】
技术研发人员：金江涛，谭爱红，高敏涵，李飞龙，
申请(专利权)人：中国计量大学，
类型：发明
国别省市：