基于手势识别的会议控制方法、装置、会议系统和介质制造方法及图纸

本申请公开了一种基于手势识别的会议控制方法、装置、会议系统和介质，包括：获取训练完备的手势识别模型，手势识别模型包括特征提取模块和推理库模块；获取待检测的视频流信息；基于特征提取模块对视频流信息进行特征提取，得到待识别视频帧；基于推理库模块对待识别视频帧进行手势动作识别，得到手势动作识别信息；根据手势动作识别信息，生成对应的会议控制指令。本发明专利技术仅需要使用普通摄像头和数据处理设备便能够对会议参与者的手势动作进行识别，通过跟踪手部关键点的信息来确定手势动作并生成相应的会议控制指令，更加方便快捷地完成人机交互，提高会议参与者手势动作的识别速度和准确度，为多人协同交互研讨的在线会议提供了技术支撑。提供了技术支撑。提供了技术支撑。

【技术实现步骤摘要】
基于手势识别的会议控制方法、装置、会议系统和介质


[0001]本专利技术涉及人机交互
，尤其涉及一种基于手势识别的会议控制方法、装置、会议系统和计算机可读存储介质。

技术介绍

[0002]随着人工智能技术的发展，包括人体行为识别、目标检测、目标跟踪、语音识别等在内的各个计算机领域的应用都取得了长足进步。人机交互一直是研究的热点，从早期的穿孔纸带到鼠标、键盘操作，从现在的触摸屏技术到语音识别交互，人与计算机交流方式越来越自然和人性化。近年来的虚拟现实、增强现实技术的兴起，也带动了手势识别交互技术的发展。
[0003]传统的手势识别算法主要有阈值分割，边缘图像分割，基于区域的分割等。在公司日常的运营中，常常需要多个部门对项目进行开会研讨。然而，基于传统方法只能单一演讲者进行演示，无法让其他参会人员进行点评，难以进行实时讨论，不利于协同会商的高效开展。此外，传统的手势识别算法都有一些缺点，比如：速度快，但是准确率低；自适应系列的多阈值分割计算量大，且结果对阈值较为敏感、占用资源多等等。
[0004]因此，需要提出一种基于手势识别的会议控制方法，用以解决现有中通过手势来控制多人协同交互的会议系统存在的手势识别速度慢、占用资源多的问题。

技术实现思路

[0005]有鉴于此，有必要提供一种基于手势识别的会议控制方法、装置、系统和计算机可读存储介质，用以解决现有技术中通过手势来控制多人协同交互时存在的手势识别速度慢、占用资源多的问题。
[0006]为了解决上述问题，本专利技术提供一种基于手势识别的会议控制方法，包括：
[0007]获取训练完备的手势识别模型，所述手势识别模型包括特征提取模块和推理库模块；
[0008]获取待检测的视频流信息；
[0009]基于所述特征提取模块对所述视频流信息进行特征提取，得到待识别视频帧；
[0010]基于所述推理库模块对所述待识别视频帧进行手势动作识别，得到手势动作识别信息；
[0011]根据所述手势动作识别信息，生成对应的会议控制指令。
[0012]进一步地，获取训练完备的手势识别模型包括：
[0013]创建初始的手势识别模型；
[0014]获取手势视频样本数据集，将所述样本数据集划分为训练集和验证集；
[0015]利用所述训练集对所述初始的手势识别模型进行训练，得到训练后的手势识别模型；
[0016]利用所述验证集对所述训练后的手势识别模型进行性能评估，当所述训练后的手
势识别模型达到预设的性能标准时，得到所述预设的手势识别模型。
[0017]进一步地，所述手势识别模型包括多个通道可分离卷积块；
[0018]所述通道可分离卷积块包括多个卷积层和SE通道注意力层；
[0019]所述SE通道注意力层与多个所述卷积层连接。
[0020]进一步地，所述通道可分离卷积块的激活函数为Swish函数；
[0021]所述Swish函数用于对所述多个卷积层的输出数据进行传递。
[0022]进一步地，所述手势识别模型的网络参数包括深度、宽度和分辨率大小；
[0023]利用MnasNet网格搜索方法对所述深度、宽度和图片大小对应的权重进行调节。
[0024]进一步地，利用所述训练集对所述初始的手势识别模型进行训练，包括：
[0025]利用随机数据增强训练方式对所述初始的手势识别模型进行第一阶段训练，得到初步优化后的手势识别模型；
[0026]利用对抗性样本训练方式对所述初步优化后的手势识别模型进行第二阶段训练，得到训练后的手势识别模型。
[0027]进一步地，所述第一阶段训练包括对模型的网络参数进行调整；所述第二阶段训练包括对模型的网络参数和规模进行调整。
[0028]本专利技术还提供一种基于手势识别的会议控制装置，包括：
[0029]模型获取模块，用于获取训练完备的手势识别模型，所述手势识别模型包括特征提取模块和推理库模块；
[0030]视频信息获取模块，用于获取待检测的视频流信息；
[0031]提取模块，用于基于所述特征提取模型对所述视频流信息进行特征提取，得到待识别视频帧；
[0032]识别模块，用于基于所述推理库模块对所述待识别视频帧进行手势动作识别，得到手势动作识别信息；
[0033]指令生成模块，用于根据所述手势动作识别信息，生成对应的会议控制指令。
[0034]本专利技术还提供一种会议系统，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现上述技术方案任一所述的基于手势识别的会议控制方法。
[0035]本专利技术还提供一种计算机可读存储介质，所述程序介质存储有计算机程序指令，当所述计算机程序指令被计算机执行时，使计算机执行上述技术方案任一所述的基于手势识别的会议控制方法。
[0036]与现有技术相比，本专利技术的有益效果包括：首先，建立训练完备的手势识别模型；其次，获取待检测的视频流信息；再次，通过手势识别模型对待检测的视频流信息中的手势动作进行识别；最后，根据手势动作识别信息生成对应的会议控制指令。本专利技术仅需要使用普通摄像头和数据处理设备便能够对会议参与者的手势动作进行识别，不需要使用特定的配套硬件设备，通过跟踪手部关键点的信息来确定手势动作并生成相应的会议控制指令，更加方便快捷地完成人机交互，提高会议参与者手势动作的识别速度和准确度，为多人协同交互研讨的在线会议提供了技术支撑。
附图说明
[0037]图1为本专利技术提供的一种基于手势识别的会议控制方法一实施例的流程示意图；
[0038]图2为本专利技术提供的获取训练完备的手势识别模型的方法一实施例的流程示意图；
[0039]图3为本专利技术提供的初始手势识别模型一实施例的结构示意图；
[0040]图4为本专利技术提供的MBConv卷积块一实施例的结构示意图；
[0041]图5为本专利技术提供的一种基于手势识别的会议控制装置一实施例的结构示意图。
具体实施方式
[0042]下面结合附图来具体描述本专利技术的优选实施例，其中，附图构成本申请一部分，并与本专利技术的实施例一起用于阐释本专利技术的原理，并非用于限定本专利技术的范围。
[0043]本专利技术提供了一种基于手势识别的会议控制方法，包括：
[0044]步骤S101：获取训练完备的手势识别模型，所述手势识别模型包括特征提取模块和推理库模块；
[0045]步骤S102：获取待检测的视频流信息；
[0046]步骤S103：基于所述特征提取模块对所述视频流信息进行特征提取，得到待识别视频帧；
[0047]步骤S104：基于所述推理库模块对所述待识别视频帧进行手势动作识别，得到手势动作识别信息；
[0048]步骤S105：根据所述手势动作识别信息，生成对应的会议控制指令。
[0049]作为一个具体的实施例，所述特征提取模块可以利用Efficienct模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手势识别的会议控制方法，其特征在于，包括：获取训练完备的手势识别模型，所述手势识别模型包括特征提取模块和推理库模块；获取待检测的视频流信息；基于所述特征提取模块对所述视频流信息进行特征提取，得到待识别视频帧；基于所述推理库模块对所述待识别视频帧进行手势动作识别，得到手势动作识别信息；根据所述手势动作识别信息，生成对应的会议控制指令。2.根据权利要求1所述的基于手势识别的会议控制方法，其特征在于，获取训练完备的手势识别模型包括：创建初始的手势识别模型；获取手势视频样本数据集，将所述样本数据集划分为训练集和验证集；利用所述训练集对所述初始的手势识别模型进行训练，得到训练后的手势识别模型；利用所述验证集对所述训练后的手势识别模型进行性能评估，当所述训练后的手势识别模型达到预设的性能标准时，得到所述预设的手势识别模型。3.根据权利要求1所述的基于手势识别的会议控制方法，其特征在于，所述手势识别模型包括多个通道可分离卷积块；所述通道可分离卷积块包括多个卷积层和SE通道注意力层；所述SE通道注意力层与多个所述卷积层连接。4.根据权利要求3所述的基于手势识别的会议控制方法，其特征在于，所述通道可分离卷积块的激活函数为Swish函数；所述Swish函数用于对所述多个卷积层的输出数据进行传递。5.根据权利要求1所述的基于手势识别的会议控制方法，其特征在于，所述手势识别模型的网络参数包括深度、宽度和分辨率大小；利用MnasNet网格搜索方法对所述深度、宽度和图片大小对应的权重进行调节。6.根据权利要求5所述...

【专利技术属性】
技术研发人员：黄鑫，陈龙，蒋海洋，马澎家，杨望宇，蔡俊，张子恒，
申请(专利权)人：武汉工程大学，
类型：发明
国别省市：