一种基于双目相机手势交互的黑板控制方法及控制系统技术方案

本发明专利技术提出一种基于双目相机手势交互的黑板控制方法及控制系统，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目RGB图像捕获模块，所述双目RGB图像捕获模块为双目相机，所述控制系统包括双目RGB图像捕获模块、图像分析模块和电机驱动模块；本发明专利技术所述手势控制黑板可实现高效率的黑板移动，可实现边写边移动。尤其是巨大黑板，移动时无需人力，只需手势操作电机即可。双目RGB视觉要比红外深度视觉的在成本上有很大的优势。

A blackboard control method and control system based on gesture interaction of binocular camera

【技术实现步骤摘要】
一种基于双目相机手势交互的黑板控制方法及控制系统
本专利技术属于手势控制
，特别是涉及一种基于双目相机手势交互的黑板控制方法及控制系统。
技术介绍
当代教育用具中，黑板从来都是不可替代的教育工具之一。从单纯的黑板挂在墙上，到为了能够在不同的高度使用舒服姿势书写的，利用滑道的推拉式黑板。同时也利用滑道也出现了应用于大学教室的推拉式复合黑板。但多年过去，此类黑板所存在的问题也一一显示出来。比如滑道因黑板本身的重量导致需要很大力气才能移动。虽然在此之后也出现了通过遥控器和电机控制的黑板，但因其操作需要停止一切书写操作，进行黑板的位移。而且控制器由于需要与电机相连有时距离书写的区域较远，使用非常不方便。解决方法中有通过语音识别或图像识别来控制黑板的操作，而黑板因为使用时的情况特殊性(一般是老师使用，讲课时需要不停说话)，很难使用语音识别通过判断特定语音指令来进行控制。
技术实现思路
本专利技术目的是为了解决现有的技术问题，提出了一种基于双目相机手势交互的黑板控制方法及控制系统。本专利技术使用的双目相机对操作人员的手势进行识别以及空间定位。通过定位特定手势及其位移判断出指令控制电机进行位移。使用者可以一只手写字，另一只手通过手势控制黑板的位置，达到在不影响讲课节奏的同时在黑板前任意地方对黑板进行位移。本专利技术是通过以下技术方案实现的，本专利技术提出一种基于双目相机手势交互的黑板控制方法，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目RGB图像捕获模块，所述双目RGB图像捕获模块为双目相机，所述方法包括以下步骤：步骤1：调用双目RGB图像捕获模块捕获使用者的双目RGB图像数据，将每一帧双目RGB图像数据传输给图像分析模块；步骤2：调用图像分析模块处理双目RGB图像数据，分析识别图像中手势类型，所述手势类型有两种：开始控制手势和结束控制手势；若识别出的手势为开始控制手势，记录其空间坐标，其他手势则循环本步骤；步骤3：重复步骤2，若手势持续为开始控制手势，则提取出从开始控制手势的第一帧到当前帧的位移变化，分析出位移变化所代表的命令，并将命令转化为电信号给电机驱动模块；步骤4：重复步骤3，直到识别出结束控制手势，代表一次控制流程的结束，返回步骤2。进一步地，所述图像分析模块具体操作步骤为：步骤1.1：接收双目RGB图像捕获模块传输过来的两张双目RGB图像数据；步骤1.2：对两张双目RGB图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；步骤1.3：使用神经网络对图像进行手势类型识别；步骤1.4：若识别出为开始控制手势，将关键点坐标记录，重复步骤1.3，若持续为开始控制手势，并且关键点产生空间坐标位移，则将空间坐标位移转化为控制命令，控制电机驱动模块运动；步骤1.5：若识别出为结束控制手势，则发送停止命令到电机驱动模块。进一步地，所述人手检测具体步骤为：步骤2.1：使用基于卷积神经网络的图像探测模型进行图像分析，发现并提取手部信息；步骤2.2：若发现手部位置，则开启对前后帧图像时序信息的实时手部跟踪，根据检测结果确定目标位移；步骤2.3：在步骤2.2的同时利用线程使用图像探测模型进行非实时探测，并利用对应帧的图像上运行的跟踪算法进行图像跟踪的初始位置的修正。进一步地，所述手势类型识别具体步骤为：步骤3.1：接收框选后截取的双目RGB图像；步骤3.2：将双目RGB图像输入基于神经网络的模型回归出手部关键点坐标，并同时输出手势类型；步骤3.3：关键点坐标根据之前帧的数据通过卡尔曼滤波的方式进行位置修正；步骤3.4：根据两张双目RGB图像中的关键点所在图中的位置，确定关键点距离双目相机的距离，也确定了手和双目相机间的距离。进一步地，所述电机驱动模块接收从图像分析模块获得的控制命令进行对黑板的位移，位移距离和方向为手从做出开始控制手势后到结束控制手势的位移和方向。本专利技术还提出一种基于双目相机手势交互的黑板控制系统，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目RGB图像捕获模块，所述双目RGB图像捕获模块为双目相机，所述控制系统包括双目RGB图像捕获模块、图像分析模块和电机驱动模块；所述双目RGB图像捕获模块捕获使用者的双目RGB图像数据，将每一帧双目RGB图像数据传输给图像分析模块；所述图像分析模块接收双目RGB图像捕获模块传输过来的两张双目RGB图像数据；对两张双目RGB图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；进而使用神经网络对图像进行手势类型识别；从而将识别的结果转化为控制命令发送给电机驱动模块；所述电机驱动模块接收从图像分析模块获得的控制命令进行对黑板的位移，位移距离和方向为手从做出开始控制手势后到结束控制手势的位移和方向。本专利技术所述手势控制黑板可实现高效率的黑板移动，可实现边写边移动。尤其是巨大黑板，移动时无需人力，只需手势操作电机即可。双目RGB视觉要比红外深度视觉的在成本上有很大的优势。附图说明图1为本专利技术所述基于双目相机手势交互的黑板控制系统框图；图2为图像分析模块具体操作流程图；图3为本专利技术所述基于双目相机手势交互的黑板控制系统结构图。具体实施方式下面将结合本专利技术实施例中的附图对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。结合图1和图2，本专利技术提出一种基于双目相机手势交互的黑板控制方法，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目RGB图像捕获模块，所述双目RGB图像捕获模块为双目相机，所述方法包括以下步骤：步骤1：调用双目RGB图像捕获模块捕获使用者的双目RGB图像数据，将每一帧双目RGB图像数据传输给图像分析模块；步骤2：调用图像分析模块处理双目RGB图像数据，分析识别图像中手势类型，所述手势类型有两种：开始控制手势和结束控制手势；若识别出的手势为开始控制手势，记录其空间坐标，其他手势则循环本步骤；步骤3：重复步骤2，若手势持续为开始控制手势，则提取出从开始控制手势的第一帧到当前帧的位移变化，分析出位移变化所代表的命令，并将命令转化为电信号给电机驱动模块；步骤4：重复步骤3，直到识别出结束控制手势，代表一次控制流程的结束，返回步骤2。所述图像分析模块具体操作步骤为：步骤1.1：接收双目RGB图像捕获模块传输过来的两张双目RGB图像数据；步骤1.2：对两张双目RGB图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；步骤1.3：使用神经网络对图像进行手势类本文档来自技高网...

【技术保护点】
1.一种基于双目相机手势交互的黑板控制方法，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目RGB图像捕获模块，所述双目RGB图像捕获模块为双目相机，其特征在于：所述方法包括以下步骤：/n步骤1： 调用双目RGB图像捕获模块捕获使用者的双目RGB图像数据，将每一帧双目RGB图像数据传输给图像分析模块；/n步骤2： 调用图像分析模块处理双目RGB图像数据，分析识别图像中手势类型，所述手势类型有两种：开始控制手势和结束控制手势；若识别出的手势为开始控制手势，记录其空间坐标，其他手势则循环本步骤；/n步骤3： 重复步骤2，若手势持续为开始控制手势，则提取出从开始控制手势的第一帧到当前帧的位移变化，分析出位移变化所代表的命令，并将命令转化为电信号给电机驱动模块；/n步骤4： 重复步骤3，直到识别出结束控制手势，代表一次控制流程的结束，返回步骤2。/n

【技术特征摘要】
1.一种基于双目相机手势交互的黑板控制方法，在墙面安装由电机驱动的黑板滑道，在黑板的最上边高于滑道最顶端处安装双目RGB图像捕获模块，所述双目RGB图像捕获模块为双目相机，其特征在于：所述方法包括以下步骤：
步骤1：调用双目RGB图像捕获模块捕获使用者的双目RGB图像数据，将每一帧双目RGB图像数据传输给图像分析模块；
步骤2：调用图像分析模块处理双目RGB图像数据，分析识别图像中手势类型，所述手势类型有两种：开始控制手势和结束控制手势；若识别出的手势为开始控制手势，记录其空间坐标，其他手势则循环本步骤；
步骤3：重复步骤2，若手势持续为开始控制手势，则提取出从开始控制手势的第一帧到当前帧的位移变化，分析出位移变化所代表的命令，并将命令转化为电信号给电机驱动模块；
步骤4：重复步骤3，直到识别出结束控制手势，代表一次控制流程的结束，返回步骤2。


2.根据权利要求1所述的方法，其特征在于：所述图像分析模块具体操作步骤为：
步骤1.1：接收双目RGB图像捕获模块传输过来的两张双目RGB图像数据；
步骤1.2：对两张双目RGB图像分别使用神经网络进行人手检测，并对人手部矩形框选坐标以及关键点坐标进行定位；
步骤1.3：使用神经网络对图像进行手势类型识别；
步骤1.4：若识别出为开始控制手势，将关键点坐标记录，重复步骤1.3，若持续为开始控制手势，并且关键点产生空间坐标位移，则将空间坐标位移转化为控制命令，控制电机驱动模块运动；
步骤1.5：若识别出为结束控制手势，则发送停止命令到电机驱动模块。


3.根据权利要求2所述的方法，其特征在于：所述人手检测具体步骤为：
步骤2.1：使用基于卷积神经网络的图像探测模型进行图像分析，发现并提取手部信息；
步骤2.2：若发现手部位置，则开启对前后帧图像时序信息的实...

【专利技术属性】
技术研发人员：杜国铭，张毅，李文越，冯大志，
申请(专利权)人：哈尔滨拓博科技有限公司，
类型：发明
国别省市：黑龙;23