一种适用于移动终端的隔空手势板书方法技术

本发明专利技术涉及一种适用于移动终端的隔空手势板书方法，通过设置模拟黑板对存储数据库中的图形信息，收集包括手掌的图像样本，获得基于Haar特征的级联分类器，学习结束后获得手势视频并进行手势分割，利用基于Haar特征的级联分类器进行手掌和重心定位，获得当前运动轨迹曲线对应的图像，将每一手势设置代码进行存储。本发明专利技术结合传统课堂黑板板书的教学特点，结合当前已有的对于云教育平台的研究，针对移动终端屏幕狭小的特点，采用移动WEB矢量绘制技术、移动终端手势识别技术以及协同并行控制技术，充分考虑跨平台、人机交互便利性等需求，改进基于像素的手势识别算法，实现隔空手势模拟传统黑板板书，有效弥补当前远程教学平台的不足。

A method of spaced hand gestures for mobile terminals

The present invention relates to a mobile terminal across the empty gesture by setting the simulation method of writing on the blackboard, the blackboard on the graphic information stored in the database, the collection includes palm image samples, obtained a cascade classifier based on Haar features, after the end of the study to get into the video and gesture gesture segmentation, using hand and gravity positioning cascade classifier Haar feature based on the obtained image, corresponding to the current trajectory curve, each gesture set code storage. The invention combines the characteristics of traditional classroom teaching writing on the blackboard, combined with the current cloud education platform, the mobile terminal screen small features, using mobile WEB vector drawing technology, mobile terminal gesture recognition technique and parallel control technology, considering cross platform, interactive convenience and other needs, improve the gesture recognition the algorithm based on pixel, realize distance gesture simulation of traditional blackboard writing, effectively compensate for the lack of current distance education platform.

【技术实现步骤摘要】
一种适用于移动终端的隔空手势板书方法
本专利技术涉及用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置的
，特别涉及一种有助于人机交互与计算机远程教育的适用于移动终端的隔空手势板书方法。
技术介绍
在远程教育实时授课的过程中，由于板书的载体和使用方式发生了巨大变化，教师们难免因为教学习惯的改变产生困扰。在教学应用中，施教者常常需要对当前正在进行的行为(如讲述)进行停顿，这有时会打断教师们原本流畅的思路，对于受教者而言，原本集中的注意力也随之转移。此时，手势作为人类最自然的交互方式之一，可以帮助教师轻易的习惯新的教学方式。手势识别一直是计算机领域的一项重要课题。根据采集数据的方式的不同，目前的手势识别可以被分为两种，分别是基于数据手套的手势识别和基于视觉的手势识别。基于数据手套的识别系统可以获得较高的效率和识别精度，但是从成本和使用便利性角度考虑，它并不适合被用于移动设备；相对来说，基于视觉的手势识别系统凭借低成本和对于各种设备的易适应性，更适合用于移动设备，从硬件方面的需求来看，它只需要使用移动设备本身的普通摄像头和设备本身的少量计算资源。根据识别方式的不同，现有手势识别算法还可以分为基于外观信息和基于机器视觉特征这两种。前者可以基于手势形状等信息进行识别，但是其需要能获取较完整的手势形状，对背景有较大要求，而算法复杂度相对于同类的一些类似于颜色分割等算法较高；基于特征的算法则需要大量手势样本来进行训练，且由于手势图片中存在含大量背景信息的干扰难以具备通用性。随着智能移动设备的普及和移动互联网的飞速发展，将远程课堂与移动终端相结合是必然趋势，两者的结合使学习者不需要被束缚于个人电脑，使学习者获得更大的自主性。此外，远程教育模式中的人机交互对学习者的学习体验会产生极大的影响。现有的移动设备上存在的笔划手势识别，是将用户在设备屏幕上绘制的笔划识别为某种手势命令，但是如果将这种笔划手势模式直接应用于移动终端上，由于移动终端狭小的界面将导致很差的用户体验，根本无法发挥移动终端用户体验设计优势。当前移动终端手势识别的主流是基于视觉的手势识别技术，通过手机摄像头来识别手势，具有便捷性和适用面广的优势，但这种技术的缺陷在于无法精确定位识别，无法满足草图设计对精度的要求。因此，在传统的笔划手势识别理论基础上，需要将基于计算机视觉的手势识别技术与传统笔划手势相结合，从而提高用户体验时的舒适度。
技术实现思路
本专利技术的主要目的在于克服现有技术的不足，提供一种适用于移动终端的隔空手势板书方法。本专利技术的技术方案为，一种适用于移动终端的隔空手势板书方法，所述移动终端包括显示屏和摄像头，所述方法包括以下步骤：步骤1.1：设置模拟黑板，所述模拟黑板内设有存储数据库；利用模拟黑板对存储数据库中的图形信息进行预操作；步骤1.2：收集包括手掌的图像样本，进行预操作，获得基于Haar特征的级联分类器；步骤1.3：利用摄像头对手势进行拍摄，获得手势视频；步骤1.4：对手势视频进行手势分割；步骤1.5：利用基于Haar特征的级联分类器对分割完成的手势进行手掌和重心定位；步骤1.6：基于步骤1.4和步骤1.5，获得当前手势的运动轨迹曲线；步骤1.7：对存储数据库进行搜索比对，获得当前运动轨迹曲线对应的图像，显示在显示屏上；步骤1.8：将每一手势对应设置代码，存储。优选地，所述步骤1.1中，所述预操作包括绘图和编辑。优选地，所述编辑包括移动、扭曲和删除。优选地，所述步骤1.2中，所述预操作包括以下步骤：步骤1.2.1：采集一定数量的图像样本，所述图像样本中包括手掌特征；步骤1.2.2：对图像样本提取Haar特征，设定阈值；步骤1.2.3：训练相应的基于阈值的弱分类器；步骤1.2.4：基于若干弱分类器，获得强分类器；步骤1.2.5：将强分类器连接成为级联分类器，获得基于Haar特征的级联分类器。优选地，所述步骤1.4中，对手势视频的手势分割包括以下步骤：步骤1.4.1：获得视频的总帧数N；令n＝1；步骤1.4.2：取当前序号为n的视频帧图像，将当前图像的颜色模式转换为YCrCb模式，所述YCrCb模式的图像包括Y值、Cr值和Cb值；步骤1.4.3：检测当前图像的任一像素的Cr值和Cb值，判断当前图像的任一像素是否属于人类肤色；若否，则进行步骤1.4.5，否则，继续下一步；步骤1.4.4：将当前图像二值化处理，其中，属于人类肤色的像素点的值置为0，其他像素点的值置为255；步骤1.4.5：n加1；判断n是否等于N+1，若否，进行步骤1.4.2，若是，结束对手势视频的手势分割，输出二值化处理的若干图像。优选地，所述步骤1.4.3中，当133≤Cr≤173且77≤Cb≤127时，当前像素属于人类肤色。本专利技术提供一种优化的适用于移动终端的隔空手势板书方法，通过设置模拟黑板对存储数据库中的图形信息，收集包括手掌的图像样本，操作后获得基于Haar特征的级联分类器，学习结束后获得手势视频，对手势视频进行手势分割，利用基于Haar特征的级联分类器对分割完成的手势进行手掌和重心定位，获得当前手势的运动轨迹曲线，比对后获得当前运动轨迹曲线对应的图像，并将每一手势对应设置代码进行存储。本专利技术结合传统课堂黑板板书的教学特点，结合当前已有的对于云教育平台的研究，针对移动终端屏幕狭小的特点，采用移动WEB矢量绘制技术、移动终端手势识别技术以及协同并行控制等技术，充分考虑跨平台性、人机交互便利性等需求，改进基于像素的手势识别算法，实现通过隔空手势模拟传统黑板板书的方法，可以有效地弥补当前远程教学平台的不足。具体实施方式为使本专利技术实施例的目的、技术方案和优点更加清楚，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例，基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术涉及一种适用于移动终端的隔空手势板书方法，所述移动终端包括显示屏和摄像头，所述方法包括以下步骤。本专利技术中，在传统远程教学技术的基础上，提出了新的拓展方式，主要包含三个方面，即图形绘制编辑、三维草绘、手势绘制和控制。步骤1.1：设置模拟黑板，所述模拟黑板内设有存储数据库；利用模拟黑板对存储数据库中的图形信息进行预操作。所述步骤1.1中，所述预操作包括绘图和编辑。所述编辑包括移动、扭曲和删除。本专利技术中，这部分主要完成图形对象的生成，用户可以根据提供的界面，对矢量图形的基本属性如颜色、画笔大小等进行设置。本专利技术中，矢量图形包含直线、圆、椭圆、矩形、任意曲线、贝塞尔曲线等。本专利技术中，这部分还完成对图形对象的编辑操作，如图形的移动、删除、缩放和设置图形样式等，通过选择矢量图形编辑工具栏中的选择相应的操作，再选中绘图区域中的图形，即对该图形做所选的操作。本专利技术中，上述步骤还可实现三维绘图功能，可绘制任意曲线，通过旋转、拉伸、平铺、扫描等操作将其转换为三维图形，并可通过查看命令在不同视角观察。本专利技术中，这些操作都会被同步显示到正在使用这一项服务的其他用户们的模拟黑板上，对于模拟黑板本身，用户们可以进行样式调整，比如比例尺变换、操作的撤销和恢复等等。本专利技术中，模拟黑板事实上是本文档来自技高网...

【技术保护点】
一种适用于移动终端的隔空手势板书方法，所述移动终端包括显示屏和摄像头，其特征在于：所述方法包括以下步骤：步骤1.1：设置模拟黑板，所述模拟黑板内设有存储数据库；利用模拟黑板对存储数据库中的图形信息进行预操作；步骤1.2：收集包括手掌的图像样本，进行预操作，获得基于Haar特征的级联分类器；步骤1.3：利用摄像头对手势进行拍摄，获得手势视频；步骤1.4：对手势视频进行手势分割；步骤1.5：利用基于Haar特征的级联分类器对分割完成的手势进行手掌和重心定位；步骤1.6：基于步骤1.4和步骤1.5，获得当前手势的运动轨迹曲线；步骤1.7：对存储数据库进行搜索比对，获得当前运动轨迹曲线对应的图像，显示在显示屏上；步骤1.8：将每一手势对应设置代码，存储。

【技术特征摘要】
1.一种适用于移动终端的隔空手势板书方法，所述移动终端包括显示屏和摄像头，其特征在于：所述方法包括以下步骤：步骤1.1：设置模拟黑板，所述模拟黑板内设有存储数据库；利用模拟黑板对存储数据库中的图形信息进行预操作；步骤1.2：收集包括手掌的图像样本，进行预操作，获得基于Haar特征的级联分类器；步骤1.3：利用摄像头对手势进行拍摄，获得手势视频；步骤1.4：对手势视频进行手势分割；步骤1.5：利用基于Haar特征的级联分类器对分割完成的手势进行手掌和重心定位；步骤1.6：基于步骤1.4和步骤1.5，获得当前手势的运动轨迹曲线；步骤1.7：对存储数据库进行搜索比对，获得当前运动轨迹曲线对应的图像，显示在显示屏上；步骤1.8：将每一手势对应设置代码，存储。2.根据权利要求1所述的一种适用于移动终端的隔空手势板书方法，其特征在于：所述步骤1.1中，所述预操作包括绘图和编辑。3.根据权利要求2所述的一种适用于移动终端的隔空手势板书方法，其特征在于：所述编辑包括移动、扭曲和删除。4.根据权利要求1所述的一种适用于移动终端的隔空手势板书方法，其特征在于：所述步骤1.2中，所述预操作包括以下步骤：步骤1.2.1：采集一定数量的图像样本，所述图像样本中包括手掌特征；步骤...

【专利技术属性】
技术研发人员：简琤峰，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：浙江,33