一种用于识别与表示手势的追踪处理系统技术方案

本实用新型专利技术公开了一种用于识别与表示手势的追踪处理系统，涉及智能教学系统技术领域，包括：主终端、副终端、深度相机、云台、主控制器。主控制器连接主终端和副终端以及云台，云台为可旋转结构，深度相机安装在云台上。本申请采用预先保留副终端ID编号信息的方式，使得副终端的手势传感器每次获取到动作信息时，主终端都能锁定副终端的位置，进而使用云台控制深度相机旋转对准该副终端，因此使得深度相机可以对教室内任意指定位置的学生进行手语识别。故每次当聋哑学生碰到问题时，该学生在打手语时无需离开座位走到镜头前，就能及时、有效、快速的反应，大大加强了聋哑学生学习的质量效果。质量效果。质量效果。

【技术实现步骤摘要】
一种用于识别与表示手势的追踪处理系统


[0001]本技术涉及智能教学系统
，特别涉及一种用于识别与表示手势的追踪处理系统。

技术介绍

[0002]手语是聋哑人的主要语言。由于手语的普及率较低，他们难以与听力正常者交互。
[0003]正因为如此,近年来研究人员花了很多时间试图通过机器进行手语识别。目前常用的技术为使用深度相机（Kinect 或Leap Motion）来识别手语。使用深度相机识别手语的方式为通过红外线光源发出红外光并接收由环境及使用者反射回的红外光。通过检测相位差对使用者进行三维立体成像后再进行人体轮廓识别，关节定位。用户可通过深度相机读取到的动作将基本动作定义为手语单词。
[0004]深度相机的常见使用方式为固定在显示屏上方，使用者在显示屏前做出所需的动作或手语。
[0005]目前在教学系统中使用深度相机在对聋哑人进行教学时，因为相机为固定式安装，因此识别范围有限，影响教学质量。并且目前教学系统也没有通过简单动作发出快捷消息的功能，而这一点对于聋哑人十分重要，故现有的手势识别方式不适合聋哑人课堂使用。

技术实现思路

[0006]本技术目的是解决现有技术中的教学系统不适合对聋哑人教学，影响教学质量的问题。
[0007]为达到上述目的之一，本技术采用以下技术方案：一种用于识别与表示手势的追踪处理系统，其中，包括：主终端，所述主终端具有：显示单元，所述显示单元显示聋哑人动作转换的文字；副终端，所述副终端具有：ID 单元，所述主终端预先保存ID 单元的编号信息；手势传感器，所述手势传感器用于获取以及识别聋哑人的动作信息；深度相机，所述深度相机连接所述主终端，所述深度相机朝向所述副终端；云台，所述云台为可旋转结构，所述深度相机安装在所述云台上；主控制器，所述主控制器连接所述主终端和所述副终端以及所述云台。
[0008]首先，需表明的是，主终端为教师用电脑，副终端为聋哑学生用电脑。
[0009]其次，所述显示单元包括但不限于显示聋哑人动作转换的文字，还包括显示根据聋哑人动作识别手语、显示深度相机获取的视频画面，显示快捷短语。
[0010]然后，ID 单元的编号信息对应学生的姓名及座位与讲台的角度，用于对深度相机角度方向的调整以及在主终端上显示正在作答的学生姓名。
[0011]最后，本申请的工作原理为：当某一副终端上的聋哑学生向手势传感器进行手语动作时，将触发深度相机工作，主终端显示深度相机获取的画面，以及主终端根据预先保存得到的该副终端的ID 编号信息所对应的角度数据判断其所在位置是否在深度相机的画面中央，如不在，则通过主终端通过主控制器向云台发出信号，使得云台带动深度相机旋转，
进而使得深度相机对准副终端。
[0012]深度相机与该副终端的角度最终不小于10 度，使得主终端能够根据深度相机获取到该聋哑学生手势动作，进而将该手势动作转换成手语信息或根据该手势动作触发快捷信息，其中，如果聋哑学生向手势传感器做出特定的动作，则可以打开或关闭深度相机。
[0013]进一步地，在本技术实施例中，云台由主控制器控制方向。
[0014]进一步地，在本技术实施例中，所述云台为单轴相机云台。
[0015]进一步地，在本技术实施例中，所述副终端通过无线串口与所述主控制器连接。
[0016]进一步地，在本技术实施例中，所述手势传感器根据基本动作录入了相应的快捷消息和是否激活手势传感器的信息。通过向所述副终端的手势传感器做出的基本的动作触发快捷消息或激活手势识别系统。
[0017]手势传感器的加入使快捷短语与手语识别能力配合，提高了聋哑学生与教师沟通的效率。
[0018]进一步地，在本技术实施例中，所述手势传感器为PAJ7620 手势传感器。
[0019]进一步地，在本技术实施例中，所述副终端还包括指示灯与AT89C52 单片机，该AT89C52 单片机作为处理器，所述ID 单元分配在所述该AT89C52 单片机上。
[0020]更进一步地，在本技术实施例中，所述无线串口为LC12S 无线串口。
[0021]进一步地，在本技术实施例中，所述主终端具有对关节位置追踪的手语识别功能。
[0022]进一步地，在本技术实施例中，所述主终端还具有：语音模块，所述语音模块用于将文字或者聋哑人的动作转换成语音信息。
[0023]进一步地，在本技术实施例中，所述副终端还具有：灯光模块，所述灯光模块用于表示聋哑人是否处于正在做动作。灯光模块的指示灯是聋哑学生特殊教育中常用的信息传递方式，指示灯的加入更能直观的吸引师生注意力。
[0024]更进一步地，在本技术实施例中，所述副终端还具有：播放模块，所述播放模块用于播放转换出的所述语音信息。
[0025]进一步地，在本技术实施例中，所述主控制器为Atmega328P。
[0026]此外，手势传感器有识别简单动作的能力，学生可通过做出基本的动作触发快捷消息或激活手势识别系统，比如：向前挥手-深度相机启动，灯光模块的指示灯亮起表示该生开始发言，主终端的显示单元显示提问者姓名，深度相机根据副终端的ID 编号自动转到提回答者，进行手语识别并显示出识别到的文字。
[0027]向后挥手-深度相机关闭，云台回正，指示灯灭表示该生发言完毕。
[0028]向左挥手-主终端发出声音“我有一个问题”，并显示文字提醒“有学生提问”。
[0029]向右挥手-主终端发出声音“点赞”并显示文字提醒“点赞”。
[0030]上下挥手-主终端发出声音“老师我没听懂”。
[0031]手语识别方法为：通过深度相机追踪手掌位置、手肘位置及手掌的朝向与预先录入的动作库进行比对。
[0032]本技术提供一种可覆盖全教室，拥有手语识别、快捷交互、语音合成及投屏功能的手语翻译教学系统，用于为聋哑学生授课的特殊教育学校，提高聋哑人的教学质量。
[0033]本技术的有益效果是：本申请采用预先保留副终端ID 编号信息的方式，使得副终端的手势传感器每次获取到动作信息时，主终端都能锁定副终端的位置，进而使用云台控制深度相机旋转对准该副终端，因此使得深度相机可以对教室内任意指定位置的学生进行手语识别。故每次当聋哑学生碰到问题时，该学生在打手语时无需离开座位走到镜头前，就能及时、有效、快速的反应，大大加强了聋哑学生学习的质量效果。
附图说明
[0034]图1为本技术实施例用于识别与表示手势的追踪处理系统结构示意图。
[0035]图2 为本技术实施例深度相机的使用流程示意图。
[0036]图3为本技术实施例用于识别与表示手势的追踪处理系统使用效果示意图。
具体实施方式
[0037]为了使本技术的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本技术实施例进行进一步详细说明。应当理解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于识别与表示手势的追踪处理系统，其中，包括：主终端，所述主终端具有显示单元，所述显示单元显示聋哑人动作转换的文字；副终端，所述副终端具有ID单元与手势传感器，所述主终端预先保存ID单元的编号信息，所述手势传感器用于获取以及识别聋哑人的动作信息；深度相机，所述深度相机连接所述主终端，所述深度相机朝向所述副终端；云台，所述云台为可旋转结构，所述深度相机安装在所述云台上；主控制器，所述主控制器连接所述主终端和所述副终端以及所述云台。2.根据权利要求1 所述用于识别与表示手势的追踪处理系统，其中，所述深度相机为Kinect。3.根据权利要求1 所述用于识别与表示手势的追踪处理系统，其中，所述云台为单轴相机云台。4.根据权利要求1 所述用于识别与表示手势的追踪处理系统，其中，所述副终端...

【专利技术属性】
技术研发人员：刘伟，朱燕丛，朱迪，张娟，张环宇，张兆曦，曹頔，
申请(专利权)人：北京师范大学，
类型：新型
国别省市：