一种基于手势识别的手语教学系统技术方案

本发明专利技术公开了一种基于手势识别的手语教学系统，包括：触摸屏模块、摄像头模块、树莓派模块和手语动作执行机器人，树莓派模块根据教学动作名称控制手语动作执行机器人输出手语动作；摄像头模块用于获取学习者的手语动作图像，树莓派模块用于通过手语动作图像得到学习动作名称，将所述学习动作名称和教学动作名称进行匹配，得到匹配结果。通过树莓派模块作为总控，控制手语动作执行机器人执行学习者想要的手语动作。然后利用摄像头模块对学习者的动作进行采集，实现对学习者动作的正确性进行判断。从而实现对手语动作的教学，提高教学效率。本发明专利技术主要用于教学工具领域。本发明专利技术主要用于教学工具领域。本发明专利技术主要用于教学工具领域。

【技术实现步骤摘要】
一种基于手势识别的手语教学系统


[0001]本专利技术涉及教学用具
，具体是一种基于手势识别的手语教学系统。

技术介绍

[0002]聋人群体具有一定的特殊性，聋人群体的沟通方式一般采用手语沟通。现 有的手语学习机制一般都是采用视频教学的方式。这种视频教学方式由于是影 像形式，整体以二维形式进行呈现。而且，对于学习者所模仿的手语动作，没 有一个及时的评价机制，从而学习者无法得知当前手语的动作是正确性。因此， 对于很多学习者来讲，这种方式，学习接受效果不好，从而使得整体的教学效 果不佳。

技术实现思路

[0003]本专利技术提供一种基于手势识别的手语教学系统，以解决现有技术中所存在 的一个或多个技术问题，至少提供一种有益的选择或创造条件。
[0004]提供一种基于手势识别的手语教学系统，包括：触摸屏模块、摄像头模块、 树莓派模块和手语动作执行机器人，所述树莓派模块分别与触摸屏模块、摄像 头模块和手语动作执行机器人连接，所述触摸屏模块用于响应学习者触发得到 触发指令，所述树莓派模块根据所述触发指令得到学习者需要学习的手语动作 名称，所述手语动作名称记为教学动作名称，所述树莓派模块根据所述教学动 作名称控制手语动作执行机器人输出手语动作，以完成所述教学动作名称所对 应的手语动作；
[0005]所述摄像头模块用于获取学习者的手语动作图像，并将所述手语动作图像 传递给树莓派模块，所述树莓派模块用于：通过集成在所述树莓派模块中的手 语识别模型对所述手语动作图像进行识别，得到所述手语动作图像所对应的手 语动作名称，所述手语动作名称记为学习动作名称，将所述学习动作名称和教 学动作名称进行匹配，得到匹配结果。
[0006]进一步，所述树莓派模块用于：通过所述手语识别模型对所述手语动作图 像进行识别，得到所述手语动作图像所对应的手语动作名称，所述手语动作名 称记为学习动作名称，将所述学习动作名称和教学动作名称进行匹配，得到匹 配结果具体包括：
[0007]所述手语识别模型集成骨架检测算法MediaPipe Pose和目标检测算法 Yolo X，利用骨架检测算法MediaPipe Pose算法中的脸部检测器detector对 所述手语动作图像进行处理，tracker候选出人体可能出现的候选区域，从候 选区域中计算得到人体动作关节点坐标，设置标准的手臂姿态模板，对所得到 人体动作关节点坐标进行归一化处理后，对所述手臂姿态模板的每一个节点坐 标设置阈值范围，判断归一化的关节点坐标是否落入在所述阈值范围内，输出 第一判断结果；
[0008]构建手语词向量，通过目标检测算法Yolo X从手语动作图像中检测出手 掌图像，对所述手掌图像进行基于所述手语词向量中对应的标准手掌图像进行 识别和判断，得到学习动作名称和第二判断结果；
[0009]根据所述第一判断结果和第二判断结果得到匹配结果。
[0010]进一步，所述人体动作关节点坐标包括第11关节点坐标至第32关节点坐 标。
[0011]进一步，本基于手势识别的手语教学系统还包括存储模块，所述存储模块 与所述树莓派模块连接。
[0012]进一步，所述树莓派模块用于执行正常学习模式，所述正常学习模式包括： 触摸屏模块显示进入正常学习模式的第一UI接口，触摸屏模块检测到学习者 触摸所述第一UI接口，
[0013]所述触摸屏模块生成并显示记录有教学动作名称信息的第二UI接口，触 摸屏模块检测到学习者触摸所述第二UI接口，形成所述触发指令，所述教学 动作名称加载在触发指令中；
[0014]当所述第一判断结果为正确，并且所述第二判断结果为正确，则认为匹配 成功，在存储模块中划出用于存储错题集的存储单元，将当前的学习动作名称 存储在所述存储单元中。
[0015]进一步，本基于手势识别的手语教学系统还包括历史挑战模式，所述历史 挑战模式包括：触摸屏模式显示进入历史挑战模式的第三UI接口，触摸屏模 块检测到学习者触摸所述第三UI接口，访问存储单元，并从存储单元中获取 记录在错题集中的学习动作名称，将所述学习错题名称作为教学动作名称加载 在触发指令，当所述第一判断结果为正确，且所述第二判断结果为正确时，则 认为匹配成功，获取当前的学习动作名称，根据所述学习动作名称在所述存储 单元中查询是否存在与之相同的学习动作名称，如果有，则将所述学习动作名 称在存储单元中删除。
[0016]进一步，本基于手势识别的手语教学系统还包括语音输出模块；所述语音 输出模块与树莓派模块连接，在匹配成功后，所述树莓派模块控制语音输出模 块发出表示“动作正确”的提示语音，并控制触摸屏模块显示第一动画图像, 控制手语动作执行机器人输出设定的第一手语动作。
[0017]进一步，在匹配失败后，所述树莓派模块控制语音输出模块发出表示“动 作错误”的提示语音，并控制触摸屏模块显示第二动画图像,控制手语动作执 行机器人输出设定的第二手语动作。
[0018]本专利技术至少具有以下有益效果：通过设置触摸屏模块、摄像头模块、树莓 派模块和手语动作执行机器人。通过树莓派模块作为总控，控制手语动作执行 机器人执行学习者想要的手语动作。然后利用摄像头模块对学习者的动作进行 采集，实现对学习者动作的正确性进行判断。从而实现对手语动作的教学，提 高教学效率。
附图说明
[0019]附图用来提供对本专利技术技术方案的进一步理解，并且构成说明书的一部分， 与本专利技术的实施例一起用于解释本专利技术的技术方案，并不构成对本专利技术技术方 案的限制。
[0020]图1是基于手势识别的手语教学系统的结构示意图；
[0021]图2是骨架检测算法MediaPipe Pose得到33个人体动作关节点坐标示意 图；
[0022]图3是目标检测算法Yolo X的模型结构示意图。
具体实施方式
[0023]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实 施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅 用以解释本专利技术，并不用于限定本专利技术。
[0024]需要说明的是，虽然在系统示意图中进行了功能模块划分，在流程图中示 出了逻辑顺序，但是在某些情况下，可以以不同于系统中的模块划分，或流程 图中的顺序执行所示出或描述的步骤。说明书和权利要求书及上述附图中的术 语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或 先后次序。
[0025]参考图1，提供一种基于手势识别的手语教学系统，包括：触摸屏模块、 摄像头模块、树莓派模块和手语动作执行机器人，所述树莓派模块分别与触摸 屏模块、摄像头模块和手语动作执行机器人连接，所述触摸屏模块用于响应学 习者触发得到触发指令，所述树莓派模块根据所述触发指令得到学习者需要学 习的手语动作名称，所述手语动作名称记为教学动作名称，所述树莓派模块根 据所述教学动作名称控制手语动作执行机器人输出手语动作，以完成所述教学 动作名称所对应的手语动作；
[0026]所述摄像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于手势识别的手语教学系统，其特征在于，包括：触摸屏模块、摄像头模块、树莓派模块和手语动作执行机器人，所述树莓派模块分别与触摸屏模块、摄像头模块和手语动作执行机器人连接，所述触摸屏模块用于响应学习者触发得到触发指令，所述树莓派模块根据所述触发指令得到学习者需要学习的手语动作名称，所述手语动作名称记为教学动作名称，所述树莓派模块根据所述教学动作名称控制手语动作执行机器人输出手语动作，以完成所述教学动作名称所对应的手语动作；所述摄像头模块用于获取学习者的手语动作图像，并将所述手语动作图像传递给树莓派模块，所述树莓派模块用于：通过集成在所述树莓派模块中的手语识别模型对所述手语动作图像进行识别，得到所述手语动作图像所对应的手语动作名称，所述手语动作名称记为学习动作名称，将所述学习动作名称和教学动作名称进行匹配，得到匹配结果。2.根据权利要求1所述的一种基于手势识别的手语教学系统，其特征在于，所述树莓派模块用于：通过所述手语识别模型对所述手语动作图像进行识别，得到所述手语动作图像所对应的手语动作名称，所述手语动作名称记为学习动作名称，将所述学习动作名称和教学动作名称进行匹配，得到匹配结果具体包括：所述手语识别模型集成骨架检测算法MediaPipe Pose和目标检测算法Yolo X，利用骨架检测算法MediaPipe Pose算法中的脸部检测器detector对所述手语动作图像进行处理，tracker候选出人体可能出现的候选区域，从候选区域中计算得到人体动作关节点坐标，设置标准的手臂姿态模板，对所得到人体动作关节点坐标进行归一化处理后，对所述手臂姿态模板的每一个节点坐标设置阈值范围，判断归一化的关节点坐标是否落入在所述阈值范围内，输出第一判断结果；构建手语词向量，通过目标检测算法Yolo X从手语动作图像中检测出手掌图像，对所述手掌图像进行基于所述手语词向量中对应的标准手掌图像进行识别和判断，得到学习动作名称和第二判断结果；根据所述第一判断结果和第二判断结果得到匹配结果。3.根据权利要求2所述的一种基于手势识别的手语教学系统，其特征在...

【专利技术属性】
技术研发人员：吴坤泽，张梓浩，张家铭，郑大港，陈子怡，蔡泽民，
申请(专利权)人：汕头大学，
类型：发明
国别省市：