一种手语识别系统技术方案

本发明专利技术提供一种手语识别系统，属于医疗系统技术领域，包括以下步骤：1)：系统初始化；2)：基于智能唤醒模块，判断是否有人问诊，若判断结果为是，则进入下一步骤；3)：进入手语识别，通过图像采集模块和显示模块的相互配合，显示病患的诉求，并通过智能语音模块告知医生；4)：医生基于智能语音模块、图像采集模块和显示模块对患者进行交流和诊断；5)：完成诊断。通过本发明专利技术，医生仅需将手语识别系统对准就诊的聋哑人患者，系统自动捕获手语动作并翻译手语语义进行播报。当医生下达诊断结果或询问患者时，系统会展示对应的手语视频和字幕，满足医患间双向交流的需要。双向交流的需要。双向交流的需要。

【技术实现步骤摘要】
一种手语识别系统


[0001]本专利技术属于医疗系统
，尤其涉及一种手语识别系统。

技术介绍

[0002]聋哑人士就医难是一种目前客观存在的现实状况。作为残障人群中较为特殊的一类群体，聋哑人因其在语言信息接收和表达能力方面的感官障碍，难以进行正常的人际交往。同时，由于手语翻译人力资源的匮乏，目前我国大部分医院并未配有手语翻译工作者，聋哑患者的正常就医困难重重。
[0003]同时，在当今病毒在全球范围内大流行的时代背景下，医院内的智能设备在保证实用性的同时，还需要考虑到防疫的需求。

技术实现思路

[0004]本专利技术的目的在于提供一种手语识别系统，其特征在于，包括以下步骤：
[0005]S1：系统初始化；
[0006]S2：基于智能唤醒模块，判断是否有人问诊，若判断结果为是，则进入S3；
[0007]S3：进入手语识别，通过图像采集模块和显示模块的相互配合，显示病患的诉求，并通过智能语音模块告知医生；
[0008]S4：医生基于智能语音模块、图像采集模块和显示模块对患者进行交流和诊断；
[0009]S5：完成诊断。
[0010]进一步地，S2具体包括如下步骤：
[0011]S21：手语识别系统默认运行低功耗模式；
[0012]S22：通过微波雷达检测人体活动情况；
[0013]S23：根据检测结果判断是否有人问诊；
[0014]S24：若判断结果为是，则持续步骤S22
‑
S23，并将检测的信息发送至微处理器，系统进入高功耗模式，唤醒图像采集模块的摄像头并加载显示模块的显示屏，进入S3；若判断结果为否，则回到S2，并重复S21
‑
S24。
[0015]进一步地，S3中，图像采集模块工作原理如下：通过标准摄像机采集患者手部视频，并对视频信息进行图像预处理，最后将图像进行检测与分割、特征提取和目标检测，系统得到患者手语的检测结果并完成手语至语音的转化，通过智能语音模块播报给医生。
[0016]进一步地，对视频信息的预处理具体为降噪和抽帧处理。
[0017]进一步地，S4中，智能语音模块接收医生的语音并实时地检测关键词，关键词对应有数据库中相应的手语视频或字幕，手语视频或字幕通过显示模块的显示屏进行播放，实现医生与患者的交流。
[0018]进一步地，S4中，智能语音模块对关键词的检测具体包括如下步骤：
[0019]S41：获取医生的音频；
[0020]S42：将医生的音频导入声学模型，得到词网格；
[0021]S43：判断词网格是否为关键词；若否，则回到S1；若是，则前往S44；
[0022]S44：播放关键词的相关手语视频或字幕。
[0023]进一步地，手语识别系统的系统界面包括待机界面和手语识别界面，当微波雷达感应检测到无人体活动时，微波雷达的感应模块输出低电平，手语识别系统处于待机状态，并于显示屏界面显示待机界面；
[0024]当微波雷达检测到人体活动时，微波雷达的感应模块输出高电频，手语识别系统处于正常状态，显示屏显示手语识别界面，同时手语识别系统检测各画面中的手语，并自动语音播报手语内容。
[0025]与现有技术相比，本专利技术的有益效果主要体现在：
[0026]1、医生仅需将手语识别系统对准就诊的聋哑人患者，系统自动捕获手语动作并翻译手语语义进行播报。当医生下达诊断结果或询问患者时，系统会展示对应的手语视频和字幕，满足医患间双向交流的需要。
[0027]2、本专利技术在医生诊断患者的过程中，无需摘下口罩，且本专利技术无接触地使用模式符合防疫需求。
附图说明
[0028]图1为本专利技术一种手语识别系统的流程示意图。
[0029]图2为本专利技术智能唤醒模块流程示意图。
[0030]图3为本专利技术语音模块中关键词检测流程示意图。
[0031]图4为本专利技术应用的手语识别设备结构示意图。
具体实施方式
[0032]下面将结合示意图对本专利技术一种手语识别系统进行更详细的描述，其中表示了本专利技术的优选实施例，应该理解本领域技术人员可以修改在此描述的本专利技术，而仍然实现本专利技术的有利效果，因此，下列描述应当被理解为对于本领域技术人员的广泛知道，而并不作为对本专利技术的限制。
[0033]本专利技术一种手语识别系统是以神经网络为基本算法的手势识别系统，用于手语识别设备，为聋哑人就医提供了崭新的解决思路，解决了医患之间沟通难的问题。
[0034]手语识别设备包括上壳盖和下壳身，上壳盖和下壳身之间形成有放置空间，放置空间放置集成电路板，集成电路板集成有主控板、语音模块、智能唤醒模块、显示模块和充电模块，主控板设有图像采集模块。
[0035]集成电路板为双面电路板，使用立创EDA软件绘制，增加I/O串口，并进行PCB布线，以合理分布各模块。控制板采用MaixBit开发板属于SIPEED公司，是基于嘉楠堪智科技的边缘智能计算芯片K210设计的一款人工智能与物联网开发板。K210的中央处理器采用RISC
‑
V架构双核64位CPU，搭载神经网络加速器和麦克风，支持机器视觉与机器听觉多模态识别。K210配置400MHz的主频支持网络运算，同时，在K210上，这个专门的硬件叫做KPU(Kendryte Proccess Unit)，在MaixPy里面，已经集成了推导模型的代码，同时使用了KPU进行计算加速，使用时无需编写很多代码，只需要调用几个函数即可快速运行模型。同时，K210功耗仅为0.3W，总算力最高可达1TOPS，芯片自带SRAM和离线数据库，可在本地完成数据的处理和
存储。MaixBit作为整个系统控制的核心，用于实现对平台资源的调度和运行深度学习模型，实现单目标检测、非接触唤醒的功能。
[0036]图像采集模块：包括摄像头，摄像头选用型号0V7740，体积小并具有200W像素。
[0037]语音模块：采用SNR9813，并选用BY8001为主控芯片，支持MP3、WAV格式双解码。模块支持USART异步串口控制，对播放内容进行控制。模块内置TF卡座，可插卡更换语音内容，并配置3W功放，可直接驱动3W喇叭。
[0038]智能唤醒模块：即微波感应模块，该模块选用HLK
‑
LD012
‑
5G传感器，一旦人进入探测区域内，即发出2.2v高电平信号。该模块工作电流仅为68μA，功耗较低，可以用作设备唤醒。且相较于传统红外热释电感应模块，具有一定的穿透能力，在设计外壳结构时可以不开孔，支持暗装。
[0039]显示模块：包括显示屏，显示屏选用2.4寸，支持分辨率320*240。
[0040]充电模块：选用3.7V锂电池对系统进行供电，可以通过Type
‑
C接口对锂电池进行反复充电，从而实现对锂电池的循环使用。充电芯片选用的是TP4056，该芯片是一款单节锂离子电池恒流/恒压线性充电本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用手语识别系统，其特征在于，包括以下步骤：S1：系统初始化；S2：基于智能唤醒模块，判断是否有人问诊，若判断结果为是，则进入S3；S3：进入手语识别，通过图像采集模块和显示模块的相互配合，显示病患的诉求，并通过智能语音模块告知医生；S4：医生基于智能语音模块、图像采集模块和显示模块对患者进行交流和诊断；S5：完成诊断。2.根据权利要求1所述的手语识别系统，其特征在于，所述S2具体包括如下步骤：S21：所述手语识别系统默认运行低功耗模式；S22：通过微波雷达检测人体活动情况；S23：根据检测结果判断是否有人问诊；S24：若判断结果为是，则持续步骤S22
‑
S23，并将检测的信息发送至微处理器，系统进入高功耗模式，唤醒图像采集模块的摄像头并加载显示模块的显示屏，进入S3；若判断结果为否，则回到S2，并重复S21
‑
S24。3.根据权利要求1所述的手语识别系统，其特征在于，所述S3中，所述图像采集模块工作原理如下：通过标准摄像机采集患者手部视频，并对视频信息进行图像预处理，最后将图像进行检测与分割、特征提取和目标检测，系统得到患者手语的检测结果并完成手语至语音的转化，通...

【专利技术属性】
技术研发人员：王欣捷，董占彬，夏嘉璟，裴兢奕，岳霖杰，夏鲲，
申请(专利权)人：上海理工大学，
类型：发明
国别省市：