The invention discloses an intelligent prosthetic hand based on voice control and visual recognition and its system and system, which belongs to the technical field of prosthetic hand. The intelligent prosthetic hand adopts a three-freedom prosthetic hand body, including a depth camera module, a voice interaction module, a LED touch screen, a core processing module and a wireless charging module. The depth camera module is used to obtain image data. Voice interaction module is used for voice interaction with users; LED touch screen is used for user input operation instructions and display data; core processing module is used to achieve overall task scheduling and data processing; and the Internet of Things intelligent prosthetic hand system and gesture action implementation method are disclosed. The invention solves the problems of low control efficiency, large interference of EMG signal, complex operation training, single voice control function, unable to complete complex gesture operation and low intellectualization of the existing mainstream prosthetic hand, which only relies on EMG control and traction control.
【技术实现步骤摘要】
基于语音控制与视觉识别的智能假肢手及其系统和方法
本专利技术属于假肢手
，更具体地，涉及一种基于语音控制与视觉识别的智能假肢手及其系统和方法。
技术介绍
智能假肢手可以通过直流微电机驱动假手的开闭和腕、肘关节的运动，来完成假肢的代偿功能，能为上肢缺失残疾人患者的日常生活提供便利，提高生活质量。在康复工程领域的研究中有巨大的价值。现有假肢手产品分为单自由度、两自由度的前臂肌电假肢和两自由度、三自由度的上臂肌电假肢。前两种自由度低，很多场景并不适用。三自由度肌电假肢手如在专利CN201610520941.7中公开的，虽然假肢手有了足够高的自由度，解决了制作上的问题，但其中只提及假肢手的关节由电机控制，使用者如何运用残肢肌肉运动产生肌电信号控制假肢进行复杂的运动，在专利中并没有提及。事实上根据用户体验反馈，高自由度假肢手难以控制,肌电信号的相互干扰往往产生误动作，并且装肢前的肌力训练和装肢后的操纵训练更加复杂，肌电信号的识别效率低。因此对于高自由度假肢手就需要肌电信号以外的其它识别方法来控制。专利CN200710144648.6公开了基于蓝牙无线通讯的多自由度假手...
【技术保护点】
1.智能假肢手，采用三自由度假肢手本体，包括手指部件、手掌部件、残臂部件、肌电信号传感器、用于供电的电源以及存储器模块，其中，手指部件中的各手指各关节处及连接手掌部件与残臂部件的手腕处均设有电机，用于驱动各手指各关节及手腕处的转动，其特征在于，还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块及无线充电模块，其中，所述深度摄像头模块设置在所述手掌部件上的手掌处，用于获取图像数据，并传送至所述核心处理模块；所述语音交互模块用于与用户进行语音交互，将获取的语音数据传送至所述核心处理模块，以及播放从核心处理模块获取的指定格式的语音文件；所述LED触摸屏设置在所述手掌部...
【技术特征摘要】
1.智能假肢手，采用三自由度假肢手本体，包括手指部件、手掌部件、残臂部件、肌电信号传感器、用于供电的电源以及存储器模块，其中，手指部件中的各手指各关节处及连接手掌部件与残臂部件的手腕处均设有电机，用于驱动各手指各关节及手腕处的转动，其特征在于，还包括深度摄像头模块、语音交互模块、LED触摸屏、核心处理模块及无线充电模块，其中，所述深度摄像头模块设置在所述手掌部件上的手掌处，用于获取图像数据，并传送至所述核心处理模块；所述语音交互模块用于与用户进行语音交互，将获取的语音数据传送至所述核心处理模块，以及播放从核心处理模块获取的指定格式的语音文件；所述LED触摸屏设置在所述手掌部件上的手背处或残臂部件上，用于用户输入操作指令及显示数据；所述核心处理模块用于将所述图像数据通过图像算法进行三维比对，拼凑出手势动作的模型，进而得出每个电机各时间节点所需要转动的角度，并输出机器指令码；还用于根据所述语音数据调用所述存储器模块内的手势动作并输出机器指令码，或者新增手势动作至所述存储器模块；还用于根据用户通过LED触摸屏输入的操作指令，输出机器指令码或者输出显示数据至LED触摸屏；所述机器指令码用于控制各电机动作，以使智能假肢手做出指定的手势动作；所述无线充电模块用于采用无线充电方式为所述电源充电；所述存储器模块用于保存数据，该数据包括手势动作、各手势动作的使用情况、图像数据、语音数据；智能假肢手的最表层材料为导体材料。2.如权利要求1所述的智能假肢手，其特征在于，还包括定位模块和心率监测模块，所述定位模块用于获取智能假肢手当前地理位置信息并传输至所述核心处理模块；所述心率监测模块用于监测用户的心率，并将心率数据传输至所述核心处理模块；所述核心处理模块对所述地理位置信息和心率数据进行处理后传输至所述存储器模块进行存储，或在接受指令后通过所述LED触摸屏或所述语音交互模块反馈给用户。3.基于语音控制与视觉识别的物联网智能假肢手系统，其特征在于，由通过无线方式建立连接的云服务器端、二级操作终端和智能假肢手组成，其中，所述二级操作终端包括安装在智能手机或电脑上的客户端，和/或动作捕捉手套；所述云服务器用于为所述客户端和智能假肢手提供云服务，所述云服务包括在线存储、在线技术支持和云计算。4.基于权利要求3所述的物联网智能假肢手系统的手势动作实现方法，其特征在于，包括如下步骤：步骤1：通过智能假肢手进行信息采集，并上传至云服务器端；步骤2：通过云服务器端调用百度AI开放平台的图像识别或语言处理基础技术接口，进行识别，并将识别结果发送给智能假肢手的核心处理模块；步骤3：核心处...
【专利技术属性】
技术研发人员：汪志远，罗婧怡，高子誉，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。