多模态信息引导环境感知的肌电假肢系统及环境感知方法技术方案

本发明专利技术公开一种多模态信息引导环境感知的肌电假肢系统及环境感知方法，该假肢系统系统包括具有多模态感知能力的假肢手、阵列肌电传感模块、穿戴式摄像模块、穿戴式力触觉反馈装置、语音交互模块和数据处理器；假肢手通过假肢接受腔穿戴在使用者的残肢端用于力触觉和温度觉的感知，阵列肌电传感模块集成在假肢接受腔与残肢贴合的内表面，穿戴式摄像模块用于实现假肢手对待抓取物体的接近觉信息感知，穿戴式力触觉反馈装置用于实现使用者对假肢接近觉、温度觉和力触觉信息的感知，语音交互模块用于使用者与肌电假肢系统的交互，假肢接受腔内集成有数据处理器。本发明专利技术实现了盲人截肢对象自主接近物体，抓取物体。

【技术实现步骤摘要】
多模态信息引导环境感知的肌电假肢系统及环境感知方法
本专利技术涉及一种多模态信息引导环境感知的肌电假肢系统及环境感知方法，属于肌电假肢系统

技术介绍
视觉和触觉是人学习环境、适应环境、进而改造环境的必不可少的感官系统。对于肢体残疾或者视力残疾的群体。缺失其中一种感官，或全部缺失对他们恢复生活自理能力的挑战是巨大的。对于前臂截肢患者，通过佩戴商业假肢可以重建其基础的运动功能，但是现有技术仍然缺乏对假肢手的力触觉感知，因为大部分残疾人可以通过自身的视觉感官确定假肢手与环境的交互状态。但当在黑夜中或视线受遮挡时，受试者将无法获得假肢手与环境交互过程中的力触觉传感信息。对于盲人群体，则更加依赖手的力触觉感知能力，目前也有采用基于机器视觉的盲人眼镜帮助其导盲，验钞，阅读等，或者采用在舌头上刺激图像。但这些辅助设备在使用中依然十分依赖仅存的力触觉感知能力，因此填补目前面向截肢失明患者的康复设备的空白至关重要。
技术实现思路
本专利技术的目的是提供一种多模态信息引导环境感知的肌电假肢系统及环境感知方法，该系统通过重建受试者缺失的本文档来自技高网...

【技术保护点】
1.一种多模态信息引导环境感知的肌电假肢系统，其特征是，该系统包括具有多模态感知能力的假肢手、阵列肌电传感模块、穿戴式摄像模块、穿戴式力触觉反馈装置、语音交互模块和数据处理器；所述具有多模态感知能力的假肢手用于力触觉和温度觉的感知，该假肢手通过假肢接受腔穿戴在使用者的残肢端，所述阵列肌电传感模块集成在假肢接受腔与残肢贴合的内表面，所述穿戴式摄像模块用于实现假肢手对待抓取物体的接近觉信息感知，所述穿戴式力触觉反馈装置用于实现使用者对假肢接近觉、温度觉和力触觉信息的感知，所述语音交互模块用于使用者与肌电假肢系统的交互，所述假肢接受腔内集成有数据处理器，所述数据处理器用于使用者的肌电意图解码、假肢手...

【技术特征摘要】
1.一种多模态信息引导环境感知的肌电假肢系统，其特征是，该系统包括具有多模态感知能力的假肢手、阵列肌电传感模块、穿戴式摄像模块、穿戴式力触觉反馈装置、语音交互模块和数据处理器；所述具有多模态感知能力的假肢手用于力触觉和温度觉的感知，该假肢手通过假肢接受腔穿戴在使用者的残肢端，所述阵列肌电传感模块集成在假肢接受腔与残肢贴合的内表面，所述穿戴式摄像模块用于实现假肢手对待抓取物体的接近觉信息感知，所述穿戴式力触觉反馈装置用于实现使用者对假肢接近觉、温度觉和力触觉信息的感知，所述语音交互模块用于使用者与肌电假肢系统的交互，所述假肢接受腔内集成有数据处理器，所述数据处理器用于使用者的肌电意图解码、假肢手控制、语音交互和用于系统内关键程序的执行。


2.根据权利要求1所述的多模态信息引导环境感知的肌电假肢系统，其特征是，所述具有多模态感知能力的假肢手包括一个电子皮肤手套，所述电子皮肤手套的内侧包含一个红外测温传感器和一个激光测距传感器，所述电子皮肤手套上设置一个信号采集板用于连接所述红外测温传感器和激光测距传感器的数据线。


3.根据权利要求1所述的多模态信息引导环境感知的肌电假肢系统，其特征是，所述穿戴式摄像模块包含一个RGBD传感器用于实时传输彩色图像以及基于双目深度图像的点云数据。


4.根据权利要求1所述的多模态信息引导环境感知的肌电假肢系统，其特征是，所述穿戴式力触觉反馈装置包括一个或者两个震动单元阵列用于使佩戴者感知震动，每个所述震动单元阵列由四个震动电机围绕大臂一圈，均匀分布在大臂前侧、后侧、外侧和内侧；所述穿戴式力触觉反馈装置还包含一个能够进行二维平动的十字滑台装置用于使佩戴者感知二维推拉力。


5.一种用上述的多模态信息引导环境感知的肌电假肢系统进行多模态信息引导环境感知的方法，其特征是，该方法包括如下步骤：
S1.首先穿戴式摄像模块拍摄实际场景图片，然后数据处理器对图片进行物体识别，接着数据处理器将环境物体的识别结果传递给语音交互模块，语音交互模块采用语音或音效的形式反馈给使用者；
S2.使用者根据接收到的环境物体信息后，通过语音交互模块进一步下达具体的抓取任务；
S3.使用者穿戴具有多模态感知能力的假肢手分步骤进行物体接近和抓取任务，在第一步物体接近过程中，穿戴式摄像模块实时捕捉物体的空间坐标，然后数据处理器将坐标信息变为用户所能理解的前后、左右、上下的接近觉信息并用语音交互模块或穿戴式力触觉反馈装置反馈给使用者，实现假肢手对待抓取物体的接近觉信息感知；当接近任务完成后，使用者通过假肢内集成的阵列肌电传感模块操控假肢手进行物体的抓取；
S4.语音交互模块和穿戴式力触觉反馈装置提示接近任务和抓取任务的结果，如果任意任务不成功，则返回步骤S3。


6.根据权利要求5所述的多模态信息引导环境感知的方法，其特征是，步骤S3和S4中的接近和抓取过程中还包括利用强化学习优化力触觉反馈装置的感知编码参数的步骤。


7.根据权利要求5所述的多模态信息引导环境感知的方法，其特征是，步骤...

【专利技术属性】
技术研发人员：宋爱国，胡旭晖，祝佳航，李会军，曾洪，徐宝国，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32