【技术实现步骤摘要】
本专利技术涉及假肢控制，具体地，涉及一种融合多模态信息服务于盲人的智能假肢手及其操控方法。
技术介绍
1、为满足残疾人士的日常操作需求，佩戴智能化假肢手愈发成为有效解决方案。然而，智能假肢手的操控效果不仅取决于对腕部姿态的调整，也受到操控手势选择与切换时机的影响。尤其针对视觉障碍人士穿戴假肢手时，操控手势选择与切换时机尤为重要。因此，如何更好地服务于盲人穿戴智能假肢手，进行健康的自然操控行为成为亟需解决的难题。
2、受益于人工智能与机器人技术的快速发展，融合多模态信息赋予假肢手智能化来帮助残疾人士的操作行为“健康化”已迫切需要。一种方案是融合接近觉与触觉反馈信息服务于视觉伺服特征对齐与操控手势选择，进一步通过肌电控制实现高效操控。因此，为更好地服务于盲人穿戴智能假肢手，亟需一种融合多模态信息的智能假肢手操控策略，使盲人能够更自主地进行日常操控。
技术实现思路
1、本专利技术的目的在于提供一种融合多模态信息服务于盲人的智能假肢手及其操控方法，以解决上述问题。为此，本专利技术采用的技术方案如下：
2、根据本专利技术的一方面，提供了一种融合多模态信息服务于盲人的智能假肢手操控方法，其中，该方法可包括以下步骤：
3、s1、通过ssd-mobilenet目标检测算法进行操控对象目标检测，获取所述操控对象的边界框和语义标签；
4、s2、基于所述边界框的信息，通过目标跟踪算法实现像素级特征对齐；
5、s3、基于所述语义标签，通过匹配策略
6、s4、通过融合接近觉反馈信息、肌电控制和触觉反馈信息进行视觉伺服操控。
7、在一实施例中，所述方法还包括步骤：
8、s0、利用labelimage工具制作第一数据集对ssd-mobilenet模型进行训练。
9、在一实施例中，所述步骤s1包括：
10、s11、通过单目摄像头采集视频流；
11、s12、将所述视频流输入训练好的所述ssd-mobilenet模型，对所述操控对象的语义类别与边界框位置进行预测；
12、s13、对所述ssd-mobilenet模型的输出结果进行非极大值抑制与边界框编码处理，获取所述操控对象的边界框和语义标签信息。
13、在一实施例中，所述步骤s2包括：
14、s21、基于所述边界框的信息，进一步求解边界框中心点的坐标并根据捕捉图像确定像素坐标系下的相机中心点的坐标
15、s22、计算在像素坐标系下的所述边界框中心点和所述相机中心点之间欧式距离
16、s23、将所述欧式距离作为所述目标跟踪算法的优化目标，即利用pid控制实现设置阈值δ内的目标跟踪，进一步实现特征对齐。
17、在一实施例中，在步骤s23中，通过融合接近觉反馈信息作为所述目标跟踪算法启停的“软开关”。
18、在一实施例中，在步骤s23中，限定在所述接近觉反馈信息给出的距离不大于300mm时才会开启所述目标检测算法。
19、在一实施例中，所述步骤s3包括：
20、s31、制作第二数据集；
21、s32、通过所述第二数据集训练一个卷积神经网络分类器；
22、s33、基于从所述步骤s1获取的所述语义标签，通过所述卷积神经网络分类器匹配相应的操控手势。
23、在一实施例中，所述步骤s4包括：
24、s41、通过融合所述接近觉反馈信息进行操控手势的切换；
25、s42、通过融合肌电控制实现对所述智能假肢手进行操控；
26、s43、融合所述触觉反馈信息判断是否实现准确操控。
27、根据本专利技术的另一方面，还提供了一种智能假肢手，其可包括假肢手、主控器及与所述主控器电连接的单目摄像头、接近觉传感器和触觉传感器，其中，所述主控器布置在所述假肢手的腔体中，所述单目摄像头布置在所述假肢手的虎口位置，所述接近觉传感器布置在所述假肢手的掌心位置，以及所述触觉传感器器布置在所述假肢手的指腹位置，其中，所述主控器用于执行如上所述的融合多模态信息服务于盲人的智能假肢手操控方法。
28、优选地，所述单目摄像头的型号为ov5640。
29、优选地，所述主控器的型号为stm32mp157。
30、与现有技术相比，本专利技术利用单目摄像头作为智能假肢手操控系统全局视觉传感器，进一步融合接近觉反馈信息和触觉反馈信息，再通过视觉伺服与肌电控制实现高精准且自然化的操控。其中，操控手势的选择与切换较好地弥补了视觉障碍人士穿戴假肢手的不足。
本文档来自技高网...【技术保护点】
1.一种融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，所述方法还包括步骤：
3.根据权利要求2所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，所述步骤S1包括：
4.根据权利要求1所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，所述步骤S2包括：
5.根据权利要求4所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，在步骤S23中，通过融合接近觉反馈信息作为所述目标跟踪算法启停的“软开关”。
6.根据权利要求5所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，在步骤S23中，限定在所述接近觉反馈信息给出的距离不大于300mm时才会开启所述目标检测算法。
7.根据权利要求1所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，所述步骤S3包括：
8.根据权利要求1所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于
9.根据权利要求8所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，在S41中，限定在所述接近觉反馈信息给出的距离等于50mm时，进行操控手势切换。
10.一种智能假肢手，其特征在于，包括假肢手、主控器及与所述主控器电连接的单目摄像头、接近觉传感器和触觉传感器，其中，所述主控器布置在所述假肢手的腔体中，所述单目摄像头布置在所述假肢手的虎口位置，所述接近觉传感器布置在所述假肢手的掌心位置，以及所述触觉传感器器布置在所述假肢手的指腹位置，其中，所述主控器用于执行如权利要求1-9中任一项所述的融合多模态信息服务于盲人的智能假肢手操控方法。
...【技术特征摘要】
1.一种融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，所述方法还包括步骤：
3.根据权利要求2所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，所述步骤s1包括：
4.根据权利要求1所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，所述步骤s2包括：
5.根据权利要求4所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，在步骤s23中，通过融合接近觉反馈信息作为所述目标跟踪算法启停的“软开关”。
6.根据权利要求5所述的融合多模态信息服务于盲人的智能假肢手操控方法，其特征在于，在步骤s23中，限定在所述接近觉反馈信息给出的距离不大于300mm时才会开启所述目标检测算法。
<...【专利技术属性】
技术研发人员：汤奇荣，马保平，王文瑞，李晓田，阚宏伟，陈锋，杨浩，王帅淇，
申请(专利权)人：同济大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。