一种基于双目视觉采集的灵巧手控制方法及装置制造方法及图纸

本发明专利技术提供一种基于双目视觉采集的灵巧手控制方法及装置，基于双目视觉采集的灵巧手控制方法包括：控制多个双目相机以不同的拍摄角度采集人手的深度图像；依据多个双目相机采集的深度图像，获取人手的抓握姿态；依据人手的抓握姿态，确定灵巧手的抓握姿态，依据灵巧手的抓握姿态，确定灵巧手上多个驱动器的执行空间向量；依据执行空间向量控制多个驱动器动作，以使得灵巧手执行抓握动作；其中，多个双目相机当中的至少两者的光轴形成夹角。本发明专利技术可根据实际需求实现对灵巧手抓握姿态的便捷性控制，不再受限于灵巧手上驱动器数量的限制，不仅控制方案简单，而且提升了对灵巧手的控制准确度与灵敏度。准确度与灵敏度。准确度与灵敏度。

【技术实现步骤摘要】
一种基于双目视觉采集的灵巧手控制方法及装置


[0001]本专利技术涉及机器人
，尤其涉及一种基于双目视觉采集的灵巧手控制方法及装置。

技术介绍

[0002]灵巧手是具有多种感知功能的仿生机械手。在灵巧手的手掌上设有多个类似人手结构的手指，例如：灵巧手的大拇指设有一个相对其手掌运动的自由度，灵巧手上其它的每个手指具有三个自由度和四个活动关节，以使得灵巧手能够以不同的抓握姿态对目标物进行精准地抓握。
[0003]传统灵巧手的控制方法需要对灵巧手的手势进行一一定义，灵巧手的每一个抓握动作都需要对灵巧手上各个不同执行器的位置进行相应地定义，比较繁琐且僵硬，难以普遍适用于驱动器数量相对较高的灵巧手，导致难以根据实际需求对灵巧手抓握姿态进行便捷地控制。

技术实现思路

[0004]本专利技术提供一种基于双目视觉采集的灵巧手控制方法及装置，用以解决当前难以根据实际需求实现对灵巧手抓握姿态的便捷控制的问题。
[0005]本专利技术提供一种基于双目视觉采集的灵巧手控制方法，包括：控制多个双目相机以不同的拍摄角度采集人手的深度图本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目视觉采集的灵巧手控制方法，其特征在于，包括：控制多个双目相机以不同的拍摄角度采集人手的深度图像；依据所述多个双目相机采集的深度图像，获取人手的抓握姿态；依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量；依据所述执行空间向量控制所述多个驱动器动作，以使得所述灵巧手执行抓握动作；其中，所述多个双目相机当中的至少两者的光轴形成夹角。2.根据权利要求1所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述多个双目相机采集的深度图像，获取人手的抓握姿态，进一步包括：将所述深度图像输入至识别模型，获取所述识别模型输出的与人手对应的手掌的三维点云图像及各个手指关节的三维点云图像；依据手掌的三维点云图像及各个手指关节的三维点云图像，确定在三维空间中手掌和各个手指关节的位置，计算出各个深度图像中手掌的角度及各个手指关节的角度；其中，所述手掌的角度表征着所述深度图像中的手掌相对于与所述深度图像对应的双目相机的光轴的夹角，所述各个手指关节的角度表征着所述深度图像中的各个手指关节相对于与所述深度图像对应的双目相机的光轴的夹角。3.根据权利要求2所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述多个双目相机采集的深度图像，获取人手的抓握姿态，进一步包括：根据所述手掌的角度及各个手指关节的三维点云密度，确定各个深度图像中的每个手指关节的角度的确信值；以多个所述确信值当中最大一者对应的手指关节的角度作为人手的手指关节的角度预测。4.根据权利要求1至3任一所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述人手的抓握姿态，确定灵巧手的抓握姿态，依据所述灵巧手的抓握姿态，确定所述灵巧手上多个驱动器的执行空间向量，进一步包括：依据所述人手的抓握姿态，获取人手的手指关节的第一角度空间向量；依据第一角度空间向量，确定灵巧手的第二角度空间向量；依据灵巧手的第二角度空间向量至驱动器的执行空间向量的映射函数，确定所述驱动器的执行空间向量。5.根据权利要求4所述的基于双目视觉采集的灵巧手控制方法，其特征在于，所述依据所述人手的抓握姿态，确定灵巧手的抓握姿态，...

【专利技术属性】
技术研发人员：王豫，闫亚东，成畅，官明俊，张佳楠，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：