机器人控制方法、系统、计算机设备、存储介质技术方案

本申请涉及一种机器人控制方法、系统、计算机设备、存储介质。所述方法包括：获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像；识别双目自然图像中的各关键对象，并获取各关键对象分别在相机坐标系中的第一坐标；分别将各第一坐标转换到机器人坐标系中，得到各关键对象分别在机器人坐标系中的第二坐标；根据至少一个第二坐标获取路径轨迹，路径轨迹用于控制机器人按照路径轨迹执行预设操作。采用本方法无需手动调整机器人姿态，能够降低机器人的操作难度并提高机器人的工作效率。效率。效率。

【技术实现步骤摘要】
机器人控制方法、系统、计算机设备、存储介质


[0001]本申请涉及图像处理
，特别是涉及一种机器人控制方法、装置、系统、计算机设备、存储介质和计算机程序产品。

技术介绍

[0002]在毛囊移植的过程中，医生为了保证环切毛囊的精度，需要在环切前调整器械(如宝石刀)的姿态。现有方式包括：医生不利用辅助设备直接靠经验手动调整；医生结合辅助设备(如植发放大镜)调整操作器械的姿态等。传统的毛囊提取由多位助手医师辅助经验丰富的医生来完成，在提取毛囊前，需要筛选毛发目标区域，若采用人工进行筛选，则耗费大量人力与时间；而且，受提取毛囊的位置、人为主观经验等因素影响，往往效率低下，且提取的精确度没有保障。
[0003]另外，目前的毛囊移植机器人主要还是依赖医生进行手动调整器械姿态，操作繁琐且工作效率较低。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高工作效率且操作便捷的机器人控制方法、装置、计算机设备、计算机可读存储介质和计算机程序产品。
[0005]本专利技术提供一种机器人控制方法，所述方法包括：
[0006]获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像，并获取所述双目自然图像中的各关键对象的双目匹配结果，根据各所述关键对象的双目匹配结果确定视觉里程计；
[0007]根据视觉里程计确定相机坐标系，并获取各所述关键对象分别在相机坐标系中的第一坐标；
[0008]分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标；
[0009]基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，所述路径轨迹用于控制机器人按照所述路径轨迹执行与所述目标操作需求对应的预设操作。
[0010]在其中一个实施例中，所述获取所述双目自然图像中的各关键对象的双目匹配结果，包括：
[0011]对所述左目图像进行特征提取，以识别所述左目图像中各关键对象分别对应的左目特征点；
[0012]对所述右目图像进行特征提取，以识别所述右目图像中各关键对象分别对应的右目特征点；
[0013]基于双目标定参数，对至少一个左目特征点以及至少一个右目特征点进行双目匹配，得到至少一个特征点对，将至少一个特征点对作为所述双目匹配结果；所述特征点对包
括一个左目特征点和一个右目特征点。
[0014]在其中一个实施例中，所述根据视觉里程计确定相机坐标系，包括：
[0015]根据所述视觉里程计获取双目相机空间位姿信息，并根据所述双目相机空间位姿信息确定所述相机坐标系。
[0016]在其中一个实施例中，所述获取各所述关键对象分别在相机坐标系中的第一坐标，包括：
[0017]在所述相机坐标系中，通过三角测量计算各关键对象对应的深度信息；
[0018]根据所述深度信息获取各关键对象在所述相机坐标系中的三维坐标，将所述三维坐标作为所述第一坐标。
[0019]在其中一个实施例中，所述分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标，包括：
[0020]根据双目相机和机器人的位置关系确定手眼标定参数；所述双目相机是拍摄所述双目自然图像的相机；
[0021]基于所述手眼标定参数确定第一坐标转换矩阵，根据所述第一坐标转换矩阵对各第一坐标进行计算，得到与各第一坐标分别对应的第二坐标，作为各所述关键对象分别在机器人坐标系中的第二坐标。
[0022]在其中一个实施例中，所述基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，包括：
[0023]根据至少一个第二坐标建立轨迹函数，以及获取轨迹分段数；
[0024]对所述轨迹函数关于时间求导，得到轨迹导数通项式；
[0025]根据所述轨迹分段数和所述约束条件，获取所述轨迹导数通项式对应的轨迹多项式；
[0026]基于所述目标操作需求构建所述轨迹多项式的目标函数和边界条件；基于所述目标函数、所述边界条件和所述约束条件，求解所述轨迹多项式，得到所述路径轨迹。
[0027]在其中一个实施例中，所述方法还包括：
[0028]根据所述路径轨迹控制机器人执行预设操作，所述根据所述路径轨迹控制机器人执行预设操作，包括：
[0029]根据所述路径轨迹中的各第二坐标分别确定一组机器人关节参数；所述一组机器人关节参数包括多个子关节参数，所述子关节参数用于控制所述机器人的各关节运动；
[0030]根据至少一组机器人关节参数控制所述机器人的各关节运动，以实现所述机器人按照所述路径轨迹执行预设操作。
[0031]在其中一个实施例中，所述方法还包括：
[0032]根据目标部位的双目自然图像获取所述相机坐标系中的靶标坐标；
[0033]根据所述靶标坐标确定靶标位姿偏差；
[0034]根据所述靶标位姿偏差修正所述第二坐标；
[0035]所述根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，包括：
[0036]根据至少一个修正后的第二坐标和所述约束条件进行非线性二次规划，得到修正后的路径轨迹。
[0037]在其中一个实施例中，所述方法还包括：按照预设周期检测所述机器人的运行参数；
[0038]在所述运行参数满足预设故障条件的情况下，获取所述运行参数对应的故障类型；
[0039]根据所述故障类型对所述机器人执行相应类别的停机操作。
[0040]本专利技术还一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如上所述的方法的步骤。
[0041]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的方法的步骤。
[0042]本专利技术还提供一种机器人控制系统，所述系统包括：
[0043]控制台车，用于获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像，并获取所述双目自然图像中的各关键对象的双目匹配结果，根据各所述关键对象的双目匹配结果确定视觉里程计；根据视觉里程计确定相机坐标系，并获取各所述关键对象分别在相机坐标系中的第一坐标；分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标；基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹；
[0044]机械臂，其安装于所述控制台车上，用于按照所述路径轨迹执行与所述目标操作需求对应的预设操作；以及
[0045]末端执行机构，其安装于所述机械臂的末端，用于随所述机械臂运动，按照所述路径轨迹执行与所述目标操作需求对应的预设操作。
[0046]在其中一个实施例中，所述系统还包括：立体视觉模块，安装于所述末端执行机构内部，用于随所述末端执行机构运本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人控制方法，其特征在于，所述方法包括：获取从两个不同方位对目标部位进行拍摄所得到的双目自然图像，并获取所述双目自然图像中的各关键对象的双目匹配结果，根据各所述关键对象的双目匹配结果确定视觉里程计；根据视觉里程计确定相机坐标系，并获取各所述关键对象分别在相机坐标系中的第一坐标；分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标；基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，所述路径轨迹用于控制机器人按照所述路径轨迹执行与所述目标操作需求对应的预设操作。2.根据权利要求1所述的方法，其特征在于，所述获取所述双目自然图像中的各关键对象的双目匹配结果，包括：对所述左目图像进行特征提取，以识别所述左目图像中各关键对象分别对应的左目特征点；对所述右目图像进行特征提取，以识别所述右目图像中各关键对象分别对应的右目特征点；基于双目标定参数，对至少一个左目特征点以及至少一个右目特征点进行双目匹配，得到至少一个特征点对，将至少一个特征点对作为所述双目匹配结果；所述特征点对包括一个左目特征点和一个右目特征点。3.根据权利要求1所述的方法，其特征在于，所述根据视觉里程计确定相机坐标系，包括：根据所述视觉里程计获取双目相机空间位姿信息，并根据所述双目相机空间位姿信息确定所述相机坐标系。4.根据权利要求1所述的方法，其特征在于，所述获取各所述关键对象分别在相机坐标系中的第一坐标，包括：在所述相机坐标系中，通过三角测量计算各关键对象对应的深度信息；根据所述深度信息获取各关键对象在所述相机坐标系中的三维坐标，将所述三维坐标作为所述第一坐标。5.根据权利要求1所述的方法，其特征在于，所述分别将各第一坐标转换到机器人坐标系中，得到各所述关键对象分别在机器人坐标系中的第二坐标，包括：根据双目相机和机器人的位置关系确定手眼标定参数；所述双目相机是拍摄所述双目自然图像的相机；基于所述手眼标定参数确定第一坐标转换矩阵，根据所述第一坐标转换矩阵对各第一坐标进行计算，得到与各第一坐标分别对应的第二坐标，作为各所述关键对象分别在机器人坐标系中的第二坐标。6.根据权利要求1所述的方法，其特征在于，所述基于目标操作需求获取约束条件，根据至少一个第二坐标和所述约束条件进行非线性二次规划，得到路径轨迹，包括：根据至少一个第二坐标建立轨迹函数，以及获取轨迹分段数；
对所述轨迹函数关于时间求导，得到轨迹导数通项式；根据所述轨迹分段数和所述约束条件，获取所述轨迹导数通项式对应的轨迹多项式；基于所述目标操作需求构建所述轨迹多项式的目标函数和边界条件；基于所述目标函数、所述边界条件和所述约束条件，求解所述轨迹多项式，得到所述路径轨迹。7.根据权利要求1所述的方法，其特征在于，所述方法还包括：根据所述路径轨迹控制机器人执行预设操作，所述根据所述路径轨迹控制机器人执行预设操作，包括：根据所述路径轨迹中的各第二坐标分别确定一...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：深圳微美机器人有限公司，
类型：发明
国别省市：