机械臂控制方法、装置、系统和存储介质制造方法及图纸

本申请涉及一种机械臂控制方法、装置、系统、存储介质和计算机程序产品。所述方法包括：采集目标对象注视显示设备的实时眼部视频；根据实时眼部视频，通过眼动跟踪，确定目标对象在显示设备中的实时注视点位置；根据实时注视点位置，确定机械臂调整模式；在机械臂调整模式为内窥镜调整模式的情况下，则根据实时注视点位置，控制内窥镜机械臂运动，直到内窥镜角度达到预设角度，并更新机械臂调整模式为工具调整模式；在机械臂调整模式为工具调整模式的情况下，则获取内窥镜的当前采集图像；根据实时注视点位置，在当前采集图像中确定目标区域；根据目标区域，控制工具机械臂运动。采用本方法能够提高机械臂控制效率。方法能够提高机械臂控制效率。方法能够提高机械臂控制效率。

【技术实现步骤摘要】
机械臂控制方法、装置、系统和存储介质


[0001]本申请涉及机器人控制
，特别是涉及一种机械臂控制方法、装置、系统、存储介质和计算机程序产品。

技术介绍

[0002]现有的机械臂控制方法往往是手动给出目标区域，再控制机械臂运动到目标区域中。然而，这种机械臂控制方法，在需要根据实际情况实时更新目标区域的场景中，存在机械臂控制效率低的问题。

技术实现思路

[0003]基于此，有必要针对现有的机械臂控制方法存在机械臂控制效率低的问题，提供一种能够提高机械臂控制效率的机械臂控制方法、装置、系统、计算机可读存储介质和计算机程序产品。
[0004]第一方面，本申请提供了一种机械臂控制方法。所述方法包括：
[0005]采集目标对象注视显示设备的实时眼部视频，显示设备用于显示内窥镜对待测区域的实时采集图像；
[0006]根据实时眼部视频，通过眼动跟踪，确定目标对象在显示设备中的实时注视点位置；
[0007]根据实时注视点位置，确定机械臂调整模式；
[0008]在机械臂调整模式为内窥镜调整模式的情况下，则根据实时注视点位置，控制内窥镜机械臂运动，直到内窥镜角度达到预设角度，并更新机械臂调整模式为工具调整模式；
[0009]在机械臂调整模式为工具调整模式的情况下，则获取内窥镜的当前采集图像；根据实时注视点位置，在当前采集图像中确定目标区域；根据目标区域，控制工具机械臂运动。
[0010]在其中一个实施例中，根据实时注视点位置，控制内窥镜机械臂运动，包括：/>[0011]判断实时注视点位置是否位于显示设备的内窥镜调整区域内；
[0012]在实时注视点位置位于内窥镜调整区域内的情况下，根据内窥镜调整区域在显示设备中的位置，确定转动角度；基于转动角度，控制内窥镜机械臂运动。
[0013]在其中一个实施例中，根据实时注视点位置，在当前采集图像中确定目标区域，包括：
[0014]获取实时注视点位置的被关注时长和被关注次数；
[0015]根据被关注时长和被关注次数，确定以实时注视点位置为中心的实时区域；
[0016]在预设时长内，任意两个时刻的实时注视点位置之间的距离在预设区域内时，将当前采集图像中，实时注视点位置对应的实时区域确定为目标区域。
[0017]在其中一个实施例中，根据目标区域，控制工具机械臂运动，包括：
[0018]根据目标区域在当前采集图像中的位置，通过显示坐标系和机器人坐标系的转换
关系，得到机器人坐标系下工具机械臂的器械末端位置；
[0019]根据器械末端位置，通过逆运动学，确定工具机械臂的各个关节扭动量；
[0020]控制工具机械臂按照各个关节扭动量进行运动。
[0021]在其中一个实施例中，根据实时眼部视频，通过眼动跟踪，确定目标对象在显示设备中的实时注视点位置，包括：
[0022]根据实时眼部视频，通过瞳孔识别，得到瞳孔位置和普尔钦斑位置；
[0023]根据瞳孔位置和普尔钦斑位置，通过标定映射函数，确定目标对象在显示设备中的实时注视点位置。
[0024]在其中一个实施例中，根据目标区域，控制工具机械臂运动，包括：
[0025]接收机械臂控制指令；
[0026]在机械臂控制指令为放大指令的情况下，将目标区域放大，并在显示设备上显示放大后的目标区域；根据放大后的目标区域，控制工具机械臂运动；
[0027]在机械臂控制指令不为放大指令的情况下，根据目标区域，控制工具机械臂运动。
[0028]第二方面，本申请还提供了一种机械臂控制装置。所述装置包括：
[0029]采集模块，用于采集目标对象注视显示设备的实时眼部视频，显示设备用于显示内窥镜对待测区域的实时采集图像；
[0030]眼动跟踪模块，用于根据实时眼部视频，通过眼动跟踪，确定目标对象在显示设备中的实时注视点位置；
[0031]模式确定模块，用于根据实时注视点位置，确定机械臂调整模式；
[0032]第一控制模块，用于在机械臂调整模式为内窥镜调整模式的情况下，则根据实时注视点位置，控制内窥镜机械臂运动，直到内窥镜角度达到预设角度，并更新机械臂调整模式为工具调整模式；
[0033]第二控制模块，用于在机械臂调整模式为工具调整模式的情况下，则获取内窥镜的当前采集图像；根据实时注视点位置，在当前采集图像中确定目标区域；根据目标区域，控制工具机械臂运动。
[0034]第三方面，本申请还提供了一种机械臂控制系统，所述系统包括：机械臂，包括内窥镜机械臂和工具机械臂；图像采集设备，用于采集目标对象注视显示设备的实时眼部视频；内窥镜，内窥镜安装于内窥镜机械臂的末端，用于采集待测区域的实时采集图像；显示设备，用于显示内窥镜对待测区域的实时采集图像；计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
[0035]采集目标对象注视显示设备的实时眼部视频，显示设备用于显示内窥镜对待测区域的实时采集图像；
[0036]根据实时眼部视频，通过眼动跟踪，确定目标对象在显示设备中的实时注视点位置；
[0037]根据实时注视点位置，确定机械臂调整模式；
[0038]在机械臂调整模式为内窥镜调整模式的情况下，则根据实时注视点位置，控制内窥镜机械臂运动，直到内窥镜角度达到预设角度，并更新机械臂调整模式为工具调整模式；
[0039]在机械臂调整模式为工具调整模式的情况下，则获取内窥镜的当前采集图像；根据实时注视点位置，在当前采集图像中确定目标区域；根据目标区域，控制工具机械臂运
动。
[0040]第四方面，本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0041]采集目标对象注视显示设备的实时眼部视频，显示设备用于显示内窥镜对待测区域的实时采集图像；
[0042]根据实时眼部视频，通过眼动跟踪，确定目标对象在显示设备中的实时注视点位置；
[0043]根据实时注视点位置，确定机械臂调整模式；
[0044]在机械臂调整模式为内窥镜调整模式的情况下，则根据实时注视点位置，控制内窥镜机械臂运动，直到内窥镜角度达到预设角度，并更新机械臂调整模式为工具调整模式；
[0045]在机械臂调整模式为工具调整模式的情况下，则获取内窥镜的当前采集图像；根据实时注视点位置，在当前采集图像中确定目标区域；根据目标区域，控制工具机械臂运动。
[0046]第五方面，本申请还提供了一种计算机程序产品。所述计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现以下步骤：
[0047]采集目标对象注视显示设备的实时眼部视频，显示设备用于显示内窥镜对待测区域的实时采集图像；
[0048]根据实时眼部视频，通过眼动跟踪，确定目标对象在显示设备中的实时注视点位置；本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机械臂控制方法，其特征在于，所述方法包括：采集目标对象注视显示设备的实时眼部视频，所述显示设备用于显示内窥镜对待测区域的实时采集图像；根据所述实时眼部视频，通过眼动跟踪，确定所述目标对象在显示设备中的实时注视点位置；根据所述实时注视点位置，确定机械臂调整模式；在所述机械臂调整模式为内窥镜调整模式的情况下，则根据所述实时注视点位置，控制内窥镜机械臂运动，直到内窥镜角度达到预设角度，并更新所述机械臂调整模式为工具调整模式；在所述机械臂调整模式为所述工具调整模式的情况下，则获取内窥镜的当前采集图像；根据所述实时注视点位置，在所述当前采集图像中确定目标区域；根据所述目标区域，控制工具机械臂运动。2.根据权利要求1所述的方法，其特征在于，所述根据所述实时注视点位置，控制内窥镜机械臂运动，包括：判断所述实时注视点位置是否位于所述显示设备的内窥镜调整区域内；在所述实时注视点位置位于所述内窥镜调整区域内的情况下，根据所述内窥镜调整区域在所述显示设备中的位置，确定转动角度；基于所述转动角度，控制内窥镜机械臂运动。3.根据权利要求1所述的方法，其特征在于，所述根据所述实时注视点位置，在所述当前采集图像中确定目标区域，包括：获取所述实时注视点位置的被关注时长和被关注次数；根据所述被关注时长和所述被关注次数，确定以所述实时注视点位置为中心的实时区域；在预设时长内，任意两个时刻的实时注视点位置之间的距离在预设区域内时，将所述当前采集图像中，所述实时注视点位置对应的实时区域确定为目标区域。4.根据权利要求1所述的方法，其特征在于，所述根据所述目标区域，控制工具机械臂运动，包括：根据所述目标区域在所述当前采集图像中的位置，通过显示坐标系和机器人坐标系的转换关系，得到机器人坐标系下工具机械臂的器械末端位置；根据所述器械末端位置，通过逆运动学，确定所述工具机械臂的各个关节扭动量；控制所述工具机械臂按照各个关节扭动量进行运动。5.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述实时眼部视频，通过眼动跟踪，确定所述目标对象在显示设备中的实时注视点位置，包括：根据所述实时眼部视频，通过瞳孔识别，得到瞳孔位置和普尔钦斑位置；根据...

【专利技术属性】
技术研发人员：请求不公布姓名，
申请(专利权)人：上海微创医疗机器人集团股份有限公司，
类型：发明
国别省市：