手术机器人的全自动注册方法及手术机器人技术

本发明专利技术提供一种手术机器人的全自动注册方法及手术机器人，该方法包括：将图像采集设备调整至初始位姿，获取初始位姿下的二维图像及三维点云；对初始位姿下获取的二维图像进行语义分割，并结合二维图像与三维点云中像素点的对应关系，得到初始位姿下获取的三维点云的分割结果；根据初始位姿下采集的三维点云的分割结果确定目标对象和障碍物的空间位置，基于目标对象和障碍物的空间位置确定图像采集设备的一组采集位姿；调整图像采集设备至采集位姿分别采集三维点云，并将各位姿采集到的三维点云进行融合，得到融合三维点云；将融合三维点云与医学影像模型进行配准，完成注册。本发明专利技术提高了患者注册精度，提升了智能化程度，降低了医生的工作负担。低了医生的工作负担。低了医生的工作负担。

【技术实现步骤摘要】
手术机器人的全自动注册方法及手术机器人


[0001]本专利技术涉及医疗器械
，尤其涉及一种手术机器人的全自动注册方法及手术机器人。

技术介绍

[0002]患者注册是指将患者空间与医学影像空间建立对应关系，便于将规划手术路径等映射到患者空间、将手术器械映射至医学影像空间等等，为医生提供信息参考。
[0003]现有技术中，一些医疗机器人系统将图像采集设备安装在机械臂末端，需要通过医生手工拖拽机械臂进行注册，具体的，拖拽机械臂到合适的位姿，使得图像采集设备能够采集到患者数据，然后采集点云信息进行注册。
[0004]现有技术中的患者注册过程，步骤复杂，给医生带来了额外的工作负担，培训周期长，没有经历培训的医师的学习曲线陡峭，容易产生抗拒心理，不利于医疗机器人系统的普及使用，为了减轻医生的工作负担，使得医生专注于手术的核心步骤，本专利技术提供一种全自动患者注册方法及医疗机器人系统。

技术实现思路

[0005]本专利技术提供一种手术机器人的全自动注册方法及手术机器人，用以解决现有技术中患者注册效率较低，注册精度不高的缺陷。
[0006]本专利技术提供一种手术机器人的全自动注册方法，包括：
[0007]S11、将图像采集设备调整至初始位姿，获取所述初始位姿下的二维图像及三维点云；其中，所述图像采集设备设置成通过所述机械臂调整位姿；
[0008]S12、对所述初始位姿下获取的二维图像进行语义分割，并结合二维图像与三维点云中像素点的对应关系，得到所述初始位姿下获取的三维点云的分割结果；
[0009]S13、根据所述初始位姿下采集的三维点云的分割结果确定目标对象的空间位置，基于所述目标对象的空间位置确定所述图像采集设备的一组采集位姿；
[0010]S14、调整所述图像采集设备至所述采集位姿分别采集三维点云，并将各位姿采集到的三维点云进行融合，得到融合三维点云；
[0011]S15、将所述融合三维点云与医学影像模型进行配准，完成注册。
[0012]根据本专利技术提供的一种全自动患者注册方法，所述将图像采集设备调整至初始位姿，包括：
[0013]通过所述图像采集设备在第一位姿获取二维图像，对所述第一位姿下获取的二维图像进行语义分割，并判断分割结果中是否包含至少部分的目标对象，如果包含了至少部分的目标对象，则将所述第一位姿作为所述初始位姿，如果不包含至少部分的目标对象，则将所述图像采集设备从所述第一位姿调整至第二位姿，再次获取二维图像，进行语义分割与判断，直至包含至少部分的目标对象为止，将此时的位姿作为所述初始位姿。
[0014]根据本专利技术提供的一种全自动患者注册方法，在分割结果中仅包含部分的目标对
象的情况下，进一步调整所述图像采集设备的位姿，直至获取到的图像数据的分割结果中包含完整的目标对象，将此时的位姿作为所述初始位姿。
[0015]根据本专利技术提供的一种全自动患者注册方法，所述将图像采集设备调整至初始位姿，还包括：在所述分割结果中不包含目标对象的情况下，则判断所述分割结果中是否包含关联对象，结合所述关联对象与所述目标对象之间的潜在位置关系，将所述图像采集设备从所述第一位姿调整至第三位姿。
[0016]根据本专利技术提供的一种全自动患者注册方法，在所述步骤S11之前，还包括：
[0017]在台车的初始位置下，通过图像采集设备获取图像数据，识别所述图像数据中的关联对象和/或目标对象，并确定所述台车所需到达的目标位置，控制动力结构带动所述台车移动到所述目标位置，并通过支撑结构将所述台车固定在所述目标位置；其中，所述机械臂设置在所述台车上。
[0018]根据本专利技术提供的一种全自动患者注册方法，在所述步骤S11之前，方法还包括：
[0019]在台车的初始位置下，通过图像采集设备获取图像数据，识别所述图像数据中的固定结构的标识，并确定所述台车与所述固定结构的标识的相对位置关系，控制动力结构带动所述台车移动到目标位置，通过连接结构将所述台车与所述固定结构相对固定；其中，所述机械臂设置在所述台车上，所述固定结构设置在病床上。
[0020]根据本专利技术提供的一种全自动患者注册方法，在通过图像采集设备获取图像数据之后，方法还包括：
[0021]在所述图像数据的分割结果中不包含关联对象、目标对象、固定结构的标识中的任意一个的情况下，调整所述图像采集设备的位姿，直至调整后的位姿下采集到的图像数据的分割结果中包含所述关联对象、目标对象、固定结构的标识中的至少一个。
[0022]根据本专利技术提供的一种全自动患者注册方法，所述图像采集设备为结构光点云采集器、双目相机或多目相机。
[0023]根据本专利技术提供的一种全自动患者注册方法，所述步骤S12，包括：
[0024]根据初始位姿下采集的二维图像与三维点云中像素点的对应关系，将所述初始位姿下二维图像的分割结果中的目标对象像素点对应到该位姿下的三维点云中，得到所述初始位姿下的目标对象点云，将所述初始位姿下二维图像的分割结果中的障碍物像素点对应到所述初始位姿下的三维点云中，得到所述初始位姿下的障碍物点云。
[0025]根据本专利技术提供的一种全自动患者注册方法，所述步骤S13，包括：
[0026]以所述初始位姿下的目标对象点云作为感兴趣区域，所述初始位姿下的障碍物点云为规避区域，确定预设数量的采集位姿；
[0027]或，
[0028]以所述初始位姿下的目标对象点云作为感兴趣区域，所述初始位姿下的障碍物点云为规避区域，确定下一采集位姿；并将该位姿采集到的点云融合至所述初始位姿下采集的三维点云中，在当前融合后的三维点云的基础上确定下一采集位姿，参照上述过程，迭代确定各采集位姿。
[0029]根据本专利技术提供的一种全自动患者注册方法，所述步骤S14，包括：
[0030]根据第三位姿下机械臂的姿态信息，将所述第三位姿下的三维点云转换至机械臂基座坐标系；其中，所述第三位姿是所述图像采集设备的一组采集位姿中的任意一个；
[0031]参照获取各位姿下的三维点云，并在所述机械臂基座坐标系中进行融合，得到所述融合三维点云。
[0032]根据本专利技术提供的一种全自动患者注册方法，所述步骤S14，包括：
[0033]对于第四位姿下采集的三维点云，根据所述第四位姿下采集的二维图像的分割结果，结合所述第四位姿下二维图像与三维点云中像素点的对应关系，从所述第四位姿采集的三维点云中确定出所述第四位姿下的目标对象点云；其中，所述第四位姿是所述图像采集设备的一组采集位姿中的任意一个；
[0034]根据所述第四位姿下机械臂的姿态信息，将所述第四位姿下的目标对象点云转换至机械臂基座坐标系；
[0035]参照获取各位姿下的目标对象点云，并在所述机械臂基座坐标系中进行融合，得到所述融合后的目标对象点云；
[0036]相应地，所述步骤S15，包括：将所述融合后的目标对象点云与医学影像模型进行配准，完成注册。
[0037]本专利技术还提供一种本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手术机器人的全自动注册方法，其特征在于，包括：S11、将图像采集设备调整至初始位姿，获取所述初始位姿下的二维图像及三维点云；其中，所述图像采集设备设置成通过机械臂调整位姿；S12、对所述初始位姿下获取的二维图像进行语义分割，并结合二维图像与三维点云中像素点的对应关系，得到所述初始位姿下获取的三维点云的分割结果；S13、根据所述初始位姿下采集的三维点云的分割结果确定目标对象和障碍物的空间位置，基于所述目标对象和障碍物的空间位置确定所述图像采集设备的一组采集位姿；S14、调整所述图像采集设备至所述采集位姿分别采集三维点云，并将各位姿采集到的三维点云进行融合，得到融合三维点云；S15、将所述融合三维点云与医学影像模型进行配准，完成注册。2.根据权利要求1所述的一种手术机器人的全自动注册方法，其特征在于，所述将图像采集设备调整至初始位姿，包括：通过所述图像采集设备在第一位姿获取二维图像，对所述第一位姿下获取的二维图像进行语义分割，并判断分割结果中是否包含至少部分的目标对象，如果包含了至少部分的目标对象，则将所述第一位姿作为所述初始位姿，如果不包含至少部分的目标对象，则将所述图像采集设备从所述第一位姿调整至第二位姿，再次获取二维图像，进行语义分割与判断，直至包含至少部分的目标对象为止，将此时的位姿作为所述初始位姿。3.根据权利要求1所述的一种手术机器人的全自动注册方法，其特征在于，在所述步骤S11之前，还包括：在台车的初始位置下，通过图像采集设备获取图像数据，识别所述图像数据中的关联对象和/或目标对象，并确定所述台车所需到达的目标位置，控制动力结构带动所述台车移动到所述目标位置，并通过支撑结构将所述台车固定在所述目标位置；其中，所述机械臂设置在所述台车上。4.根据权利要1所述的一种手术机器人的全自动注册方法，其特征在于，在所述步骤S11之前，方法还包括：在台车的初始位置下，通过图像采集设备获取图像数据，识别所述图像数据中的固定结构的标识，并确定所述台车与所述固定结构的标识的相对位置关系，控制动力结构带动所述台车移动到目标位置，通过连接结构将所述台车与所述固定结构相对固定；其中，所述机械臂设置在所述台车上，所述固定结构设置在病床上。5.根据权利要求3或4任一项所述的手术机器人的全自动注册方法，其特征在于，在通过图像采集设备获取图像数据之后，方法还包括：在所述图像数据的分割结果中不包含关联对象、目标对象、固定结构的标识中的任意一个的情况下，调整所述图像采集设备的位姿，直至调整后的位姿下采集到的图像数据的分割结果中包含所述关联对象、目标对象、固定结构的标识中的至少一个。6.根据权利要求1所述的一种手术机器人的全自动注册方法，其特征在于，所述图像采集设备为结构光点云采集器、双目相机或多目相机。7.根据权利要求1所述的一种手术机器人的全自动注册方法，其特征在于，所述步骤S12，包括：根据初始位姿下采集的二维图像与三维点云中像素点的对应关系，将所述初始位姿下
二维图像的分割结果中的目标对象像素点对应到该位姿下的三维点云中，得到所述初始位姿下的目标对象点云，将所述初...

【专利技术属性】
技术研发人员：解虎涛，张建国，杨岸超，张泉，
申请(专利权)人：华科精准北京医疗科技有限公司，
类型：发明
国别省市：