一种医疗机器人及其自动避障方法技术

本发明专利技术提供一种医疗机器人的及其自动避障方法，该方法包括：利用图像采集设备获取手术场景的二维图像数据以及三维点云数据；将所述二维图像数据输入二维语义分割网络中，得到障碍物的二维像素点；根据所述障碍物的二维像素点，结合所述二维图像数据与所述三维点云数据中像素点的对应关系，在所述三维点云数据中确定出障碍物的三维点云，根据所述障碍物的三维点云，确定机械臂的安全运动路径。本发明专利技术利用二维语义分割网络快速分割出了二维图像数据中的障碍物像素点，根据图像采集过程中二维图像数据与所述三维点云数据中像素点的对应关系，对应确定出三维点云中的障碍物点云，减少了点云分割过程的数据处理量，可以快速高效地规划避障路径。地规划避障路径。地规划避障路径。

【技术实现步骤摘要】
一种医疗机器人及其自动避障方法


[0001]本专利技术涉及人工智能
，尤其涉及一种医疗机器人及其自动避障方法。

技术介绍

[0002]神经外科手术机器人，也被成为神经外科手术定位导航系统，在辅助神经外科手术方面得到了越来越多的应用，其在各种微创手术中通常用于辅助定位，通过机械臂和末端的执行器为手术器械的植入提供入路、并提供稳定的位置支撑和通道引导。然而，通过机械臂的运动将末端执行器移动到所需的空间位置时，由于手术场景复杂，具有各种各样的障碍物妨碍，如何让机械臂绕开障碍物，通过安全的运动路径到达指定位置，是有待解决的问题，现有技术通常通过手工拖拽来将机械臂移动到指定的空间位姿，但是该方法通常需要多次尝试，操作复杂，耗时长，对体力损耗也较大，因此需要一种为机械臂规划安全路径，自动运动至所需位置的方法，提高效率，保证安全。

技术实现思路

[0003]本专利技术提供一种医疗机器人的及其自动避障方法，用以解决现有技术中医疗机器人的机械臂不能够有效地规避障碍物的缺陷，实现高效自动避障。
[0004]本专利技术提供一种医疗机器人的自动避障方法，包括：
[0005]利用图像采集设备获取手术场景的二维图像数据以及三维点云数据；
[0006]将所述二维图像数据输入二维语义分割网络中，得到障碍物的二维像素点；
[0007]根据所述障碍物的二维像素点，结合所述二维图像数据与所述三维点云数据中像素点的对应关系，在所述三维点云数据中确定出障碍物的三维点云；
[0008]根据所述障碍物的三维点云，确定机械臂的安全运动路径。
[0009]根据本专利技术提供的一种医疗机器人的自动避障方法，所述手术场景的二维图像数据以及三维点云数据通过如下方式获取：
[0010]利用所述图像采集设备拍摄手术场景，获取第一位置姿态下的二维图像数据；
[0011]利用所述图像采集设备拍摄投影了编码图案的手术场景，获取第一位置姿态下的编码图像数据；
[0012]根据所述编码图像数据，生成所述第一位置姿态下的三维点云。
[0013]根据本专利技术提供的一种医疗机器人的自动避障方法，所述手术场景的二维图像数据以及三维点云数据通过如下方式获取：
[0014]利用所述图像采集设备拍摄手术场景，获取第二位置姿态下的多个相机视角的二维图像数据；
[0015]并根据多个相机视角的二维图像数据，以及所述多个相机的标定参数生成所述第二位置姿态下的三维点云。
[0016]根据本专利技术提供的一种医疗机器人的自动避障方法，还包括：
[0017]参照获取多个位置姿态下的三维点云，并进行融合，得到所述手术场景的三维点
云数据。
[0018]根据本专利技术提供的一种医疗机器人的自动避障方法，所述根据所述障碍物的二维像素点，结合所述二维图像数据与所述三维点云数据中像素点的对应关系，在所述三维点云数据中确定出障碍物的三维点云，包括：
[0019]对于每一位姿采集到的二维图像数据，根据所述二维图像数据与所述三维点云数据中像素点的对应关系，将每一位姿的二维图像数据中的障碍物二维像素点对应到三维点云数据中，得到相应位姿下的障碍物的部分三维点云；其中，所述二维图像数据包括多个位置姿态采集到的二维图像数据；
[0020]将各位姿对应确定出的障碍物的部分三维点云进行融合，得到融合后的所述障碍物的三维点云。
[0021]根据本专利技术提供的一种医疗机器人的自动避障方法，在所述将各位姿对应确定出的障碍物的部分三维点云进行融合，得到融合后的所述障碍物的三维点云之后，方法还包括：
[0022]将所述障碍物的三维点云与标签障碍物模型进行匹配；
[0023]在匹配度大于预设阈值的情况下，根据所述标签障碍物模型补全所述障碍物的三维点云。
[0024]根据本专利技术提供的一种医疗机器人的自动避障方法，在所述将各位姿对应确定出的障碍物的部分三维点云进行融合，得到所述障碍物的三维点云之后，方法还包括：
[0025]根据预设的空间特征约束条件，补全所述障碍物的三维点云。
[0026]根据本专利技术提供的一种医疗机器人的自动避障方法，所述根据所述障碍物的三维点云，确定机械臂的安全运动路径，包括：
[0027]根据所述图像采集设备坐标系与机械臂坐标系之间的坐标转换关系，将所述障碍物的三维点云转换至所述机械臂坐标系；
[0028]根据所述机械臂坐标系下的障碍物的三维点云，确定出所述机械臂的安全运动路径。
[0029]根据本专利技术提供的一种医疗机器人的自动避障方法，所述根据所述机械臂坐标系下的障碍物的三维点云，确定出所述机械臂的安全运动路径，包括：
[0030]确定所述机械臂的运动范围，并与机械臂坐标系下所述障碍物的三维点云求交集；
[0031]根据所述交集，确定出所述机械臂的安全运动路径。
[0032]根据本专利技术提供的一种医疗机器人的自动避障方法，所述确定出所述机械臂的安全运动路径，包括：
[0033]生成多条运动路径，并根据所述机械臂坐标系下的障碍物的三维点云剔除碰撞路径，得到所述安全运动路径；或，
[0034]直接根据所述机械臂坐标系下的障碍物的三维点云生成无碰撞的安全运动路径；
[0035]其中，所述安全运动路径包括多条无碰撞的运动路径，或具体为一条最优的无碰撞的运动路径。
[0036]根据本专利技术提供的一种医疗机器人的自动避障方法，根据所述机械臂坐标系下的障碍物的三维点云，确定出所述机械臂的安全运动路径，包括：
[0037]将所述机械臂坐标系下的障碍物的三维点云向外拓展预设安全距离，得到所述障碍物的拓展三维点云；
[0038]根据所述拓展三维点云，确定出所述机械臂的安全运动路径。
[0039]根据本专利技术提供的一种医疗机器人的自动避障方法，在所述将所述手术场景数据输入语义分割网络中，得到障碍物的三维点云之后，方法还包括：
[0040]在显示设备中将所述障碍物以第一预设显示方式进行显示。
[0041]本专利技术还提供一种医疗机器人的自动避障装置，包括：
[0042]接收模块，用于通过图像采集设备获取手术场景的二维图像数据以及三维点云数据；
[0043]二维分割模块，用于将所述二维图像数据输入二维语义分割网络中，得到障碍物的二维像素点；
[0044]点云分割模块，用于根据所述障碍物的二维像素点，结合所述二维图像数据与所述三维点云数据中像素点的对应关系，在所述三维点云数据中确定出障碍物的三维点云；
[0045]规划模块，用于根据所述障碍物的三维点云，确定机械臂的安全运动路径。
[0046]根据本专利技术提供的一种医疗机器人的自动避障装置，还包括：
[0047]第一获取模块，用于利用所述图像采集设备拍摄手术场景，获取第一位置姿态下的二维图像数据；
[0048]第二获取模块，用于利用所述图像采集设备拍摄投影了编码图案的手术场景，获取第一位置姿态下的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种医疗机器人的自动避障方法，其特征在于，包括：利用图像采集设备获取手术场景的二维图像数据以及三维点云数据；将所述二维图像数据输入二维语义分割网络中，得到障碍物的二维像素点；根据所述障碍物的二维像素点，结合所述二维图像数据与所述三维点云数据中像素点的对应关系，在所述三维点云数据中确定出障碍物的三维点云；根据所述障碍物的三维点云，确定机械臂的安全运动路径。2.根据权利要求1所述的医疗机器人的自动避障方法，其特征在于，所述手术场景的二维图像数据以及三维点云数据通过如下方式获取：利用所述图像采集设备拍摄手术场景，获取第一位置姿态下的二维图像数据；利用所述图像采集设备拍摄投影了编码图案的手术场景，获取第一位置姿态下的编码图像数据；根据所述编码图像数据，生成所述第一位置姿态下的三维点云。3.根据权利要求1所述的医疗机器人的自动避障方法，其特征在于，所述手术场景的二维图像数据以及三维点云数据通过如下方式获取：利用所述图像采集设备拍摄手术场景，获取第二位置姿态下的多个相机视角的二维图像数据；并根据多个相机视角的二维图像数据，以及所述多个相机的标定参数生成所述第二位置姿态下的三维点云。4.根据权利要求2或3所述的医疗机器人的自动避障方法，其特征在于，方法还包括：参照获取多个位置姿态下的三维点云，并进行融合，得到所述手术场景的三维点云数据。5.根据权利要求1至4任一项所述的医疗机器人的自动避障方法，其特征在于，所述根据所述障碍物的二维像素点，结合所述二维图像数据与所述三维点云数据中像素点的对应关系，在所述三维点云数据中确定出障碍物的三维点云，包括：对于每一位姿采集到的二维图像数据，根据所述二维图像数据与所述三维点云数据中像素点的对应关系，将每一位姿的二维图像数据中的障碍物二维像素点对应到三维点云数据中，得到相应位姿下的障碍物的部分三维点云；其中，所述二维图像数据包括多个位置姿态采集到的二维图像数据；将各位姿对应确定出的障碍物的部分三维点云进行融合，得到融合后的所述障碍物的三维点云。6.根据权利要求5所述的医疗机器人的自动避障方法，其特征在于，在所述将各位姿对应确定出的障碍物的部分三维点云进行融合，得到融合后的所述障碍物的三维点云之后，方法还包括：将所述障碍物的三维点云与标签障碍物模型进行匹配；在匹配度大于预设阈值的情况下，根据所述标签障碍物模型补全所述障碍物的三维点云。7.根据权利要求5所述的医疗机器人的自动避障方法，其特征在于，在所述将各位姿对应确定出的障碍物的部分三维点云进行融合，得到所述障碍物的三维点云之后，方法还包括：
根据预设的空间特征约束条件，补全所述障碍物的三维点云。8.根据所述权利要求1所述...

【专利技术属性】
技术研发人员：旷雅唯，刘文博，张文露，
申请(专利权)人：华科精准北京医疗科技有限公司，
类型：发明
国别省市：