一种基于RGB‑D传感器的机器人辅助超声扫描系统技术方案

一种基于RGB‑D传感器的机器人辅助超声扫描系统，包括Kinect传感器、机器人、超声探头、标示物和主机，其特征是：以Kinect传感器作为机器人的视觉伺服系统，在机器人机械臂上夹持超声探头，在超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和深度图像的采集，并将图像传给主机，由主机完成图像拼接、图像三维重构等处理，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，再由主机发出对机器人的控制指令,控制机器人的机械臂到达指定位置进行超声扫描操作。具有结构合理,性能可靠,自动化程度高,检测效率高，成本低等优点。

【技术实现步骤摘要】
一种基于RGB-D传感器的机器人辅助超声扫描系统
本专利技术涉及光电
，是一种集计算机视觉技术、计算机辅助医疗技术、机器人控制理论于一体的基于RGB-D传感器的机器人辅助超声扫描系统。能够实现机器人辅助的超声扫描操作，用于辅助医疗器械研发、血液循环、医疗影像研究及培训医生。
技术介绍
机器人辅助诊断和治疗一直是国际上医疗领域内的研究热点，很多研究机构一直致力于利用机器人技术的高准确度、高灵敏度、可规划性及可操作性，为患者提供微创和精细的诊断和治疗。目前已经有daVinci、RoboDoc等多套机器人系统应用于临床中，还有各种解决不同临床问题的机器人处于在研发之中。超声扫描机器人(RUS，RobotsUltrasound)是利用机器人或者机械臂、视觉伺服系统、空间定位设备及工作站进行机器人辅助超声扫描的系统，通过视觉伺服系统的定位，引导机械臂到达指定的位置执行超声扫描操作。视觉伺服系统在机器人辅助超声扫描系统中占据着非常重要的地位。在机器人辅助医疗领域，如何正确定位机器人手臂的位置和动作、并回馈位置信息进行机器人控制及规划机器人路径，是实现机器人辅助外科手术的关键。基于图像的视觉伺服采用误差信号定义在图像特征空间的方式，通过图像采集、特征提取等一系列图像处理方法对机械臂进行定位、导航，进而实现机器人控制。目前，很多超声图像的采集仍然由医生全程手工操作，为了准确评估病患罹患疾病的风险和发展情况，超声医师需要连续工作数小时以上才能完成对患者的超声扫描检查，无法满足我国巨大的患者基数的需求。由于全面扫描的工作量比较繁重，所以超声医师往往仅根据经验选择扫描几个关键位置来完成超声图像的采集及诊断工作。这种以点带面的做法直接导致严重的漏检风险，阻碍了疾病的早期诊断。采用机器人来辅助超声扫描主要目的是希望通过机器人的精准操作把医生从繁重的劳动中解放出来，把注意力集中到更高层次的决策方面。目前常用的超声机器人定位导航系统主要是基于光学的跟踪系统，主要有NDI公司的Polaris系统、Optotrack系统和双目视觉系统等，目前的定位导航系统在医疗机器人导航领域已经得到广泛应用。光学跟踪系统的优势是精度高、定位迅速和稳定，但是跟踪器与标识物之间的光学可视路径易受术中物体的遮挡，也无法跟踪靶目标的形貌，而且价格昂贵。针对以上问题，本专利技术采用一种用户级别的3D测量仪——微软公司开发的Kinect传感器——作为视觉伺服系统，采用图像拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。本专利技术是针对超声检测特殊且紧迫的临床需求，对人机协同操作方式的全新探索，有望大大提高病患的检出率，提升检测效率，降低劳动强度，减少系统成本，为国民的健康护航，造福百万患者群体。
技术实现思路
针对目前超声检测时间长、劳动繁重等问题，提出了一种基于RGB-D传感器的机器人辅助超声扫描系统，集合计算机视觉技术、计算机辅助医疗技术和机器人控制理论，采用图像拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。本专利技术的目的是依据以下技术方案实现的：一种基于RGB-D传感器的机器人辅助超声扫描系统，它包括Kinect传感器、机器人、超声探头、标示物和主机，其特征在于：以所述的Kinect传感器作为机器人的视觉伺服系统，在所述的机器人机械臂上夹持所述的超声探头，在所述的超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和点云深度图像的采集，并将RGB彩色图像和深度图像传给主机，由主机完成图像的3D拼接、3D重构处理，获得物体的3D位置信息，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作。所述的基于RGB-D传感器的机器人辅助超声扫描系统，其特征在于：所述的超声探头采用二维线性超声探头。本专利技术提出的基于RGB-D的机器人辅助超声扫描系统，采用图像3D拼接及图像重构等技术，实时计算超声探头的3D形貌和位姿，并将当前探头位姿信息及解算出的控制指令发给机器人，以控制及引导机器人夹持超声探头到达指定位置，实现机器人辅助超声扫描的目的。具有结构合理,性能可靠,自动化程度高,检测效率高，成本低等优点。附图说明图1为基于RGB-D视觉伺服的机器人辅助超声扫描系统的组成框图；图2为基于RGB-D视觉伺服的机器人辅助超声扫描系统的工作流程图；图3为图像拼接及三维重构处理流程图。具体实施方式下面利用附图和实施例对本专利技术作进一步说明。参考图1，本专利技术的一种基于RGB-D传感器的机器人辅助超声扫描系统，包括Kinect传感器11、机器人12、超声探头13、标识物14和主机15。采用Kinect传感器11进行超声探头13和标识物14的RGB彩色图像和深度图像的采集，并将图像信息传给主机15，由主机15进行诸如图像3D拼接及图像重构等处理，并实时计算的超声探头13的3D形貌和位姿，处理结束后，将当前探头14位姿信息及解算出的控制指令发给机器人12，以控制及引导机器人12夹持超声探头13到达指定位置，实现机器人辅助超声扫描的目的。参考图2，本专利技术的一种基于RGB-D传感器的机器人辅助超声扫描系统，整个工作过程分为术前规划和术中操作两部分。术前规划主要是采用Kinect传感器将实时获取的RGB图像和深度图像经过相机标定、图像预处理、图像分割和标识物提取等图像处理后，将医生事先规划好的预扫描3D位置传给机器人，并结合机器人轨迹规划确定机器人的扫描路径；术中操作过程需要对Kinect传感器的坐标系与机器人坐标系进行实时的坐标配准，并实时计算超声探头的3D位姿，以便对机械臂进行导航、引导，机械臂夹持超声探头沿着术前规划好的路径进行超声扫描，Kinect传感器对机器人的运动位置进行视觉反馈，控制机器人从初始位置运动到扫描点处，由视觉系统计算出的探头与患者下肢表面的距离来控制超声探头的挤压深度，并保证超声图像的质量及操作的安全性。参考图3，本专利技术的一种基于RGB-D传感器的机器人辅助超声扫描系统，从Kinect传感器进行超声探头和标识物的RGB图像和深度图像的采集，并将图像信息传给主机，由主机进行诸如图像拼接及图像重构等处理，并实时计算的超声探头的3D形貌和位姿，其中涉及的图像拼接及三维重构处理流程为：首先，从采集的RGB彩色图像中，提取出标识物的特征，生成彩色图像的特征集合；其次，为了实现特征点云数据的自动提取，对点云图像进行深度分割，提取目标区域的点云数据，采用最小二乘拟合方法将目标区域点云投影到深度图像平面上，在深度图像模板中提取深度图像中的目标的特征点；然后，将深度图像中的特征点映射到目标区域的点云中，形成特征点云；最后，将特征点云与彩色图像的特征点集合进行特征配准，实现图像拼接及重构操作，并得到标识物的3D空间坐标，并根据几帧图像间的标识物的空间坐标值，计算出标识物的位本文档来自技高网...

【技术保护点】
一种基于RGB‑D传感器的机器人辅助超声扫描系统，它包括Kinect传感器、机器人、超声探头、标示物和主机，其特征在于：以所述的Kinect传感器作为机器人的视觉伺服系统，在所述的机器人机械臂上夹持所述的超声探头，在所述的超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和点云深度图像的采集，并将RGB彩色图像和深度图像传给主机，由主机完成图像的3D拼接、3D重构处理，获得物体的3D位置信息，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作。

【技术特征摘要】
1.一种基于RGB-D传感器的机器人辅助超声扫描系统，它包括Kinect传感器、机器人、超声探头、标示物和主机，以所述的Kinect传感器作为机器人的视觉伺服系统，在所述的机器人机械臂上夹持所述的超声探头，在所述的超声探头上固定标示物，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行实时识别和定位，根据识别定位结果计算超声探头位姿，再通过Kinect坐标系与机器人坐标系的配准，获得机器人的空间位置信息，最后由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作，其特征在于：采用标示物的方法实时计算超声探头的...

【专利技术属性】
技术研发人员：孟勃，
申请(专利权)人：东北电力大学，
类型：发明
国别省市：吉林;22