一种多模态数据融合的放疗位置确定方法及辅助机器人系统技术方案

本发明专利技术涉及医学图像处理领域和规划算法技术领域，更具体地，涉及一种多模态数据融合的放疗位置确定方法及辅助机器人系统。对术前和术中的影像和超声数据进行融合来重构一个实时三维模型，以便判断目前手术的进展情况；同时构建了一个术前粒子植入规划方法，在尽可能保证疗效的同时实现针数最小化，并按照术前规划的路径自主进行插植放疗。本发明专利技术能够实时地显示手术环境对应的3D模型，不仅能够知道病灶和医疗器械的实时位置情况，还可以根据实际情况对已形成的路径方案进行适当调整，帮助医生更好地完成插植放疗手术。生更好地完成插植放疗手术。生更好地完成插植放疗手术。

【技术实现步骤摘要】
一种多模态数据融合的放疗位置确定方法及辅助机器人系统


[0001]本专利技术涉及医学图像处理领域和规划算法
，更具体地，涉及一种多模态数据融合的放疗位置确定方法及辅助机器人系统。

技术介绍

[0002]现有的宫颈癌插植放疗主要还是依靠医生手动操作，通过术前的规划系统进行穿刺路径规划后，在导航的情况下，手动将粒子植入患者体内，并进行术后剂量的验证。但是一方面有受到辐射的风险，另一方面手术疗效和效率也跟医生的经验有很大的关系。
[0003]宫颈癌与肝癌等其他癌症最大的区别在于其手术环境异常狭窄给手术带来的挑战，而目前的手术方式基本还是没有实时情况反馈的人工操作，其精准性和稳定性很难得到保证，同时虽然有术前规划系统，但规划系统通常只是考虑疗效，没有将插植的针数作为一个重要因素进行考虑，没有想办法减轻患者的疼痛。而放射性粒子的植入情况都是要等手术完成后再进行CT扫描后获得，对医生的经验和能力有很高的要求，约束了这种治疗方式的推广和使用。

技术实现思路

[0004]本专利技术为克服上述现有技术中的缺陷，提供一种多模态数据融合的放疗位置确定方法及辅助机器人系统，通过建立的实时三维模型，可实时观看病灶及插植情况，为医生操作减轻了负担。
[0005]为解决上述技术问题，本专利技术采用的技术方案是：一种多模态数据融合的放疗位置确定方法，其中，包括以下步骤：
[0006]S1.利用术前的CT影像构建原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；
[0007]S2.在步骤S1所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来；
[0008]S3.根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；
[0009]S4.根据所选择插植放疗方案，将对应的靶点位置也即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，一步步执行插植放疗操作，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植，根据实时的三维模型图像，了解插植手术的进展情况和粒子植入的准确度。
[0010]本专利技术提出了基于多模态数据融合的放疗位置确定方法，对术前和术中的影像和
超声数据进行融合来重构一个实时三维模型，以便判断目前手术的进展情况；同时构建了一个术前粒子植入规划方法，在尽可能保证疗效的同时实现针数最小化，并按照术前规划的路径自主进行插植放疗。本专利技术能够实时地显示手术环境对应的3D模型，不仅能够知道病灶和医疗器械的实时位置情况，还可以根据实际情况对已形成的路径方案进行适当调整，帮助医生更好地完成插植放疗手术。
[0011]进一步的，所述的步骤S1具体包括：
[0012]S11.在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；在尽可能保持姿态不变的情况下将患者送入手术室；
[0013]S12.以放置钢丝的位置为中线，放置用于识别的二维码，并通过垂直放置的双目摄像头对患者表皮的三维图像进行采集，从而获得带有标记二维码的表层三维图像；
[0014]S13.通过标记物的匹配，将表层三维图像与原始三维模型中的表层进行融合，以原始三维模型为基础，利用目前的表层三维图像对原来的图像进行适当的覆盖或调整，从而得到基础三维模型。
[0015]进一步的，所述的步骤S2具体包括：
[0016]S21.根据步骤S1获得基础三维模型图像，通过双目摄像头、机械臂上自带的内窥镜和超声设备对场景内的仪器进行定位，并建立对应的三维模型补充到基础三维模型中，完成器械的初始定位；
[0017]S22.在手术过程中，利用双目摄像头、机械臂上自带的内窥镜和超声设备所采集到的图像进行融合，结合机械臂所执行的指令，判断机械臂尤其是针尖目前所在的位置，并实时更新到三维模型中；
[0018]S23.在手术过程中，利用放置在腹部的陀螺仪偏转的情况，估算患者体内肿瘤由于生理因素所产生的波动情况，并实时更新到三维模型中，以便可以实时判断靶点位置的波动情况。
[0019]进一步的，在所述的步骤S3中，根据粒子的活度的不同，对粒子放置的位置进行规划，使得既满足剂量的要求又能够减少所需的插植针数。
[0020]本专利技术还提供一种多模态数据融合的宫颈癌插植放疗的辅助机器人系统，包括：
[0021]配准模块：用于利用术前的CT影像作为原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准的算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；
[0022]重构模块：用于在配准模块所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来；
[0023]规划模块：用于根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；
[0024]执行模块：用于根据所选择插植放疗方案，将对应的靶点位置也即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，一步步执行插植放疗操作，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植，根据实时
的三维模型图像，了解插植手术的进展情况和粒子植入的准确度。
[0025]本专利技术提供的辅助机器人系统具有重要的商业价值，对底层实现的机器人系统并没有严格的要求，可以在多种机器人系统上使用。目前针对术前对医生进行预辅助的相关诊查手段有很多，但是能够在术中通过图像感知为医生提供实时的提示和辅助的手段却寥寥无几，本专利技术不仅能够为医生提供手术中实时的操作提示和辅助，也能通过术前的规划尽可能减少患者的病痛，并在医生的控制下完成宫颈癌插植放疗的手术，因此本专利技术具有重要意义。
[0026]进一步的，所述的配准模块包括：
[0027]原始三维模型获取单元：用于在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；并在尽可能保持姿态不变的情况下将患者送入手术室；
[0028]表层三维图像获取单元：用于以放置钢丝的位置为中线，放置用于识本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多模态数据融合的放疗位置确定方法，其特征在于，包括以下步骤：S1.利用术前的CT影像构建原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准算法将两个三维图像进行融合，从而得到目前手术室内患者病灶处附近的基础三维模型；S2.在步骤S1所形成的三维图像的基础上，通过结合摄像头、内窥镜、超声仪器三者的图像信息，来确定目前医疗器械所在的位置，并实时更新到基础三维图像中；此外，通过将陀螺仪放置在腹部，来获取腹部由于呼吸所产生的形变并分析规律，从而近似估算病灶由于身体因素所产生的位置偏移，腹部呼吸所产生的变化以及病灶位置大致的变化也同步更新到三维模型中，并显示出来；S3.根据所要求的剂量和所选择的粒子种类，根据步骤S2所提供的肿瘤及其附近的三维模型，进行插植放疗手术方案规划和对应的插植路径规划；S4.根据所选择插植放疗方案，将对应的靶点位置即机械臂针头所需到达的位置，转化为机械臂所需要执行的移动步骤，每插植完一针，需要估算因已植入的粒子而导致下一针靶点位置的偏移程度，再进行插植。2.根据权利要求1所述的多模态数据融合的放疗位置确定方法，其特征在于，所述的步骤S1具体包括：S11.在患者胸腹部处放置钢丝作为标记后，对患者进行CT扫描，获取原始三维模型；S12.以放置钢丝的位置为中线，放置用于识别的二维码，并通过垂直放置的双目摄像头对患者表皮的三维图像进行采集，从而获得带有标记二维码的表层三维图像；S13.通过标记物的匹配，将表层三维图像与原始三维模型中的表层进行融合，以原始三维模型为基础，利用目前的表层三维图像对原来的图像进行适当的覆盖或调整，从而得到基础三维模型。3.根据权利要求1所述的多模态数据融合的放疗位置确定方法，其特征在于，所述的步骤S2具体包括：S21.根据步骤S1获得基础三维模型图像，通过双目摄像头、机械臂上自带的内窥镜和超声设备对场景内的仪器进行定位，并建立对应的三维模型补充到基础三维模型中，完成器械的初始定位；S22.在插植过程中，利用双目摄像头、机械臂上自带的内窥镜和超声设备所采集到的图像进行融合，结合机械臂所执行的指令，判断机械臂尤其是针尖目前所在的位置，并实时更新到三维模型中；S23.在插植过程中，利用放置在腹部的陀螺仪偏转的情况，估算患者体内肿瘤由于生理因素所产生的波动情况，并实时更新到三维模型中，以便实时判断靶点位置的波动情况。4.根据权利要求1至3任一项所述的多模态数据融合的放疗位置确定方法，其特征在于，在所述的步骤S3中，根据粒子的活度的不同，对粒子放置的位置进行规划，使得既满足剂量的要求又能够减少所需的插植针数。5.一种多模态数据融合的放疗位置确定的辅助机器人系统，其特征在于，包括：配准模块：用于利用术前的CT影像作为原始三维模型，并通过手术室内设置的摄像头，获取患者此时的体表三维图像，并通过识别体表上预先放置的特殊标签，通过配准的算法将两个三维图像进行融合，从而得到目前手...

【专利技术属性】
技术研发人员：黄凯，陈刚，白守民，胡海，李声涛，
申请(专利权)人：中山大学孙逸仙纪念医院，
类型：发明
国别省市：