用于构建远程介入手术室的三维数字孪生系统的装置制造方法及图纸

本申请涉及用于构建远程介入手术室的三维数字孪生系统的装置，装置包括处理器和多个图像采集设备，多个图像采集设备配置为：实时地采集手术室内的不同角度的实景图像，并实时地将实景图像发送给处理器，其中，手术室中包含待进行远程介入手术的患者；处理器配置为：基于实景图像构建手术室的三维数字孪生系统，其中，三维数字孪生系统中包括基于待进行远程介入手术的患者而构建的三维患者模型，三维患者模型包含与人体部位相关联的多个关键点信息；基于三维患者模型，结合关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在三维患者模型对应的部分。因此能够增加用户的真实感和临场感，能够更好地做出判断，提高手术成功率和准确率。功率和准确率。功率和准确率。

【技术实现步骤摘要】
用于构建远程介入手术室的三维数字孪生系统的装置


[0001]本申请涉及血管介入手术
，更具体地，涉及用于构建远程介入手术室的三维数字孪生系统的装置。

技术介绍

[0002]传统的心脑血管介入手术是由用户手动将导管、导丝以及支架等器械送入病患体内来完成治疗的过程。但是在传统的血管介入手术进行过程中，由于手术室内的DSA设备（数字减影血管造影机）会发出X射线，可能使得处于手术室内的医生体力下降较快，注意力及稳定性也会下降，可能会导致操作精度下降，容易发生因推送力不当引起的血管内膜损伤、血管穿孔破裂等事故，导致病人生命危险。其次，长期电离辐射的积累伤害也会大幅地增加用户患白血病、癌症以及急性白内障的几率。由于医生经常从事介入手术，导致不断积累射线的现象，已经成为损害医生职业生命和制约介入手术发展的不可忽视的问题。
[0003]通过借助机器人技术能够有效应对上述问题，可以大幅提高手术操作的精度与稳定性，同时能够有效降低放射线对介入用户的伤害，降低术中事故的发生几率。借助机器人的血管介入手术中，机器人位于手术室内，医生位于手术室外，医生在远端可以通过远程控制介入机器人和DSA进行异地远程手术。但在异地远程手术中，用户无法得知病人和各个医疗设备之间的位置关系，缺少空间概念，难以进行准确操作，因此在操作DSA或机器人的过程中，对于患者和医护人员没有保护措施，有可能误碰到病人或助手，严重的可能造成医疗事故。而且因为在异地远程手术中，在远端的医生对导管室环境和病人、医疗设备等信息无法实时、充分地掌握，临床体验感较差，操作过程需要非常谨慎，由此可能导致手术效率降低。

技术实现思路

[0004]提供了本申请以解决现有技术中存在的上述问题。需要用于构建远程介入手术室的三维数字孪生系统的装置，能够使得远程的介入手术医生实时、准确地获知手术室内的环境、医疗设备和人员的动态变化，并且在执行手术时能够真实地感受到与患者手术部位的准确关联，由此避免由于手术操作产生医疗设备与手术室内的医疗人员或患者误碰撞而导致的不良影响，提高远程介入手术操作的安全性，减轻手术医生的心理负担，降低医疗事故率，同时增强用户在远程手术操作时的真实感和临床体验感，提高手术成功率和效率，缩短手术时间。
[0005]根据本申请的第一方案，提供了用于构建远程介入手术室的三维数字孪生系统的装置，所述数字孪生系统包括处理器和多个图像采集设备。所述多个图像采集设备配置为：实时地采集手术室内的不同角度的实景图像，并实时地将所述实景图像发送给所述处理器，其中，所述手术室中包含待进行远程介入手术的患者。所述处理器配置为：基于所述实景图像构建所述手术室的三维数字孪生系统，其中，所述三维数字孪生系统中包括基于待进行远程介入手术的患者而构建的三维患者模型，所述三维患者模型包含与人体部位相关
联的多个关键点信息。所述处理器还配置为：获取所述患者的DSA三维重建图像的感兴趣区域；基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分。
[0006]根据本申请的第二方案，提供了一种计算机可读存储介质，其上存储有计算机可执行指令，所述计算机可执行指令由处理器执行时实现如下步骤：基于实景图像构建手术室的三维数字孪生系统，其中，所述实景图像由多个图像采集设备对手术室内的不同角度的实景图像实时采集并发送到所述处理器，所述三维数字孪生系统中包括基于手术室中待进行远程介入手术的患者而构建的三维患者模型，所述三维患者模型包含与人体部位相关联的多个关键点信息；获取所述患者的DSA三维重建图像的感兴趣区域；基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分。
[0007]本申请各个实施例提供的用于构建远程介入手术室的三维数字孪生系统的装置，根据手术室内的实景图像构建手术室的三维数字孪生系统，且三维数字孪生系统中包括三维患者模型，使得所述三维数字孪生系统能够真实呈现手术室内的环境，用户能够实时地和准确地掌握手术室内的环境、医疗设备和人员的动态变化，得到病人和各个医疗设备之间的位置关系，并且三维患者模型上融合显示感兴趣区域部分的DSA三维重建图像，有利于用户的更加准确地进行手术操作，减轻手术医生的心理负担，减少误碰到患者或医护人员的概率，提高血管介入手术的安全性。用户能够直接在三维患者模型上看到感兴趣区域的血管影像和介入器械目前的情况，增强用户对手术操作的真实感和临床体验感，提高手术成功率和效率，缩短手术时间，保证手术医生在手术过程中的体力和注意力，减少因推送力不当等引起的血管内膜损伤、血管穿孔破裂等危险状况的发生概率。
附图说明
[0008]在不一定按比例绘制的附图中，相同的附图标记可以在不同的视图中描述相似的部件。具有字母后缀或不同字母后缀的相同附图标记可以表示相似部件的不同实例。附图大体上通过举例而不是限制的方式示出各种实施例，并且与说明书以及权利要求书一起用于对所公开的实施例进行说明。在适当的时候，在所有附图中使用相同的附图标记指代同一或相似的部分。这样的实施例是例证性的，而并非旨在作为本装置或方法的穷尽或排他实施例。
[0009]图1示出根据本申请实施例的用于构建远程介入手术室的三维数字孪生系统的装置的组成结构图；图2示出根据本申请实施例的手术室内的整体结构示意图；图3示出根据本申请实施例的摄像头的结构示意图；图4示出根据本申请实施例的处理器的处理过程示意图；图5示出根据本申请实施例的三维患者模型的示意图；图6示出根据本申请实施例的DSA设备的结构示意图；图7示出根据本申请实施例的感兴趣区域部分的DSA三维重建图像与三维患者模型融合的流程图；图8示出根据本申请实施例的基于实景图像提取关键点信息和体型信息的流程
图；图9示出根据本申请实施例的基于实景图像构建手术室的三维数字孪生系统的流程图；图10示出根据本申请实施例的基于实景图像进行目标检测的方法的流程图；以及图11示出根据本申请实施例的远端的控制区的整体示意图。
具体实施方式
[0010]为使本领域技术人员更好的理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。下面结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。
[0011]本申请中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。
[0012]图1示出根据本申请实施例的用于构建远程介入手术室的三维数字孪生系统的装置的组成结构图。装置100包括处理器112和多个图像采集设备111。图像采集设备111配置为实时地采集手术室内的各个角度的实景图像，并实时地将所述实景图像发送给处理器112，其中，所述手术室中包含待进行远程介入手术的患者。
[0013]处理器112可以是包括一个以上通用处理设备的处理设备，诸如微处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于构建远程介入手术室的三维数字孪生系统的装置，其特征在于，所述装置包括处理器和多个图像采集设备，所述多个图像采集设备配置为：实时地采集手术室内的不同角度的实景图像，并实时地将所述实景图像发送给所述处理器，其中，所述手术室中包含待进行远程介入手术的患者；所述处理器配置为：基于所述实景图像构建所述手术室的三维数字孪生系统，其中，所述三维数字孪生系统中包括基于待进行远程介入手术的患者而构建的三维患者模型，所述三维患者模型包含与人体部位相关联的多个关键点信息；获取所述患者的DSA三维重建图像的感兴趣区域；基于所述三维患者模型，结合所述关键点信息，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分。2.根据权利要求1所述的装置，其特征在于，所述处理器进一步配置为：响应于用户调整所述DSA三维重建图像的感兴趣区域的第一操作，基于所述三维患者模型，结合所述关键点信息，将调整后的感兴趣区域部分的DSA三维重建图像重新融合显示在所述三维患者模型对应的部分。3.根据权利要求1所述的装置，其特征在于，所述处理器进一步配置为：响应于用户旋转所述DSA三维重建图像角度的第二操作，对应地调整所述三维数字孪生系统的呈现角度，使得所述三维患者模型的感兴趣区域部分以对应旋转后的角度向用户呈现。4.根据权利要求1
‑
3中任一项所述的装置，其特征在于，所述手术室中还包括DSA设备和介入手术机器人，所述处理器进一步配置为：基于所述实景图像构建包括DSA设备和介入手术机器人在内的三维数字孪生系统；响应于用户远程调整所述DSA设备和/或所述介入手术机器人设备的角度的第三操作，对应地调整所述三维数字孪生系统的呈现角度，使得所述三维患者模型的感兴趣区域部分以对应调整后的角度向用户呈现。5.根据权利要求1
‑
3中任一项所述的装置，其特征在于，将感兴趣区域部分的DSA三维重建图像融合显示在所述三维患者模型对应的部分具体包括：基于所述感兴趣区域对应的关键点信息，调整感兴趣区域的DSA三维重建图像的体位，使其与三维患者模型的体位相匹配；将所述三维患者模型上与所述感兴趣区域对应的位置抠空，得到抠空后的三维患者模型；将所述感兴趣区域的三维重建图像填充至所述抠空后的三维患者模型的感兴趣区域的位置，得到融合显示后的三维患者模型。6.根据权利要求4所述的装置，其特征在于，所述手术室中还包括医护人员，所述处理器进一步配置为：基于所述实景图像构建包括所述医护人员在内的三维数字孪生系统；响应于所述第三操作，基于所述DSA设备和/或介入手术机器人设备在所述第三操作下的运动轨迹、患者的三维人体模型和所述医护人员的位置信息，预测所述DSA设备和/或介入手术机器人与患者之间的第一间距，以及预测所述DSA设备和/或介入手术机器人与医护
人员之间的第二间距，并在所述第一间距和/或第二间距小于对应的阈值的情况下，发出碰撞预警信息。7.根据权利要求6所述的装置，其特征在于，在所述第一间距和/或第二间距小于对应的阈值的情况下，发出碰撞预警信息具体包括：在所述第一间距小于对应的阈值的情况下，在所述三维数字孪生系统中对所关联的所述DS...

【专利技术属性】
技术研发人员：黄韬，周东晖，刘春燕，解菁，
申请(专利权)人：北京唯迈医疗设备有限公司，
类型：发明
国别省市：