一种腹腔镜裸眼模拟现实方法技术

本发明专利技术公开了一种腹腔镜裸眼模拟现实方法，包括腹腔镜在脏器体模型中精准引导的裸眼模拟现实系统，由3D腹腔镜、图形工作站及裸眼3D显示设备组成，腹腔镜模拟现实通过将重建于术前CT/MRI结构影像中脏器解剖结构的虚拟3D模型与采集自腹腔镜图像中脏器真实表面的空间配准，实现虚拟图像到发生形变的现实场景的映射，以3D腹腔镜两路视角无介质输出至裸眼3D显示，实现模拟现实展现，引导术者完成精细化腹腔镜手术。

【技术实现步骤摘要】
一种腹腔镜裸眼模拟现实方法
本专利技术涉及一种腹腔镜裸眼模拟现实方法，尤其涉及术前结构影像与术中真实腹腔镜图像的融合显示方法；属于人工智能的模拟现实领域。
技术介绍
增强现实（AugmentedReality,AR）是一种将计算机生成的虚拟景象实时叠加到真实场景上的显示技术。AR与3D腹腔镜结合的腹腔镜增强现实（LaparoscopicAugmentedReality,LAR）技术是将术前CT或MRI等结构影像上标注的解剖结构重建成虚拟3D模型实时叠加到腹腔镜视野上，以超越真实的腹腔镜视野，增强显示手术靶标信息，指导术者判断切割方向和深度，为脏器内部解剖结构的透视显示提供一种解决方案。混合现实（MixedReality，MR）是AR的进一步发展，通过在现实场景、虚拟模型和用户之间搭建一个交互反馈的信息回路，以增强用户体验的真实感。AR或MR与3D腹腔镜结合，均需要依赖头盔或眼镜等近眼显示设备实现3D显示。与AR和MR不同，基于裸眼3D技术、融入深度感知与空间交互的模拟现实（SimulatedReality,SR）无需用户佩戴头戴式设备，本文档来自技高网...

【技术保护点】
1.一种腹腔镜裸眼模拟现实方法，其特征在于：/n包括腹腔镜在脏器体模型中精准引导的裸眼模拟现实系统，由3D腹腔镜、图形工作站及裸眼3D显示设备组成，其中，所述图形工作站内的软件模块接收CT采集的术前结构影像并自动标注脏器及内部解剖结构，生成虚拟3D模型；所述3D腹腔镜将所接收到的图像实时传输给所述图形工作站，所述图形工作站内的软件模块对虚拟3D模型进行实时形变补偿，并将腹腔镜所接收到的图像与虚拟3D模型以腹腔镜双路视角输出至裸眼3D显示设备生成模拟现实图像；具体包括以下步骤/n（1）在脏器体模型中，精准引导腹腔镜轨迹，同时采集脏器体模型的CT影像与腹腔镜3D图像，构筑一套腹腔镜真实场景数据集；...

【技术特征摘要】
1.一种腹腔镜裸眼模拟现实方法，其特征在于：
包括腹腔镜在脏器体模型中精准引导的裸眼模拟现实系统，由3D腹腔镜、图形工作站及裸眼3D显示设备组成，其中，所述图形工作站内的软件模块接收CT采集的术前结构影像并自动标注脏器及内部解剖结构，生成虚拟3D模型；所述3D腹腔镜将所接收到的图像实时传输给所述图形工作站，所述图形工作站内的软件模块对虚拟3D模型进行实时形变补偿，并将腹腔镜所接收到的图像与虚拟3D模型以腹腔镜双路视角输出至裸眼3D显示设备生成模拟现实图像；具体包括以下步骤
（1）在脏器体模型中，精准引导腹腔镜轨迹，同时采集脏器体模型的CT影像与腹腔镜3D图像，构筑一套腹腔镜真实场景数据集；
（2）基于构筑的数据集，开展脏器体模型全自动标注、多外力作用下脏器体模型内外形变生物力学仿真建模以及脏器体模型动态形变实时补偿性能标准化评价；
（3）利用脏器体模型在腹腔镜进入前与进入过程中标注的结果，结合生物力学仿真模型，实时求解脏器体模型内部形变，获得虚拟3D模型实时形变补偿结果，并对补偿性能进行标准化定量评估；
（4）将虚拟3D模型与真实腹腔镜图像融合，利用高分辨率、低串扰率的裸眼3D显示设备生成模拟现实图像，并准确投送至人眼，使人在无介质环境下肉眼直接观看3D图像。


2.根据权利要求1所述的一种腹腔镜裸眼模拟现实方法，其特征在于，步骤（1）中的腹腔镜真实场景数据集为实现脏器体模型动态形变实时补偿提供了数据基础，脏器体模型动态形变实时补偿包括：多外力作用下脏器体模型内外形变生物力学仿真建模、脏器体模型表面形变实时获取和脏器体模型内部形变实时求解三个部分。


3.根据权利要求2所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，
首先，通过多外力作用下脏器体模型内外形变生物力学仿真建模，获得脏器体模型内部主要结构在外部载荷影响下的形变规律，建立脏器体模型内外形变生物力学模型，为脏器体模型形变补偿提供模型基础；
然后，采用快速点集弹性配准算法将虚拟3D模型表面点集与3D腹腔镜图像中真实脏器体模型表面点集进行配准，实时获取脏器体模型表面形变场；
最后，通过随机设置脏器体模型内外形变生物力学模型的外部载荷参数，仿真脏器体模型表面形变场及其对应的脏器内部形变场，通过重复仿真过程得到大量样本，训练深度回归网络学习脏器体模型表面形变场与脏器体模型内部形变场的耦合关系，借助深度回归网络学习实时预测优势，以实时获取的脏器体模型表面形变场为输入，实时求解脏器体模型内部形变场，实现脏器体模型动态形变实时补偿。


4.根据权利要求3所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，针对肝脏体模型、肾脏体模型及结直肠体模型分别建立典型的脏器体模型有限元模型，采取以下解决方案：
首先，建立含内部重要解剖结构（血管等管腔）与外部支承约束的完整脏器体模型有限元模型，进行外部因素载荷建模；在脏器虚拟3D模型基础上，进行脏器主要结构的应力拉伸实验、应力松弛实验与切割试验，得到脏器内部重要组织结构的生物力学参数；分析外部因素对脏器形变作用的影响，确定载荷形式以及施加的区域位置，基于此对载荷以及约束支承条件进行相应的设置，建立骨骼球形式的弹簧-质点模型的脏器内部载荷形式，保证变形仿真的真实性；
其次，提出有限元仿真接触碰撞检测方法与脏器体模型的软组织材料失效准则；进行充气压力、呼吸运动以及手术器械牵拉、挤压、切割等外部因素对脏器体模型形变影响实验与分析，确定不同因素与组织之间的相互作用力大小，设定接触碰撞与破裂的作用力阈值，设计基于力响应的载荷与器官组织的接触碰撞检测方法；
最后，进行完整脏器（表面及内部结构）有限元模型仿真、优化与验证。


5.根据权利要求1所述的一种腹腔镜裸眼模拟现实方法，其步骤（2）特征在于，为了获得真实脏器体模型表面点集，首先对3D腹腔镜进行标定校准，利用腹腔镜拍摄平面棋盘纸，将棋盘纸可视范围内做不同方位的变化，以获取最为清晰的腹腔镜图像，同时保证覆盖腹腔镜图像平面的大部分区域，采用20幅不同方位的棋盘纸图像，基于平面模板法标定3D腹腔镜的内外参数；然后基于腹腔镜3D图像，通过脏器体模型无损标注模型获取脏器体模型...

【专利技术属性】
技术研发人员：高欣，夏威，张家意，
申请(专利权)人：苏州普瑞斯仁信息科技有限公司，
类型：发明
国别省市：江苏;32