一种显微手术术野的动态三维重建方法技术

本发明专利技术实施例公开了一种显微手术术野的动态三维重建方法，涉及计算机视觉领域，所述方法包括：获取深度相机的深度图和红外灰度图，并计算手术术野的点云数据；对所述点云数据进行去噪处理和去抖处理；利用点云分割模型对点云数据进行分割，获取术区点云团和手术器械点云团；利用求解稠密形变场的方法对术区点云团进行处理，得到术区点云模型；利用手术器械的分段轮廓信息对手术器械点云团进行处理，得到手术器械点云模型；融合上述术区点云模型和手术器械点云模型，得到全局点云模型，根据所述全局点云模型获取深度相机在当前视角下的三维重建结果并输出。本发明专利技术实施例能够较好的重建出具有高动态特性的手术器械。

A dynamic 3D reconstruction method of microsurgery field

【技术实现步骤摘要】
一种显微手术术野的动态三维重建方法
本专利技术实施例涉及计算机视觉领域，具体涉及一种显微手术术野的动态三维重建方法。
技术介绍
三维重建是计算机视觉和计算机图形学的基础研究课题。近些年，随着医学影像技术和智能化手术辅助设备的发展，面向手术术野、手术平台及手术设备的三维重建技术因其能够辅助手术，提供丰富的可视化信息以及协助远程手术而受到了人们越来越高的关注。但同时，手术过程中极低的容错率、严苛的光照条件以及高动态特性给当前的三维重建技术提出了新的挑战。针对动态场景三维重建问题，一些科研人员尝试了使用模板的方法辅助动态场景的三维重建，但是这些方法往往需要事先进行复杂而繁琐的建模工作以及相应的配准对齐过程。除此之外，还有一些基于非刚体逐点变形场计算的方法，此类方法力图求解当前点云与上一帧点云或全局点云间各匹配点之间的一一变换关系，尽管这些方法取得了不错的成效，但是这些单一的方法难以适用在高动态场景以及存在相机抖动的环境中，且这类问题在对精度要求较高的医学三维重建中尤为突出。以人工耳蜗显微手术的三维重建为例，人工耳蜗植入过程中，术野中存本文档来自技高网...

【技术保护点】
1.一种显微手术术野的动态三维重建方法，其特征在于，所述方法包括：/n获取深度相机的深度图和红外灰度图，并计算手术术野的点云数据；/n对所述点云数据进行去噪处理和去抖处理；/n利用点云分割模型对点云数据进行分割，获取术区点云团和手术器械点云团；/n利用求解稠密形变场的方法对术区点云团进行处理，得到术区点云模型；/n利用手术器械的分段轮廓信息对手术器械点云团进行处理，得到手术器械点云模型；/n融合上述术区点云模型和手术器械点云模型，得到全局点云模型，根据所述全局点云模型获取深度相机在当前视角下的三维重建结果并输出。/n

【技术特征摘要】
1.一种显微手术术野的动态三维重建方法，其特征在于，所述方法包括：
获取深度相机的深度图和红外灰度图，并计算手术术野的点云数据；
对所述点云数据进行去噪处理和去抖处理；
利用点云分割模型对点云数据进行分割，获取术区点云团和手术器械点云团；
利用求解稠密形变场的方法对术区点云团进行处理，得到术区点云模型；
利用手术器械的分段轮廓信息对手术器械点云团进行处理，得到手术器械点云模型；
融合上述术区点云模型和手术器械点云模型，得到全局点云模型，根据所述全局点云模型获取深度相机在当前视角下的三维重建结果并输出。


2.如权利要求1所述的一种显微手术术野的动态三维重建方法，其特征在于，所述方法还包括：当所述深度图和红外灰度图的帧位置属性为第一帧时，将预设的相机姿态数据赋予所述深度图和红外灰度图，计算深度图中每一个像素对应在深度相机坐标系下的点云数据，直接对点云数据进行分割。


3.如权利要求1所述的一种显微手术术野的动态三维重建方法，其特征在于，对所述点云数据进行去抖处理，具体包括：
计算相机在当前图像与前一帧图像之间的惯性测量元件数据，对所述惯性测量元件的数据求积分，得到深度相机在t时刻相对于t-1时刻的姿态变换矩阵，利用所述姿态变换矩阵对当前点云数据进行相机去抖动处理，得到相机参考坐标系下的点云数据。


4.如权利要求1所述的一种显微手术术野的动态三维重建方法，其特征在于，所述得到术区点云模型，具体包括：
构建术区三维参考模型；
求取术区三维参考模型到当前帧的稠密形变场参数；
根据所述稠密形变场参数将当前帧的点云融合到术区三维参考模型中；
根据相机的实时图像更新形变场参数，对术区三维参考模型进行持续点云融合和更新，得到术区点云模型。


5.如权利要求1所述的一种显微手术...

【专利技术属性】
技术研发人员：邵航，刘威，黄海亮，张新，
申请(专利权)人：浙江未来技术研究院嘉兴，
类型：发明
国别省市：浙江;33