一种用于视频辅助外科手术靶标定位的方法技术

本发明专利技术提供的用于视频辅助外科手术靶标定位的方法包括以下步骤：接收基础数据，所述基础数据包括腔镜视频

【技术实现步骤摘要】
一种用于视频辅助外科手术靶标定位的方法、系统和装置


[0001]本专利技术涉及医疗和计算机领域，特别涉及一种用于视频辅助外科手术靶标定位的方法
、
系统和装置
。
技术背景
[0002]早期肺癌治疗的金标准是手术切除
。
在当代外科实践中，这通常是由电视辅助胸腔镜手术（
video
‑
assisted thoracic surgery, VATS
）完成的，因为它与开放手术相比有不少优势
。
然而，
VATS
肺切除术中存在以下几个挑战：在
VATS
期间，小的
、
深的或主要为毛玻璃状的实质内病变很难定位，因为这些病变通常在胸膜表面既看不见也不可见
。
多达
63%
接受
VATS
的患者对于
<
距离胸膜表面
10mm
，或
>5mm
的病变需要改为开胸
。
因此，需要各种侵入性定位技术（如术前
CT
引导的钩丝定位）来帮助外科医生通过
VATS
准确地切除这些病变
。
[0003]识别和解剖叶间肺动脉是解剖性肺切除术中的关键步骤，以避免手术期间的灾难性出血，但对于某些患者，如不完全裂开或严重粘连的患者，使用
VATS
可能具有挑战性
。
[0004]进行肺段切除术需要精确了解支气管血管结构到肺段的分支模式和解剖变异，由于
VATS
的视野有限，
VATS
的难度也比开放手术更大
。
[0005]3D
建模软件（如
Mimics、Hexa3D
）可用于术前规划，使外科医生能够更好地了解每个患者的解剖结构，并为每个患者创建个性化的手术计划
。
电磁导航支气管镜（
ENB
）
、CT
引导下的钩丝可用于术前结节的定位
。
有术者在手术中使用
3D
建模软件来识别肺结节的位置，但他们的方法在手术过程中利用视觉标志和额外的标尺来关联他们在
3D
模型上看到的内容，这对于外科医生来说增加了不必要的操作，还有可能引起不必要的手术风险
。
[0006]同样的问题在腹腔镜手术中也存在，因此有必要开发一项技术来解决上面提到的问题，以促进腔镜手术在临床中的应用
。

技术实现思路

[0007]有鉴于此，本专利技术提供一种用于视频辅助外科手术靶标定位的
、
系统和装置所要解决的问题是：在尽可能不改变现有手术规范及手术操作流程的基础上实现视频辅助定位目标，快速找到病灶，降低手术风险
。
[0008]根据本公开的一些实施例，提供的一种用于视频辅助外科手术靶标定位的方法包括以下步骤：接收基础数据，所述基础数据包括腔镜视频
、
患者三维术前模型
、
实时相机视频；采用语义分割方法对腔镜视频的感兴趣区域进行分割，得到分割目标，所述分割目标包括手术器械以及目标器官和
/
或组织的解剖结构；采用姿态追踪方法对实时相机视频中的手术器械及术者姿态进行追踪，得到手术器械位置信息及术者姿态信息，所述手术器械位置信息用于手术器械定位，所述术者姿态信息用于获取术者的手势；初始化设置，将所述语义分割后的分割目标
、
所述患者三维术前模型以及所述术者姿态信息进行初始化设置，所述初始化设置是将上述信息放置于同一空间系统中；结合所述手术器械位置信息及初始化设置后的数据，对患者三维术前模型的目标器官和
/
或组织进行大物理变形，以便所述患者
三维术前模型更精准的拟合病人腔镜初始视频；术中实时融合匹配，使得所述患者器官和
/
或组织的术前三维模型拟合跟踪术中实时腔镜视频，从而帮助术者理解视频中的器官及其解剖结构
。
[0009]根据本公开的一些实施例，所述腔镜视频为胸腔镜视频
。
[0010]根据本公开的一些实施例，所述腔镜视频为腹腔镜视频
。
[0011]根据本公开的一些实施例，所述腔镜视频还可以包括关节镜视频或胃镜视频等
。
[0012]根据本公开的一些实施例，所述患者三维术前模型为通过患者术前
CT、MRI
或超声图像进行三维重建获得的包含解剖结构的三维模型，更进一步的，所述三维模型为数字三维模型
。
[0013]根据本公开的一些实施例，所述语义分割方法为常规的深度学习方法如
UNet
方法，包括以下步骤：1）准备初始训练数据集，所述初始训练数据集采用深度种子区域生长法来分割腔镜视频的初始数据集，所述初始数据集表示为
D1
；2）构建一组三维模型：对每个患者分割一组 CT
图像中的目标对象（包括手术相关人体器官，组织等），并为所述这患者构造一个三维模型，所有病人模型集合表示为
V1
；3）生成一组模拟标记的
2D 腔镜图像，所述
2D 腔镜图像的生成方法包括以下步骤：
A、
根据所述数据集
D1
计算每个标记对象的统计信息，如
RGB
颜色分布；
B、
使用
3D
体积渲染方法生成一组
2D
标记图像数据集：即，对
V1
中的每个模型，以不同的腔镜视图进行渲染，生产一系列的
2D 图像
。
所生成的所有图像数据表示为
D2
；
C、
对于
D2
中的每幅图像，填充数据集
D1
中相关对象统计信息中的每个标记区域，添加一定的高斯噪声，然后应用随机
b
样条函数对每个标记图像中的对象进行变形，所得到的数据集表示为
D3
；4）利用所述数据集
D3
学习一个分割模型
M1
，所述学习方法为
Unet
方法；5）使用所述分割模型
M1
进行语义分割
。
[0014]根据本公开的一些实施例，所述深度种子区域生长方法为在腔镜视频的关键帧上放置一些相关种子点，根据所述种子点自动进行分割
。
更进一步的，自动分割不准确时，则可通过增加种子点来优化分割
。
[0015]根据本公开的一些实施例，所述姿态追踪方法为基于深度学习人工智能的立体定向视觉跟踪方法，采用以下步骤建立一个深度网络，用于自动识别每个器械并从实时相机视频中检测其标记点：1）创建各器械的三维模型，所述器械的三维模型可以直接调用其三维模型文件，也可以使用
3D...

【技术保护点】

【技术特征摘要】
1.
一种用于视频辅助外科手术靶标定位的方法，其特征在于，所述用于视频辅助外科手术靶标定位的方法包括：接收基础数据，所述基础数据包括腔镜视频
、
患者三维术前模型
、
实时相机视频；采用语义分割方法对腔镜视频的感兴趣区域进行分割，得到分割目标，所述分割目标包括手术器械以及目标器官和
/
或组织的解剖结构；采用姿态追踪方法对实时相机视频中的手术器械及术者姿态进行追踪，得到手术器械位置信息及术者姿态信息，所述手术器械位置信息用于手术器械定位，所述术者姿态信息用于获取术者的手势；初始化设置，将所述语义分割后的分割目标
、
所述患者三维术前模型以及所述术者姿态信息进行初始化设置，所述初始化设置是将上述信息放置于同一空间系统中；结合所述手术器械位置信息及初始化设置后的数据，对患者三维术前模型的目标器官和
/
或组织进行大物理变形，以便所述患者三维术前模型更精准的拟合病人腔镜初始视频；术中实时融合匹配，使得所述患者器官和
/
或组织的术前三维模型拟合跟踪术中实时腔镜视频，从而帮助术者理解视频中的器官及其解剖结构
。2.
如权利要求1所述的用于视频辅助外科手术靶标定位的方法，其特征在于，所述腔镜视频包括胸腔镜视频和腹腔镜视频
。3.
如权利要求1所述的用于视频辅助外科手术靶标定位的方法，其特征在于，所述患者三维术前模型为通过患者术前
CT、MRI
或超声图像进行三维重建获得的包含解剖结构的三维模型
。4.
如权利要求1所述的用于视频辅助外科手术靶标定位的方法，其特征在于，所述语义分割方法为常规的深度学习方法如
UNet
方法，包括以下步骤：准备初始训练数据集，所述初始训练数据集采用深度种子区域生长法来分割腔镜视频的初始数据集，所述初始数据集表示为
D1
；构建一组三维模型：对每个患者分割一组 CT
图像中的目标对象，所述目标对象包括手术相关的人体器官
、
组织中的一种或其组合，并为所述这患者构造一个三维模型，将所有患者的三维模型集合表示为
V1
；生成一组模拟标记的
2D 腔镜图像，所述
2D 腔镜图像的生成方法包括以下步骤：根据所述数据集
D1
计算每个标记对象的统计信息，如
RGB
颜色分布；使用
3D
体积渲染方法生成一组
2D
标记图像数据集：即，对
V1
中的每个模型，以不同的腔镜视图进行渲染，生产一系列的
2D 图像
。
所生成的所有图像数据表示为
D2
；对于
D2
中的每幅图像，填充数据集
D1
中相关对象统计信息中的每个标记区域，添加一定的高斯噪声，然后应用随机
b
样条函数对每个标记图像中的对象进行变形，所得到的数据集表示为
D3
；利用所述数据集
D3
学习一个分割模型
M1
，所述学习方法为
Unet
方法；使用所述分割模型
M1
进行语义分割
。5.
如权利要求4所述的用于视频辅助外科手术靶标定位的方法，其特征在于，所述所述深度种子区域生长方法为在腔镜视频的关键帧上放置一些相关种子点，根据所述种子点自动进行分割，若发现分割不准确，则可增加种子点来优化分割
。6.
如权利要求1所述的用于视频辅助外科手术靶标定位的方法，其特征在于，所述姿态
追踪方法为基于深度学习人工智能的立体定向视觉跟踪方法，采用以下步骤建立一个深度网络，用于自动识别每个器械并从实时相机视频中检测其标记点：1）创建各器械的三维模型，所述器械的三维模型可以直接调用其三维模型文件，也可以使用
3D
扫描仪来扫描和创建三维模型文件；2）使用任何可用的中心线提取方法提取每个三维模型的中心线；3）确定表面的局部曲率极端点，和中心线的交叉点，作为每个器械的标记点；4）生成器械训练数据集
Di
，所述器械训练数据集
Di
的生成方法包括以下步骤：
A、
对于每个器械，附加一个电磁跟踪器来跟踪它的运动；
B、
在将器械插入人体之前，以术者各种...

【专利技术属性】
技术研发人员：刘继敏，王雯贤，
申请(专利权)人：新加坡健康服务有限公司，
类型：发明
国别省市：