基于语义关键点的胸腔镜投影方法、装置、设备及介质制造方法及图纸

本发明专利技术提供一种基于语义关键点的胸腔镜投影方法、装置、设备及介质，其中方法包括：基于交互语音内容，确定语义关键点；将胸腔镜图像、肺部图像和语义关键点输入至胸腔镜智能配准模型，得到模型输出的胸腔镜投影关键点匹配结果；胸腔镜分割模型对胸腔镜图像进行图像分割，得到胸腔镜图像分割结果；肺部三维重建模型对肺部图像进行三维重建，得到三维重建结果；匹配模块将胸腔镜图像分割结果对应的二维关键点与三维重建结果进行匹配，得到胸腔镜投影关键点匹配结果；语音指令投影模块输出语义关键点对应的胸腔镜投影关键点匹配结果。结合交互语音内容中涵盖的语义关键点信息，根据该语义关键点定位具体的解剖结构部位，提高胸腔镜投影的准确率。

【技术实现步骤摘要】

本专利技术涉及人工智能，尤其涉及一种基于语义关键点的胸腔镜投影方法、装置、设备及介质。

技术介绍

1、胸外科最常用的术式是电视辅助胸腔镜手术(video-assisted thoracicsurgery，vats)，它将电子数字影像技术和信息技术与传统外科医学模式融合成一体，外科医生会在vats过程中将微型摄像机和手术工具通过胸壁上的一个或多个小切口插入胸腔，通过微型摄像系统将人体脏器毗邻组织和形态结构以图像传输到监视器屏幕上，手术医生通过纽扣式切口插入腔镜器械解剖和分离组织，完成手术。目前辅助vats的技术有很多，包括ct(computed tomography)扫描后使用3d重建技术重建3d胸廓视图来展示解剖结构，以及借助医学信息和影像数据等建立病人的3d肺部模型，帮助医生了解病人手术特点和毗连区域情况，也有基于ar(augmented reality，增强现实)的电视辅助胸腔镜的教学系统，以此培养新手医生。

2、胸腔镜辅助手术要求医生对解剖结构有很高的熟悉程度。然而，年轻医生在解剖结构的认识和理解上往往不如经验丰富的医生，这就使得他们在掌本文档来自技高网...

【技术保护点】

1.一种基于语义关键点的胸腔镜投影方法，其特征在于，包括：

2.根据权利要求1所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述胸腔镜分割模型包括第一分割模型和第二分割模型；

3.根据权利要求2所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述第一分割模型为Mask R-CNN模型；

4.根据权利要求1所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述肺部三维重建模型包括预处理模块、确定三维表示模块和三维重建模块；

5.根据权利要求1至4中任一项所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述基于所述交互语音内容，确定语义...

【技术特征摘要】

1.一种基于语义关键点的胸腔镜投影方法，其特征在于，包括：

2.根据权利要求1所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述胸腔镜分割模型包括第一分割模型和第二分割模型；

3.根据权利要求2所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述第一分割模型为mask r-cnn模型；

4.根据权利要求1所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述肺部三维重建模型包括预处理模块、确定三维表示模块和三维重建模块；

5.根据权利要求1至4中任一项所述的基于语义关键点的胸腔镜投影方法，其特征在于，所述基于所述交互语音内容，确定语义关键点，包括：

6.根据权利要求1至4中任一项所述的基于语义关键点的胸腔...

【专利技术属性】
技术研发人员：雷震，刘宏斌，吴锦林，陈阵，
申请(专利权)人：中国科学院香港创新研究院人工智能与机器人创新中心有限公司，
类型：发明
国别省市：