基于热力图和面部关键点的脑部神经外科导航配准方法技术

本发明专利技术提出一种基于热力图和面部关键点的脑部神经外科导航配准方法，属于数字化医疗技术领域。该方法利用人脸关键点数据训练基于热力图提取关键点的n层堆叠沙漏神经网络；然后获取患者的头部CT三维图像或MRI三维图像，获取该图像对应的面部三维网格关键点云作为目标点云；使用双目摄像头在术中实时捕获患者的面部图像，得到患者双目面部关键点云作为源点云；最后使用奇异值分解方法对目标点云和源点云进行配准。本发明专利技术操作简便，成本低廉，配准结果准确，节约时间且不会给患者带来额外创伤。

Brain neurosurgery navigation registration method based on thermograph and facial key points

The invention provides a brain neurosurgery navigation and registration method based on the thermograph and the key points of the face, which belongs to the technical field of digital medical treatment. This method uses the face key point data to train the n-layer stacked hourglass neural network based on the heat map to extract the key points; then obtains the CT 3D image or MRI 3D image of the patient's head, and obtains the corresponding 3D mesh key point cloud of the face as the target point cloud; uses the binocular camera to capture the patient's face image in real time during the operation, and obtains the binocular facial key point cloud of the patient Finally, the SVD method is used to register the target point cloud and the source point cloud. The invention has the advantages of simple operation, low cost, accurate registration result, time saving and no additional trauma to patients.

【技术实现步骤摘要】
基于热力图和面部关键点的脑部神经外科导航配准方法
本专利技术涉及数字化医疗
，具体涉及基于热力图和面部关键点的脑部神经外科导航配准方法。
技术介绍
在现代神经外科手术中，医生通常需要在手术前预先采集患者头部医学图像并对患者病变部位进行分析，进行术前手术设计，手术过程中导航系统将患者头部姿态和术前颅颌部医学影像进行配准，利用配准结果得到术中场景坐标空间与术前影像坐标空间的变换矩阵，从而根据术前设计结果对术中进行实时指导，并实时显示术中手术器械在术前医学影像中的位置。其中，配准是神经外科手术导航中至关重要的一环。传统的神经外科手术导航设备可被分为红外定位，电磁定位，超声定位或机械定位。神经外科手术导航系统中最早采用的方法是机械定位，该方法通常在患者头部手动安装一个框架，并以此框架建立一个空间坐标系。此方法由于器械笨重，会给患者引入额外的痛苦，除此之外，该方法操作不灵活，精度低也是一大缺点。后研发的无框架机械导航系统，利用机械臂和计算机技术，来实现定位跟踪的目的，但此系统设备体积大，不容易安装。超声定位导航系统即利用超声测距的原理，计算得出手术器械的空间位置，但此方法精度不高，价格高昂且容易受到环境影响。电磁定位导航系统基于多个电磁线圈，利用电磁感应，通过产生三维低频磁场建立三维空间坐标系从而进行定位，但手术环境中的干扰电磁波容易对影响定位。红外定位导航系统通过采集主动光源信号或者反射光源信号，经过计算确定跟踪物的确定，但一旦定位光线被遮挡就容易造成定性信息缺失。除此之外，以上的各种设备价格普遍都在百万元左右，难以在普通地方医院普及。Collyer等人提出一种新颖的配准导航方法，此方法通过在病人头部植入金属标记物后，再进行CT(电子计算机断层扫描)扫描或者MRI(核磁共振成像)以获取术前影像，再通过手术过程中捕捉标记物建立映射关系从而实现配准，然而此种方法会使得病人在标记物植入时承受额外的痛苦。在配准领域，虽然有一些使用基于患者表面特征或者附加标记物的方法提出，如使用迭代最近点方法将术前CT图像生成的源点云与术中面部点云进行配准，但这些方法往往需要比较好的初始值，否则在求解过程中容易陷入局部最优解导致非常大的配准误差，精度难以满足临床要求。
技术实现思路
本专利技术的目的是为克服已有技术的不足之处，提出一种基于热力图和面部关键点的脑部神经外科导航配准方法。本专利技术操作简便，成本低廉，配准结果准确，节约时间且不会给患者带来额外创伤。本专利技术提出一种基于热力图和面部关键点的脑部神经外科导航配准方法，其特征在于，包括以下步骤：1)构建一个包含n层堆叠沙漏网络和一层SoftMax层的分类网络并进行预训练，得到预训练完毕的分类网络；具体步骤如下：1-1)构建一个n层堆叠沙漏网络，在n堆叠沙漏网络后添加一层SoftMax层，n层堆叠沙漏网络和SoftMax层组成一个分类网络；其中，第一层沙漏网络的输入为待分类图片，之后每一层网络的输入为前一层网络的输入及前一层网络的输出；1-2)利用ImageNetLSVRC-2010数据集对分类网络进行预训练，得到预训练完毕的分类网络；从ImageNetLSVRC-2010数据集中获取包含1000个类别的图片集合，该图片集合的每个类别包含1200张图片，其中在每个类别中选取随机选1000张图片构成训练数据集；令分类网络初始学习率为0.01，每训练10次后学习率数下降90％；利用训练数据集对分类网络训练50次，分类网络预训练结束；2)利用人脸关键点数据集对预训练完毕的分类网络中的n层堆叠沙漏网络进行微调,得到微调完毕的n层堆叠沙漏网络；具体步骤如下：2-1)获取人脸关键点数据集，所述人脸关键点数据集中包含人脸图片以及每张人脸图片对应的人脸关键点标注，对人脸关键点数据集中人脸图片进行明暗度调整、旋转和水平翻转180度的操作增广人脸图片数据，得到扩增后的人脸关键点数据集；2-2)将扩增后的人脸关键点数据集按照8比1比1比例随机分割分别获得人脸关键点训练集、人脸关键点验证集和人脸关键点测试集；利用人脸关键点训练集对预训练完毕的分类网络中n层堆叠沙漏网络进行微调，得到微调完毕的n层堆叠沙漏网络；具体方法如下：使用开源库Dlib人脸提取算法提取扩增后的人脸关键点训练集中每张图片的人脸部分并输入预训练完毕的n层堆叠沙漏网络，该网络根据关键点数量k对每张输入图片生成k个对应数量热力图，每个关键点对应的热力图上数值最大的点即为该关键点；令预训练完毕的n层堆叠沙漏网络的初始学习率为10-4，每次输入人脸关键点训练集10张图片对该网络进行训练，人脸关键点训练集所有图片每完成训练15次后学习率下降90％，人脸关键点训练集中所有图片总共训练40次，得到微调完毕的4层堆叠沙漏网络；3)获取患者的头部CT三维图像或MRI三维图像，得到CT三维图像或MRI三维图像对应的面部三维网格关键点云；具体步骤如下：3-1)获取患者的头部CT三维图像或MRI三维图像，通过CT或MRI所有切片中的医疗数位影像传输协定DICOM标签中的模态标签筛除不属于CT或MRI的切片；再将筛选后的切片通过判断连通域除去仪器检查床，得到预处理完毕的切片；3-2)将预处理完毕的CT或MRI切片，设置皮肤等值面的值，利用移动立方体MarchingCube)算法重建患者头部三维网格模型；3-3)利用CT或MRI图像里的DICOM标签中的患者位置标签，将患者头部三维网格模型的面部旋转至朝向一个统一方向；并通过三维网格模型坐标轴范围，通过设置每个坐标轴的阈值删去模型中头部后半部分，留下患者面部前侧三维网格模型；3-4)将患者面部前侧三维网格模型投影到一个平面，形成对应的二维投影人脸图像；3-5)将二维投影人脸图像输入步骤2)微调完毕的n层堆叠沙漏网络中，该网络输出该图像对应的k张热力图，在每张热力图上选取值最大的点作为二维投影人脸图像的关键点，得到二维投影人脸图像的关键点集合；3-6)通过光线投影，利用二维投影人脸图像的关键点反求离视点最近的对应网格点，并将网格点作为对应患者面部前侧三维网格模型的关键点，所有患者面部前侧三维网格模型的关键点组成面部三维网格关键点云；4)使用双目摄像头在术中实时捕获患者的面部图像，并得到患者双目面部关键点云；具体步骤如下：4-1)从双目摄像头中捕获左右视角下两张患者面部实时图像并转换为RGB格式，利用对双目摄像头进行相机标定时获得的相机内参和畸变参数进行相机去畸变；4-2)分别将经过步骤4-1)转换后的左右视角下两张患者面部实时图像送入步骤1)预训练训练完毕的4层堆叠沙漏网络，重复步骤3-5)，在输出的每张热力图上选取值最大的点作为关键点，得到左右视角下两张患者面部实时图像分别对应的二维人脸关键点集合；4-3)对步骤4-2)得到的二维人脸关键点集合中的关键点进行重建，利用下式恢复左右视角下两张患者面部实时图像中对应关键点的三维深度信息生成三维关键点：<本文档来自技高网...

【技术保护点】
1.基于热力图和面部关键点的脑部神经外科导航配准方法，其特征在于，包括以下步骤：/n1)构建一个包含n层堆叠沙漏网络和一层SoftMax层的分类网络并进行预训练，得到预训练完毕的分类网络；具体步骤如下：/n1-1)构建一个n层堆叠沙漏网络，在n堆叠沙漏网络后添加一层SoftMax层，n层堆叠沙漏网络和SoftMax层组成一个分类网络；其中，第一层沙漏网络的输入为待分类图片，之后每一层网络的输入为前一层网络的输入及前一层网络的输出；/n1-2)利用ImageNet LSVRC-2010数据集对分类网络进行预训练，得到预训练完毕的分类网络；/n从ImageNet LSVRC-2010数据集中获取包含1000个类别的图片集合，该图片集合的每个类别包含1200张图片，其中在每个类别中选取随机选1000张图片构成训练数据集；/n令分类网络初始学习率为0.01，每训练10次后学习率数下降90％；利用训练数据集对分类网络训练50次，分类网络预训练结束；/n2)利用人脸关键点数据集对预训练完毕的分类网络中的n层堆叠沙漏网络进行微调,得到微调完毕的n层堆叠沙漏网络；具体步骤如下：/n2-1)获取人脸关键点数据集，所述人脸关键点数据集中包含人脸图片以及每张人脸图片对应的人脸关键点标注，对人脸关键点数据集中人脸图片进行明暗度调整、旋转和水平翻转180度的操作增广人脸图片数据，得到扩增后的人脸关键点数据集；/n2-2)将扩增后的人脸关键点数据集按照8比1比1比例随机分割分别获得人脸关键点训练集、人脸关键点验证集和人脸关键点测试集；利用人脸关键点训练集对预训练完毕的分类网络中n层堆叠沙漏网络进行微调，得到微调完毕的n层堆叠沙漏网络；具体方法如下：/n使用开源库Dlib人脸提取算法提取扩增后的人脸关键点训练集中每张图片的人脸部分并输入预训练完毕的n层堆叠沙漏网络，该网络根据关键点数量k对每张输入图片生成k个对应数量热力图，每个关键点对应的热力图上数值最大的点即为该关键点；/n令预训练完毕的n层堆叠沙漏网络的初始学习率为10...

【技术特征摘要】
1.基于热力图和面部关键点的脑部神经外科导航配准方法，其特征在于，包括以下步骤：
1)构建一个包含n层堆叠沙漏网络和一层SoftMax层的分类网络并进行预训练，得到预训练完毕的分类网络；具体步骤如下：
1-1)构建一个n层堆叠沙漏网络，在n堆叠沙漏网络后添加一层SoftMax层，n层堆叠沙漏网络和SoftMax层组成一个分类网络；其中，第一层沙漏网络的输入为待分类图片，之后每一层网络的输入为前一层网络的输入及前一层网络的输出；
1-2)利用ImageNetLSVRC-2010数据集对分类网络进行预训练，得到预训练完毕的分类网络；
从ImageNetLSVRC-2010数据集中获取包含1000个类别的图片集合，该图片集合的每个类别包含1200张图片，其中在每个类别中选取随机选1000张图片构成训练数据集；
令分类网络初始学习率为0.01，每训练10次后学习率数下降90％；利用训练数据集对分类网络训练50次，分类网络预训练结束；
2)利用人脸关键点数据集对预训练完毕的分类网络中的n层堆叠沙漏网络进行微调,得到微调完毕的n层堆叠沙漏网络；具体步骤如下：
2-1)获取人脸关键点数据集，所述人脸关键点数据集中包含人脸图片以及每张人脸图片对应的人脸关键点标注，对人脸关键点数据集中人脸图片进行明暗度调整、旋转和水平翻转180度的操作增广人脸图片数据，得到扩增后的人脸关键点数据集；
2-2)将扩增后的人脸关键点数据集按照8比1比1比例随机分割分别获得人脸关键点训练集、人脸关键点验证集和人脸关键点测试集；利用人脸关键点训练集对预训练完毕的分类网络中n层堆叠沙漏网络进行微调，得到微调完毕的n层堆叠沙漏网络；具体方法如下：
使用开源库Dlib人脸提取算法提取扩增后的人脸关键点训练集中每张图片的人脸部分并输入预训练完毕的n层堆叠沙漏网络，该网络根据关键点数量k对每张输入图片生成k个对应数量热力图，每个关键点对应的热力图上数值最大的点即为该关键点；
令预训练完毕的n层堆叠沙漏网络的初始学习率为10-4，每次输入人脸关键点训练集10张图片对该网络进行训练，人脸关键点训练集所有图片每完成训练15次后学习率下降90％，人脸关键点训练集中所有图片总共训练40次，得到微调完毕的4层堆叠沙漏网络；
3)获取患者的头部CT三维图像或MRI三维图像，得到CT三维图像或MRI三维图像对应的面部三维网格关键点云；具体步骤如下：
3-1)获取患者的头部CT三维图像或MRI三维图像，通过CT或MRI所有切片中的医疗数位影像传输协定DICOM标签中的模态标签筛除不属于CT或MRI的切片；再将筛选后的切片通过判断连通域除去仪器检查床，得到预处理完毕的切片；
3-2)将预处理完毕的CT或MRI切片，设置皮肤等值面的值，利用移动立方体MarchingCube)算法重建患者头部三维网格模型；
3-3)利用CT或MRI图像里的DICOM标签中的患者位置标签，将患者头部三维网格模型的面部旋转至朝向一个统一方向；并通过三维网格模型坐标轴范围，通过设置每个坐标轴的阈值删去模型中头部后半部分，留下患者面部前侧三维网格模型；
3-4)将患者面部前侧三维网格模型投影到一个平面，形成对应的二维投影人脸图像；
3-5)将二维...

【专利技术属性】
技术研发人员：陈莉，杨正浩，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11