脑结构三维重建方法、装置及终端设备制造方法及图纸

本申请提供了一种脑结构三维重建方法、装置及终端设备。该方法包括：获取脑部的2D图像，将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到所述脑部的3D点云；所述3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量，所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。基于本申请提供的脑结构三维重建方法可以将脑部的2D图像转化成脑部的3D点云，为医生提供更多的视觉信息，便于医生更好地进行诊疗。

【技术实现步骤摘要】
脑结构三维重建方法、装置及终端设备
本申请属于人工智能
，尤其涉及一种脑结构三维重建方法、装置及终端设备。
技术介绍
近年来，随着医学手术方法的不断发展，微创手术和机器人导航手术已逐渐应用于脑外科手术，医生可以通过微型探头对手术部位进行观察，但是微型探头的视角有限，且微型探头采集的图像属于二维(SecondDimension，2D)图像，无法为医生提供更多的视觉信息，不利用医生对病变部位进行精确的诊断和分析。与2D图像的扁平空间相比，三维(ThreeDimensional，3D)点云数据包含有更多的空间结构信息，可以为医生提供更多的视觉信息，从而辅助医生更好地进行诊疗。因此，将2D图像重建为准确且清晰的3D点云具有重要意义。
技术实现思路
本申请实施例提供了一种脑结构三维重建方法、装置及终端设备，可以将脑部的2D图像转化成3D点云，为医生提供更多的视觉信息。第一方面，本申请实施例提供了一种脑结构三维重建方法，该方法包括：获取脑部的2D图像，将脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到脑本文档来自技高网...

【技术保护点】
1.一种脑结构三维重建方法，其特征在于，所述方法包括：/n获取脑部的2D图像，将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到所述脑部的3D点云；/n所述3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量，所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。/n

【技术特征摘要】
1.一种脑结构三维重建方法，其特征在于，所述方法包括：
获取脑部的2D图像，将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到所述脑部的3D点云；
所述3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量，所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。


2.根据权利要求1所述的方法，其特征在于，所述图卷积神经网络包括：多组交替设置的图卷积模块和分支模块，所述图卷积模块用于调整点云的位置坐标，所述分支模块用于扩充点云的个数。


3.根据权利要求1或2所述的方法，其特征在于，所述3D脑部点云重建模型是基于获取的训练样本集和对应的判别器训练得到的，所述训练样本集中包括多个训练样本，每个训练样本中包括的2D脑部图像样本和所述2D脑部图像样本对应的脑部的3D点云样本。


4.根据权利要求3所述的方法，其特征在于，所述3D脑部点云重建模型的训练方法包括：
对于每个训练样本，将所述训练样本中的2D脑部图像样本输入到初始神经网络模型中，得到预测的3D点云；
将所述预测的3D点云与所述训练样本中的3D点云样本输入到所述判别器中处理，得到所述训练样本的判别结果；
根据每个训练样本的判别结果、所述3D脑部点云重建模型的损失函数和所述判别器的损失函数进行迭代训练，得到所述3D脑部点云重建模型。


5.根据权利要求4所述的方法，其特征在于，所述3D脑部点云重建模型的损失函数为：LE,G＝λ1LKL+λ2LCD+Ez～Z[D(G(z))]；
其中，LE,G表示3D脑部点云重建模型对应的损失值；λ1和λ2为常数；LKL表示KL散度；Z为所述...

【专利技术属性】
技术研发人员：王书强，胡博闻，申妍燕，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44