基于深度学习网络的二阶段牙体点云补全方法及系统技术方案

本发明专利技术提供了一种基于深度学习网络的二阶段牙体点云补全方法及系统，涉及医学图像处理技术领域，该方法包含：第一部分为基于CBCT数据与口扫数据构建初始点云数据，主要利用第三方软件Mimics对患者的CBCT数据进行三维重建，将生成的CBCT重建三维牙模型点云数据再与激光扫描点云数据配准，得到三维牙体模型点云数据作为金标准；第二部分为训练深度学习网络MSN，并将第一部分中构建的激光扫描点云数据输入到已经训练好的深度学习网络MSN中，MSN补全网络会对输入点云进行两阶段处理。在第一阶段，MSN网络先预测一个完整但粗粒度的点云；在第二阶段，通过采样算法与残差连接将粗粒度预测点云与输入点云融合，得到均匀分布的细粒度预测点云，实现牙体点云的补全。

【技术实现步骤摘要】
基于深度学习网络的二阶段牙体点云补全方法及系统
本专利技术涉及医学图像处理
，具体地，涉及一种基于深度学习网络的二阶段牙体点云补全方法及系统。
技术介绍
牙科成像可以使牙医更准确得发现、干预病灶区域，发现潜在问题，从而积极主动地进行牙科保健与修复。目前用于诊断的牙科成像技术主要有三种类型：传统计算机断层扫描CT、锥形束计算机断层扫描(ConeBeamComputredTomography,CBCT)和口内扫描仪。但由于遮挡物和传感器分辨率的原因，口扫设备获取的扫描数据通常是不完整的。对于这种受限的原始数据，我们需要对其进行完善来补偿原始数据的结构损失，提高数据质量，以便于后续临床应用。在PointNet和PointNet++使用深度学习网络实现了点云分割和点云分类之后，点云深度学习逐渐成为热门研究领域。与此同时，点云作为一种重要的三维数据，其在医学领域的应用也越来越广泛。但是，从激光雷达等设备中获取的点云往往有所缺失，这给点云的后续处理带来了一定的困难。点云补全(PointCloudCompletion)技术应运而生，它从缺失点云出发估计完整点云，从而获得更高质量的点云，达到修补的目的。公开号为CN111383355A的中国专利技术专利，公开了一种三维点云补全方法、装置和计算机可读存储介质，该方法包括：获取目标房间对应的三维点云，其中，三维点云包括顶面点云、地面点云和摆放物品点云；基于顶面点云，生成顶面点云投射图像，以及基于地面点云和摆放物品点云，生成地面点云投射图像；从顶面点云投射图像和地面点云投射图像中，确定至少一个待补全点云区域；对于至少一个待补全点云区域中的每个待补全点云区域，基于该待补全点云区域的位置，利用该待补全点云区域周围的点云，对该待补全点云区域进行补全。本公开实施例可以提高对三维点云中的空洞补全的准确性，以及增加房屋模型的完整性和美观程度。传统的点云补全方法基于一定物体基础结构的先验信息(如对称性信息或语义类信息等)，通过一定的先验信息对缺失点云进行修补。这类方法只能处理一些点云缺失率很低、结构特征十分明显的缺失点云。随着用于点云分析和生成的深度学习方法的进步，现今已经提出一些更加合理的3D点云补全工作，如LGAN-AE、PCN和3D-Capsule等。这些基于深度学习方法的点云补全工作以有缺失点云为输入，以完整点云为输出，可有效防止因离散化而导致的大量内存占用和伪影问题。但是，由于点云的无序性和不规则性，我们无法直接在点云上应用传统卷积，在不规则点云上进行深度学习仍面临许多挑战。比如，深度学习网络过于关注物体的整体特征而忽略了缺失区域的几何信息；网络会生成偏向于某类物体共性特征的点云，而失去某个物体的个体特征。日益完善的点云采集设备可以快速从物体表面扫描获得大量点云数据,但是由于目前分析和生成点云的能力有限，大规模的点云数据使设备存储和计算处理效率低下，导致重建出的模型表面失真,整体效果模糊，同时也出现了重建后的点云分布不均匀、有孔洞等一系列问题。因此在实际应用中，实现高效的点云补全从而提高点云质量在口腔医学领域中具有很重要的临床意义与研究价值。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种基于深度学习网络的二阶段牙体点云补全方法及系统。根据本专利技术提供的一种基于深度学习网络的二阶段牙体点云补全方法及系统，所述方案如下：第一方面，提供了一种基于深度学习网络的二阶段牙体点云补全方法，所述方法包括：步骤S1：基于CBCT数据与口扫数据构建初始三维牙体模型点云数据；步骤S2：构建深度学习网络MSN，利用已有的训练集和测试集完成MSN的训练；步骤S3：将步骤S1中获得的初始三维牙体模型点云数据输入到训练好的MSN中，得到补全后的完整牙体点云数据。优选的，所述步骤S1包括：步骤S1.1：通过激光扫描仪提取牙冠三维模型，并将牙冠三维模型转换为高分辨率的激光扫描第一三维牙模型点云数据；步骤S1.2：通过锥形束计算机断层扫描仪获取CBCT数据，根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为CBCT重建第二三维牙模型点云数据；步骤S1.3：使用基于多视图融合的CBCT与激光扫描点云数据牙齿配准方法对上述第一三维牙模型点云数据和第二三维牙模型点云数据进行配准，得到初始三维牙体模型点云数据。优选的，所述步骤S2包括：步骤S2.1：搭建深度学习网络MSN：MSN网络以点云为输入，经过两阶段的处理实现点云补全：第一阶段：变形预测阶段，网络呈现编码器-解码器结构，自动编码器通过提取全局特征向量(GeneralizedFeatureVector,GFV)来预测较为粗糙的完整点云，并利用膨胀惩罚来防止表面元素之间的重叠；第二阶段：融合与精细阶段，我们将粗糙点云与输入点云融合；步骤S2.2：构建联合损失函数并通过损失函数优化MSN：将膨胀惩罚损失函数Lexpansion和推土机距离损失函数LEMD结合起来作为联合损失函数，通过联合损失函数优化MSN；步骤S2.3：采用已有的训练集和测试集训练并评估MSN网络：通过临床扫描得到牙列CBCT数据及其对应的口扫数据，将配准后得到的三维牙体模型点云数据作为金标准。优选的，所述步骤S2.1中变形预测阶段具体包括：采用图卷积编码器提取点云数据特征：将输入点云X即激光扫描三维牙模型点云数据输入到图卷积编码器中，点云X位于欧几里得空间，且X中每个数据点x，x∈X的大小为1×3；对于每个数据点x，取其周围的n个点作为该数据点的邻域Nx，大小为n×3，坐标定义为xin；通过带有最大池化的点卷积操作，将Nx中n个邻域点相对于数据点x的坐标转换为大小为1×c的特征向量fin，其中c是卷积核的通道数；将xin和fin输入到图卷积网络中，输出全局特征向量，记为fout；其中，图卷积网络由修正线性单元ReLu激活函数和图卷积G-conv组成，ReLu激活函数将图卷积网络中每个神经元的输入映射到输出端；图卷积G-conv利用第τ层数据点x的特征值来计算第τ+1层数据点的特征值，其中，τ为G-conv图卷积的层数，取值范围为1～15，计算公式如下：公式中为在第τ层数据点x的特征值，为在第τ+1层数据点的特征值，w0和w1均为可学习参数，分别决定第τ层数据点x的特征值以及该数据点邻域特征值的权重；采用基于变形的解码器预测粗糙点云：解码器利用多层感知机学习从2D单位正方形到3D表面的映射，从而模拟2D正方形到3D表面的变形，生成K个表面surfacei，i＝1，2，…，K；形成具有复杂形状信息的粗糙点云；粗糙点云的正则化：将每次前向传递过程中由每个多层感知机生成的3D点视为一个顶点集，根据顶点间的欧几里德距离构建最小生成树Ti；选择Ti中直径即包含最多顶点的简单路径的中间顶点作为根节点，则所有边指向根的方向即最小生成树Ti的方向；最小生成树的边越长，表本文档来自技高网...

【技术保护点】
1.一种基于深度学习网络的二阶段牙体点云补全方法，其特征在于，包括：/n步骤S1：基于CBCT数据与口扫数据构建初始三维牙体模型点云数据；/n步骤S2：构建深度学习网络MSN，利用已有的训练集和测试集完成MSN的训练；/n步骤S3：将步骤S1中获得的初始三维牙体模型点云数据输入到训练好的MSN中，得到补全后的完整牙体点云数据。/n

【技术特征摘要】
1.一种基于深度学习网络的二阶段牙体点云补全方法，其特征在于，包括：
步骤S1：基于CBCT数据与口扫数据构建初始三维牙体模型点云数据；
步骤S2：构建深度学习网络MSN，利用已有的训练集和测试集完成MSN的训练；
步骤S3：将步骤S1中获得的初始三维牙体模型点云数据输入到训练好的MSN中，得到补全后的完整牙体点云数据。


2.根据权利要求1所述的基于深度学习网络的二阶段牙体点云补全方法，其特征在于，所述步骤S1包括：
步骤S1.1：通过激光扫描仪提取牙冠三维模型，并将牙冠三维模型转换为高分辨率的激光扫描第一三维牙模型点云数据；
步骤S1.2：通过锥形束计算机断层扫描仪获取CBCT数据，根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为CBCT重建第二三维牙模型点云数据；
步骤S1.3：使用基于多视图融合的CBCT与激光扫描点云数据牙齿配准方法对上述第一三维牙模型点云数据和第二三维牙模型点云数据进行配准，得到初始三维牙体模型点云数据。


3.根据权利要求1所述的基于深度学习网络的二阶段牙体点云补全方法，其特征在于，所述步骤S2包括：
步骤S2.1：搭建深度学习网络MSN：MSN网络以点云为输入，经过两阶段的处理实现点云补全：
第一阶段：变形预测阶段，网络呈现编码器-解码器结构，自动编码器通过提取全局特征向量(GeneralizedFeatureVector,GFV)来预测较为粗糙的完整点云，并利用膨胀惩罚来防止表面元素之间的重叠；
第二阶段：融合与精细阶段，我们将粗糙点云与输入点云融合；
步骤S2.2：构建联合损失函数并通过损失函数优化MSN：将膨胀惩罚损失函数Lexpansion和推土机距离损失函数LEMD结合起来作为联合损失函数，通过联合损失函数优化MSN；
步骤S2.3：采用已有的训练集和测试集训练并评估MSN网络：通过临床扫描得到牙列CBCT数据及其对应的口扫数据，将配准后得到的三维牙体模型点云数据作为金标准。


4.根据权利要求3所述的基于深度学习网络的二阶段牙体点云补全方法，其特征在于，所述步骤S2.1中变形预测阶段具体包括：
步骤S2.1.1：采用图卷积编码器提取点云数据特征：
将输入点云X即激光扫描三维牙模型点云数据输入到图卷积编码器中，点云X位于欧几里得空间，且X中每个数据点x，x∈X的大小为1×3；
对于每个数据点x，取其周围的n个点作为该数据点的邻域Nx，大小为n×3，坐标定义为xin；
通过带有最大池化的点卷积操作，将Nx中n个邻域点相对于数据点x的坐标转换为大小为1×c的特征向量fin，其中c是卷积核的通道数；将xin和fin输入到图卷积网络中，输出全局特征向量，记为fout；
其中，图卷积网络由修正线性单元ReLu激活函数和图卷积G-conv组成，ReLu激活函数将图卷积网络中每个神经元的输入映射到输出端；图卷积G-conv利用第τ层数据点x的特征值来计算第τ+1层数据点的特征值，其中，τ为G-conv图卷积的层数，取值范围为1～15，计算公式如下：



公式中为在第τ层数据点x的特征值，为在第τ+1层数据点的特征值，w0和w1均为可学习参数，分别决定第τ层数据点x的特征值以及该数据点邻域特征值的权重；
步骤S2.1.2：采用基于变形的解码器预测粗糙点云：解码器利用多层感知机学习从2D单位正方形到3D表面的映射，从而模拟2D正方形到3D表面的变形，生成K个表面surfacei，i＝1，2，…，K；形成具有复杂形状信息的粗糙点云；
步骤S2.1.3：粗糙点云的正则化：将每次前向传递过程中由每个多层感知机生成的3D点视为一个顶点集，根据顶点间的欧几里德距离构建最小生成树Ti；
选择Ti中直径即包含最多顶点的简单路径的中间顶点作为根节点，则所有边指向根的方向即最小生成树Ti的方向；
最小生成树的边越长，表示两点距离越远，则与其他表面的点混合的概率越大，膨胀惩罚使得这些根节点沿着边向更紧凑的区域收缩，最终达到优化生成点云的目的，其公式表述如下：






其中，dis(u,v)为顶点u和v之间的欧几里得距离；N为局部区域采样点数；(u,v)∈Ti为最小生成树Ti中以u、v为顶点的一条有向边；li表示最小生成树Ti中边的平均长度；为指示函数，用于筛除边长小于λli的边；λ为超参数，决定阈值的大小；
由于构造树中点的运动能看作无穷小，即最小生成树中点的运动不变，因此膨胀惩罚函数Lexpansion几乎处处可微，对于最小生成树Ti中的每一条有向边(u,v)∈Ti，若它的长度大于λli，则只给u一个向后的梯度，使u向v的方向收缩，形成一个更紧凑的表面surfacei。


5.根据权利要求3所述的基于深度学习网络的二阶段牙体点云补全方法，其特征在于，所述步骤S2.1中融合与精细阶段对粗糙点云作进一步优化处理，具体包括：
步骤S2.1.4：将输入点云与粗糙点云融合后作最小密度采样：
最小密度采样算法采用高斯权值求和的方法来估计点的“密度”，从融合点云中采集密度最小的点，得到均匀分布的子点云，具体公式表述如下：



其中，pt为第t个采样点；Pt-1为前t-1个采样点集，Pt＝{pj|1≤j≤t}；为除前t-1个采样点以外的点；σ取正数，用于确定算法应用的邻域大小；
步骤S2.1.5：对采样后得到的子点云作细化处理：将子点云输入到残差图卷积网络中，通过逐点的残差生成细粒度点云；
残差图卷积网络以图卷积编码器中的图卷积网络结构为基础，增加残差连接部分，将残差图卷积网络的输出结果与经过MDS算法采样得到的子点云逐点相加，最终生成可预测牙体完整形状的平滑点云；
由于输入点云数据比预测的粗糙点云数据更加可靠，因此在子点云的坐标上添加了一个二进制通道来区分每个点的来源，其中0代表来源于输入点云，1代表来源于粗糙点云。

【专利技术属性】
技术研发人员：于泽宽，张慧贤，郭向华，耿道颖，韩方凯，刘杰，王俊杰，
申请(专利权)人：复旦大学附属华山医院，
类型：发明
国别省市：上海;31