一种基于半监督的CBCT与激光扫描点云数据配准方法技术

本发明专利技术公开了一种基于半监督的CBCT与激光扫描点云数据配准方法。本发明专利技术获取不同来源的点云数据，分别得到完整模型点云数据和牙冠模型点云数据，然后进行去噪，对去噪后的点云数据进行下采样，通过半监督网络进行点云数据配准得到完整的点云数据，最后利用构建的损失函数对完整的点云数据进行半监督修正；本发明专利技术采用半监督或非监督的方式进行训练，通过在特征空间上最小化投影误差来解决配准问题，而不需要搜索对应项；该方法比传统的配准方法、先进的特征学习方法和深度学习配准方法具有更好的精度。可以处理明显的噪声、密度差和点云部分重叠等问题。

【技术实现步骤摘要】
一种基于半监督的CBCT与激光扫描点云数据配准方法
本专利技术涉及医学图像处理
，具体涉及一种基于半监督的CBCT与激光扫描点云数据配准方法。
技术介绍
在口腔医学领域内，正畸治疗需要完整的三维牙模型进行诊断、制定正畸治疗计划和监测牙体运动等过程，与此同时完整、精确的三维牙体模型也是牙科种植体或正颌外科手术计划的必要前提，医生通过三维模型可以对病人病灶部位的三维空间位置有更加深刻的理解。获得口腔内三维牙体模型方式有两种：基于锥形束计算机断层扫描(CBCT)图像重建和直接患者口内扫描或光学扫描石膏模型方式获取。CBCT图像可快速获得患者口腔内图像包括三个视平面(矢状，冠状和横向)的解剖结构，通过CBCT图像构建完整的三维牙齿模型也是现在数字化正畸软件中常用的三维牙齿模型可视化手段，但由于CBCT的精度、切片厚度、金属伪影的影响以及患者在拍摄CBCT图像时牙齿为咬合状态，导致重建的三维牙模型的牙冠表面精度低、上下牙冠难以分开等现象。随着光学设备发展，诸多学者利用点、线激光光束或是图像传感器CCD技术直接获取三维牙模型的三角形网格模型进行研究，通过这种方法获得的数字化虚拟三维牙模型具有较高的精度，但扫描结果只能获取表面信息即牙冠与牙龈表面信息，但无法获得含有牙根的完整牙体数据。因此，对CBCT与口内激光扫描点云数据牙齿的融合配准，构建完整的三维牙模型从而辅助牙齿种植、正畸治疗是十分必要的。点云配准是将同一三维场景或物体的不同扫描转换为一个坐标系统的过程，配准对于机器人视觉和增强现实等许多任务都是至关重要的。现有的点云配准的方法主要分为以下几类：基于深度学习的配准方法、基于改进的迭代最近点ICP的配准方法、基于超体素的配准方法、基于多视图融合的配准方法。在众多配准方法中，20世纪90年代初引入的迭代最近点(ICP)算法是最著名的在欧氏(刚性)变换下高效配准两个二维或三维点集的算法，它的概念简单而直观。尽管ICP降低了一定的目标函数测量对准度，但由于问题的非凸性以及需要良好的初始化，否则很容易陷入局部极小值，导致ICP经常陷入次优局部极值。为了解决ICP的局部优化和其他困难，衍生出了许多基于ICP算法的改进算法。这些算法从移除误匹配点、构造误差度量函数、求解误差函数等角度出发进行优化。基于超体素的彩色点云数据配准方法通过添加点云的颜色信息辅助点云初始的几何对齐，使变换估计更准确地进行鲁棒配准。基于多视图融合的配准方法实现了网络内的多视图渲染，具有可优化的视点，可以与后期联合训练，并通过软视点池集中集成了视图间的卷积特性，但是该方法不适用于户外场景不能做到实时配准。虽然目前现有配准方法经过了不断的优化，但是大部分只估计点云数据的单一特征，不能基于全局的概述点云数据的性能和状态，并且当点云数据量大时，估计全部点云数据的特征耗时长且精度低，同时受到噪音、点云重叠等因素影响，导致配准方法鲁棒性差、准确率低等问题。
技术实现思路
为了到满足临床需求的完整的牙齿或牙列模型，本专利技术提出了一种基于半监督的CBCT与激光扫描点云数据配准方法，以克服现有点云配准技术的不足。本专利技术的基于半监督的CBCT与激光扫描点云数据配准方法，包括以下步骤：1)获取不同来源的点云数据：根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为完整模型点云数据，以及采用激光扫描仪提取出牙冠三维模型，并将牙冠三维模型转换为牙冠模型点云数据；2)利用统计离群消除滤波器分别对完整模型点云数据和牙冠模型点云数据进行去噪处理，得到去噪后的完整模型点云数据和牙冠模型点云数据；3)分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，降低点云数据量；4)通过半监督网络进行点云数据配准：a)对点云数据进行初始特征提取：通过深度学习网络DGCNN分别将下采样后的完整模型点云数据和牙冠模型点云数据逐点嵌入到高维空间中，查找完整模型点云数据和牙冠模型点云数据的匹配点对，寻找点云数据上每个匹配点对的特性，从而生成映射关系m(·)，进行刚性转换，生成全局特征向量，全局特征向量包含特征点的局部邻域信息；b)对点云数据进行编码：通过编码器对嵌入到高维空间中的完整模型点云数据和牙冠模型点云数据转换成二次图像，对二次图像提取含有旋转信息的特征，这样才能反映变换估计过程中的旋转差异，相比于PointNet网络采用两个mlp层和一个max-pool层提取特征，本专利技术方法抛弃了输入变换和特征变换层，使特征含有点云旋转性差异；c)对特征进行解码：采用解码器在无监督的情况下进行训练，将由完整模型点云数据和牙冠模型点云数据生成的全局特征向量以及含有旋转信息的特征分别恢复至对应的点云数据；这有助于编码器模块在知道旋转差异的情况下学习生成独特的特征；d)以特征进行配准实现融合：通过最小化特征度量投影误差，利用全局特征向量以及含有旋转信息的特征对完整模型点云数据和牙冠模型点云数据进行配准，从而对完整模型点云数据和牙冠模型点云数据实现融合，得到完整的点云数据，实现配准的优化；5)构建损失函数：分别构建倒角损失函数和几何损失函数，对倒角损失函数和几何损失函数进行叠加，得到用于半监督修正的损失函数；6)利用构建的损失函数对步骤4)完整的点云数据进行半监督修正。其中，在步骤1)中，从CBCT数据中提取出的牙齿完整模型包含牙冠和压根部分，为完整的牙齿模型，但分辨率低。激光扫描提供的牙冠三维模型分辨率高，但仅提供牙冠三维信息与粘膜的表面信息。在步骤2)中，利用统计离群消除滤波器对点云数据进行去噪处理，包括以下步骤：a)采用k近邻算法计算点云数据中每个数据点到其最近k个邻域点的平均距离d，k为选取领域点个数，设置为1～10；b)计算平均距离d的期望值dm和标准差s；c)根据期望值dm和标准差s，计算距离阈值dt的计算公式，dt＝dm+λ×s其中，λ为标准差参数，λ取值为0.1～0.3；d)将每一个特征点的平均距离d与距离阈值dt作比较，若d>dt，则滤除该点，否则保留。在步骤3)中，分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，包括以下步骤：(1)点云数据的搜索空间划分确定完整模型点云数据和牙冠模型点云数据在空间中的大小，得到X、Y和Z坐标轴的最小值和最大值分别为Min_x、Max_x、Min_y、Max_y、Min_z和Max_z，构建牙齿点云的最大空间范围：[Min_x,Max_x]×[Min_y,Max_y]×[Min_z,Max_z]，对牙齿点云最大范围进行空间分割，得到牙齿点云的最大包围盒L：其中，β为调整牙齿最大包围盒的大小因子，取值为0.5～0.8，k为选取领域点个数，设置为1～10；(2)点云数据的法向量估计将位于最大包围盒L内的每个完整模型点云数据和牙冠模型点云数据的数据点的法向量作为该数据点的拟合切平面的本文档来自技高网...

【技术保护点】
1.一种基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，所述方法包括以下步骤：/n1)获取不同来源的点云数据：/n根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为完整模型点云数据，以及采用激光扫描仪提取出牙冠三维模型，并将牙冠三维模型转换为牙冠模型点云数据；/n2)利用统计离群消除滤波器分别对完整模型点云数据和牙冠模型点云数据进行去噪处理，得到去噪后的完整模型点云数据和牙冠模型点云数据；/n3)分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，降低点云数据量；/n4)通过半监督网络进行点云数据配准：/na)对点云数据进行初始特征提取：/n通过深度学习网络DGCNN分别将下采样后的完整模型点云数据和牙冠模型点云数据逐点嵌入到高维空间中，查找完整模型点云数据和牙冠模型点云数据的匹配点对，寻找点云数据上每个匹配点对的特性，从而生成映射关系，进行刚性转换，生成全局特征向量，全局特征向量包含特征点的局部邻域信息；/nb)对点云数据进行编码：/n通过编码器对嵌入到高维空间中的完整模型点云数据和牙冠模型点云数据转换成二次图像，对二次图像提取含有旋转信息的特征；/nc)对特征进行解码：/n采用解码器在无监督的情况下进行训练，将由完整模型点云数据和牙冠模型点云数据生成的全局特征向量以及含有旋转信息的特征分别恢复至对应的点云数据；/nd)以特征进行配准实现融合：/n通过最小化特征度量投影误差，利用全局特征向量以及含有旋转信息的特征对完整模型点云数据和牙冠模型点云数据进行配准，从而对完整模型点云数据和牙冠模型点云数据实现融合，得到完整的点云数据；/n5)构建损失函数：/n分别构建倒角损失函数和几何损失函数，对倒角损失函数和几何损失函数进行叠加，得到用于半监督修正的损失函数；/n6)利用构建的损失函数对步骤4)得到的完整的点云数据进行半监督修正。/n...

【技术特征摘要】
1.一种基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，所述方法包括以下步骤：
1)获取不同来源的点云数据：
根据区域增长法从CBCT数据中提取出牙齿完整模型，并将牙齿完整模型转换为完整模型点云数据，以及采用激光扫描仪提取出牙冠三维模型，并将牙冠三维模型转换为牙冠模型点云数据；
2)利用统计离群消除滤波器分别对完整模型点云数据和牙冠模型点云数据进行去噪处理，得到去噪后的完整模型点云数据和牙冠模型点云数据；
3)分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，降低点云数据量；
4)通过半监督网络进行点云数据配准：
a)对点云数据进行初始特征提取：
通过深度学习网络DGCNN分别将下采样后的完整模型点云数据和牙冠模型点云数据逐点嵌入到高维空间中，查找完整模型点云数据和牙冠模型点云数据的匹配点对，寻找点云数据上每个匹配点对的特性，从而生成映射关系，进行刚性转换，生成全局特征向量，全局特征向量包含特征点的局部邻域信息；
b)对点云数据进行编码：
通过编码器对嵌入到高维空间中的完整模型点云数据和牙冠模型点云数据转换成二次图像，对二次图像提取含有旋转信息的特征；
c)对特征进行解码：
采用解码器在无监督的情况下进行训练，将由完整模型点云数据和牙冠模型点云数据生成的全局特征向量以及含有旋转信息的特征分别恢复至对应的点云数据；
d)以特征进行配准实现融合：
通过最小化特征度量投影误差，利用全局特征向量以及含有旋转信息的特征对完整模型点云数据和牙冠模型点云数据进行配准，从而对完整模型点云数据和牙冠模型点云数据实现融合，得到完整的点云数据；
5)构建损失函数：
分别构建倒角损失函数和几何损失函数，对倒角损失函数和几何损失函数进行叠加，得到用于半监督修正的损失函数；
6)利用构建的损失函数对步骤4)得到的完整的点云数据进行半监督修正。


2.如权利要求1所述的基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，在步骤2)中，利用统计离群消除滤波器对点云数据进行去噪处理，包括以下步骤：
a)采用k近邻算法计算点云数据中每个数据点到其最近k个邻域点的平均距离d，k为选取领域点个数；
b)计算平均距离d的期望值dm和标准差s；
c)根据期望值dm和标准差s，计算距离阈值dt的计算公式，
dt＝dm+λ×s
其中，λ为标准差参数，λ取值为0.1～0.3；
d)将每一个特征点的平均距离d与距离阈值dt作比较，若d>dt，则滤除该点，否则保留。


3.如权利要求1所述的基于半监督的CBCT与激光扫描点云数据配准方法，其特征在于，在步骤3)中，分别对去噪后的完整模型点云数据和牙冠模型点云数据进行下采样，包括以下步骤：
(1)点云数据的搜索空间划分
确定完整模型点云数据和牙冠模型点云数据在空间中的大小，得到X、Y和Z坐标轴的最小值和最大值分别为Min_x、Max_x、Min_y、Max_y、Min_z和Max_z，构建牙齿点云的最大空间范围：[Min_x,Max_x]×[Min_y,Max_y]×[Min_z,Max_z]，对牙齿点云最大范围进行空间分割，得到牙齿点云的最大包围盒L：



其中，β为调整牙齿最大包围盒的大小因子...

【专利技术属性】
技术研发人员：于泽宽，陈斌赫，张洁，王俊杰，金冠男，
申请(专利权)人：万申北京科技有限公司，
类型：发明
国别省市：北京;11