一种基于多支路融合学习的三维牙齿分割方法技术

本发明专利技术属于医学图像处理和计算机视觉技术领域，特别涉及一种基于多支路融合学习的三维牙齿分割方法，包括对原始三维牙齿模型进行数据下采样并进行特征提取；对提取的特征信息进行特征信息分离，得到坐标特征信息、向量特征信息和曲率特征信息；利用K近邻算法构建网格的局部区域，即以网格的中心点为据点，找出与该网格相邻最近的K个网格，该网格与相邻最近的K个网格一起构成局部区域的范围；对局部区域中的坐标特征信息，利用基于注意力机制的图卷积学习牙齿的细粒度几何特征；对局部区域中的向量特征信息，利用基于最大池化的图卷积学习牙齿的显著性局部细节特征；对全局区域的曲率特征信息，利用基于偏移注意力机制的最大池化和平均池化学习牙齿的全局边界约束特征。将细粒度几何特征、显著性局部细节特征和全局边界约束信息进行融合，得到对牙齿的特征描述；本发明专利技术有效得提升三维牙齿模型的分割准确率。率。率。

【技术实现步骤摘要】
一种基于多支路融合学习的三维牙齿分割方法


[0001]本专利技术属于医学图像处理和计算机视觉
，特别涉及一种基于多支路融合学习的三维牙齿分割方法。

技术介绍

[0002]口腔健康是全民健康的重要组成部分。随着社会经济发展，人民生活质量提高，人们对于自身牙齿健康更加关注。目前我国口腔医疗人才存在明显趋紧的局面。然而，数字化口腔医疗技术的应用将成为传统口腔医疗行业面临牙医缺稀问题的一个突破口。
[0003]得益于人工智能的快速发展，数字化口腔医疗正在逐渐打破传统口腔医疗的壁垒，其中计算机辅助治疗系统更是在口腔领域应用广泛，极大地提升口腔治疗效率。从口腔扫描图像中精确分割牙齿是计算机辅助治疗系统的一项重要任务，其分割结果可以应用于修复、矫正、重排和种植等方面，协助口腔医师制定患者治疗计划。
[0004]由于三维数据结构的无序性和无结构性；患者牙齿情况复杂，存在牙齿错位、牙齿缺失和带有托槽等现象；患者之间牙齿分布和排列差异较大。上述难点都为数字化三维牙齿分割带来巨大的挑战。传统的数字化三维牙齿分割方法，依赖于大量的先验知识，且需要一定的人工干预，无法实现全自动、智能化的牙齿分割。现有基于深度学习的数字化三维牙齿分割方法，在牙齿错乱、牙齿牙龈边界分割效果欠佳，常出现过分割或者欠分割，以及边界分割不清晰的情况。

技术实现思路

[0005]为了有效的解决三维模型牙齿分割中牙齿情况复杂分割不准确的问题，以及牙齿和牙龈边界分割不准确的问题，本专利技术提出一种基于多支路融合学习的三维牙齿分割方法，具体包括以下步骤：
[0006]S1、对原始三维牙齿模型进行数据下采样并进行特征提取；
[0007]S2、对提取的特征信息进行特征信息分离，得到坐标特征信息、向量特征信息和曲率特征信息；
[0008]S3、利用K近邻算法构建网格的局部区域，即以网格的中心点为据点，找出与该网格相邻最近的K个网格，该网格与相邻最近的K个网格一起构成局部区域的范围；
[0009]S4、对局部区域中的坐标特征信息，利用基于注意力机制的图卷积学习牙齿的细粒度几何特征；对局部区域中的向量特征信息，利用基于最大池化的图卷积学习牙齿的显著性局部细节特征；对全局区域中的曲率特征信息，利用基于偏移自注意力机制的最大池化和平均池化学习牙齿的全局边界约束特征。
[0010]S5、将细粒度几何特征、显著性局部细节特征和全局边界约束特征进行融合，得到对牙齿的特征描述；
[0011]S6、将对牙齿的特征描述输入多层感知器，得到牙齿分割预测。
[0012]本专利技术采用基于多支路融合学习的方法对三维牙齿模型进行分割，对不同属性特
征分别进行特征提取，获取牙齿细粒度几何特征、显著性局部细节特征和全局边界约束特征，并通过多视图探索不同属性间特征的共享特征信息和独有特征信息，获得更加充分的牙齿特征描述，有效得提升三维牙齿模型的分割准确率。
附图说明
[0013]图1为本专利技术一种基于多支路融合学习的三维牙齿分割方法整体流程示意图；
[0014]图2为本专利技术基于多支路融合学习的三维牙齿分割网络结构示意图；
[0015]图3为本专利技术坐标信息支路结构示意图；
[0016]图4为本专利技术向量信息支路结构示意图；
[0017]图5为本专利技术曲率信息支路结构示意图；
[0018]图6为本专利技术含有不同属性几何特征的三维牙齿模型图像。
具体实施方式
[0019]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0020]本专利技术提出一种基于多支路融合学习的三维牙齿分割方法，如图1，具体包括以下步骤：
[0021]S1、对原始三维牙齿模型进行数据下采样并进行特征提取；
[0022]S2、对提取的特征信息进行特征信息分离，得到坐标特征信息、向量特征信息和曲率特性信息；
[0023]S3、利用K近邻算法构建一个网格的局部区域，即将距离当前网格最近的K个网格作为当前网格的局部区域范围；
[0024]S3、对局部区域中的坐标特征信息，利用基于注意力机制的图卷积学习牙齿的细粒度几何特征；对局部区域中的向量特征信息，利用基于最大池化的图卷积学习牙齿的显著性局部细节特征；对全局区域中曲率特征信息，利用基于偏移注意力机制的最大池化和平均池化学习牙齿的全局边界约束特征。
[0025]S4、将细粒度几何特征、显著性局部细节特征和全局边界约束特征进行融合，得到对牙齿的特征描述；
[0026]S5、将对牙齿的特征描述输入多层感知器，得到牙齿分割预测。
[0027]在本实施例中，利用数字化三维牙齿模型中的顶点坐标计算求得网格的中心点坐标和网格面的法向量，并获取有关坐标特征信息和向量特征信息的特征。具体而言，对于网格m
i
而言，其三个顶点的坐标值分别为v
i,1
＝[x1,y1,z1]，v
i,2
＝[x2,y2,z2]，v
i,3
＝[x3,y3,z3]，三个顶点的法向量值分为n
i,1
＝[o,1p,q1]，n
i,2
＝[o2,p2,q2]，n
i,3
＝[o3,p3,q3]。对于网格m
i
，其中心点坐标m
i,c
计算公式如下：
[0028][0029]其面法向量m
i,n
计算公式如下：
[0030][0031]其特征向量F
i,total
：
[0032]F
i,total
＝[v
i,1
,v
i,2
,v
i,3
,m
i,c
,n
i,1
,n
i,2
,n
i,3
,m
i,n
,r
i,1
,r
i,2
,r
i,3
,r
i,4
][0033]本专利技术的整体分割网络结构示意图如图2所示，网络对从下采样数字化三维牙齿数据中获得特征进行分离，分离为坐标特征、向量特征和曲率特征：
[0034]F
coor
＝[v
i,1
,v
i,2
,v
i,3
,m
i,c
][0035]F
nor
＝[n
i,1
,n
i,2
,n
i,3
,m
i,n
][0036]F
cur
＝[r
i,1
,r
i,2
,r
i,本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多支路融合学习的三维牙齿分割方法，其特征在于，具体包括以下步骤：S1、对原始三维牙齿模型进行数据下采样并进行特征提取；S2、对提取的特征信息进行特征信息分离，得到坐标特征信息和向量特征信息；S3、利用K近邻算法构建网格的局部区域，即以网格的中心点为据点，找出与该网格相邻最近的K个网格，该网格与相邻最近的K个网格一起构成局部区域的范围；S4、对局部区域中的坐标特征信息，利用基于注意力机制的图卷积学习牙齿的细粒度几何特征；对局部区域中的向量特征信息，利用基于最大池化的图卷积学习牙齿的显著性局部细节特征；对全局区域的曲率特征信息，利用基于偏移注意力机制的最大池化和平均池化学习牙齿的全局边界约束特征。S5、将细粒度几何特征、显著性局部细节特征和全局边界约束特征进行融合，得到对牙齿的特征描述；S6、将对牙齿的特征描述输入多层感知器，得到牙齿分割预测。2.根据权利要求1所述的一种基于多支路融合学习的三维牙齿分割方法，其特征在于，步骤S1中对原始三维牙齿模型进行数据下采样的过程包括以下步骤：将原始三维牙齿模型中的网格数下采样至M个；根据三个顶点的坐标值和法向量值求得网格中心点的坐标值和网格面法向量值，即若网络m
i
的三个顶点的坐标值分别为v
i,1
＝[x1,y1,z1]、v
i,2
＝[x2,y2,z2]、v
i,3
＝[x3,y3,z3]，三个顶点的法向量值分为n
i,1
＝[o1,p1,q1]、n
i,2
＝[o2,p2,q2]、n
i,3
＝[o3,p3,q3]，则网格m
i
的中心点坐标m
i,c
表示为：网格m
i
的面法向量表示为：其中，i表示三维空间中x轴正方向的单位向量，j表示三维空间中y轴正方向的单位向量，k表示三维空间z轴正方向的单位向量。利用理论Normal Cycles理论计算网格m
i
中每个顶点曲率信息，包括最大曲率、最小曲率、平均曲率和高斯曲率，三个顶点的曲率信息分别表示为r
i,1
＝[b1,s1,a1,g1，r
i,2
＝[b2,s2,a2,g2]，r
i,3
＝[b3,s3,a3,g3]。3.根据权利要求2所述的一种基于多支路融合学习的三维牙齿分割方法，其特征在于，步骤S1中对下采样后的数据进行特征提取，提取的特征表示为：F
i,total
＝[v
i,1
,v
i,2
,v
i,3
,m
i,c
,n
i,1
,n
i,2
,n
i,3
,m
i,n
,r
i,1
,r
i,2
,r
i,3
,r
i,4
]4.根据权利要求2所述的一种基于多支路融合学习的三维牙齿分割方法，其特征在于，对提取的特征信息进行特征信息分离，得到坐标特征信息、向量特征信息和曲率特征信息，其中坐标特征信息表示为：F
coor
＝[v
i,1
,v
i,2
,v
i,3
,m
i,c
]向量特征信息表示为：
F
nor
＝[n...

【专利技术属性】
技术研发人员：赵悦，陈鑫柠，刘洋，
申请(专利权)人：重庆医科大学附属口腔医院，
类型：发明
国别省市：