基于口腔扫描视频的正畸治疗监测方法及装置制造方法及图纸

本发明专利技术公开了一种基于口腔扫描视频的正畸治疗监测方法及装置，该方法设计了一个基于深度学习的框架来测量正畸治疗的矫正程度，它可以重建、分割和估计单个牙齿的姿态。本发明专利技术首先构建牙齿实例分割模型，在该模型中构建了一个新的异质特征交互模块，它扩展了图的注意力，通过在不同的图中传播信息来有效融合异质数据。然后构建牙齿点云注册模型，并在点云注册过程中设计了一种挖掘结构信息的四元损失函数，通过测量负例样本中的多样性来探索不匹配的点之间的关系。最后，将预测的牙齿姿态与目标牙齿姿态进行比较，以检查正畸治疗结果是否与计划一致。否与计划一致。否与计划一致。

【技术实现步骤摘要】
基于口腔扫描视频的正畸治疗监测方法及装置


[0001]本专利技术涉及计算机
，尤其涉及一种基于口腔扫描视频的正畸治疗监测方法及装置。

技术介绍

[0002]牙齿正畸矫治技术是通过给患者周期性佩戴牙齿矫治器，进而达到逐步改变牙齿位置姿态等的目的。
[0003]现阶段，矫治过程中的正畸治疗监测主要靠患者定期到诊所进行检查，通过医生肉眼观察来评估当前治疗阶段的正畸效果，一旦医生发现正畸效果未按照设计方案制定的方向去生长，则需要及时调整牙齿矫治器以保证治疗的顺利进行。但是，这种正畸治疗监测方法效率较低，难以满足用户需求。最近，基于深度学习的齿科技术取得了重大的进展，尤其是点云分割技术与点云注册技术。从口腔扫描视频中进行正畸治疗监测的研究是牙科数字化的一个新方向，但鲜有人探索点云分割与点云注册在正畸治疗检测上的研究。

技术实现思路

[0004]本专利技术的目的在于针对现有技术的不足，提供一种基于口腔扫描视频的正畸治疗监测方法及装置。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种基于口腔扫描视频的正畸治疗监测方法，该方法包括以下步骤：
[0006]S1，获取当前阶段患者的RGB
‑
D口腔扫描视频；
[0007]S2，将所述口扫描视频重建成3D颌骨模型；
[0008]S3，基于所述3D颌骨模型训练3D牙齿实例分割模型，得到3D颌骨模型中每个牙齿的实例标签及其所属的3D区域；
[0009]S4，将当前阶段目标牙齿所属的3D区域对应的包括位置和颜色信息的点云数据，与正畸前3D颌骨模型中该牙齿对应的点云数据进行点云注册，得到目标牙齿的变换位姿。
[0010]进一步地，所述3D牙齿实例分割模型为基于SoftGroup模型实现的点云实例分割模型。
[0011]进一步地，所述3D牙齿实例分割模型中构建异质特征交互模块，通过使用图注意力在不同的图之间传播局部信息，从而与异质特征相互作用，从而增强了实例分割中的上下文特征提取能力。
[0012]进一步地，所述3D牙齿实例分割模型包括骨干网络、异质特征交互模块、前景语义分割分支、中心偏移预测分支、特征提取模块和语义分割模块；
[0013]将S2重建得到的3D颌骨模型中点的颜色和三维坐标分别作为骨干网络的输入，分别输出多层颜色特征和多层三维坐标特征到异质特征交互模块；
[0014]所述异质特征交互模块使用K近邻方法，分别利用多层颜色特征和多层三维坐标特征构建两个多层邻接图集合；利用多层感知(MLP)映射，获取同层图内和图间的局部特征
信息来更新3D颌骨模型中的点云特征；利用图注意力对同层图内和图间的局部特征进行聚合，从而得到融合了异质特征的上下文特征并分别输入前景语义分割分支和中心偏移预测分支；
[0015]所述前景语义分割分支用于预测3D牙颌模型上的牙齿点云区域，所述中心偏移预测分支用于预测3D牙颌模型上每个点到其所属牙齿中心的偏移量；
[0016]根据所述前景语义分割分支和所述中心偏移预测分支的输出得到初始牙齿实例分割结果并输入到特征提取模块；
[0017]所述特征提取模块用于提取每个初始牙齿实例的点云特征；
[0018]所述语义分割模块用于改善初始牙齿实例分割结果，得到每个牙齿的实例标签及其所属的3D区域。
[0019]进一步地，所述异质特征交互模块的具体实现为：
[0020]使用K近邻方法，根据多层颜色特征构建多层邻接图G1(V
1,l
,E
1,l
)；根据多层三维坐标特征构建多层邻接图G2(V
2,l
,E
2,l
)；其中：
[0021]矩阵和分别表示G1(V
1,l
,E
1,l
)的节点集和边集；m
i1,l
表示邻接图G1(V
1,l
,E
1,l
)中层l中的第i个节点，其对应的特征是f
i1,l
；表示邻接图G1(V
1,l
,E
1,l
)中层l中第i个节点和第j个节点的边，其对应的特征是N表示节点数，l∈{1,2,...,L
max
}，L
max
表示层数；
[0022]矩阵和分别表示G2(V
2,l
,E
2,l
)的节点集和边集；示邻接图G2(V
2,l
,E
2,l
)中层l中的第i个节点，其对应的特征是f
i2,l
；表示邻接图G2(V
2,l
,E
2,l
)中层l中第i个节点和第j个节点的边，其对应的特征是f
ij2,l
；
[0023]将代表颜色特征的邻接图G1(V
1,l
,E
1,l
)和代表三维坐标特征的邻接图G2(V
2,l
,E
2,l
)进行如下联合分析：
[0024]a)通过多层感知(MLP)映射，利用同层图内和图间的局部特征来更新节点特征，公式如下：
[0025][0026][0027][0028][0029]其中，[
·
]表示特征拼接操作，i、j、k分别表示节点索引；表示利用同层图内颜色特征更新颜色特征，表示利用同层图间三维坐标特征更新颜色特征，表示利用同层图内三维坐标特征更新三维坐标特征，表示利用同层图间颜色特征更新三维坐标特征；表示需要学习的多层感知机权值矩阵；
[0030]b)求取图内和图间的多维注意力权重，公式如下：
[0031][0032][0033][0034][0035]其中，表示利用同层图内颜色特征得到的颜色注意力权重，表示利用同层图间三维坐标特征得到的颜色注意力权重，表示利用同层图内三维坐标特征得到的三维坐标注意力权重，表示利用同层图间颜色特征得到的三维坐标注意力权重；表示利用同层图间颜色特征得到的三维坐标注意力权重；表示需要学习的多层感知机权值矩阵；
[0036]c)利用第l层的图内和图间的多维注意力权重对局部特征进行聚合，得到第l+1层的图内上下文特征和图间上下文特征，具体公式如下：
[0037][0038][0039][0040][0041]其中，
⊙
表示元素之间的积，i、j分别表示节点索引，表示利用第l层的颜色特征得到的第l+1层的颜色上下文特征，表示利用第l层的三维坐标特征得到的第l+1层的颜色上下文特征，表示利用第l层的三维坐标特征得到的第l+1层的三维坐标上下文特征，表示利用第l层的颜色特征得到的第l+1层的三维坐标上下文特征；
[0042]d)对颜色和三维坐标分别进行图内上下文特征、图间上下文特征、节点特征的融合，具体公式如下：
[0043][0044][0045]其中，f
il1,+1
为利用第l层第i个节本文档来自技高网...

【技术保护点】

【技术特征摘要】
(V
2,l
,E
2,l
)中层l中第i个节点和第j个节点的边，其对应的特征是将代表颜色特征的邻接图G1(V
1,l
,E
1,l
)和代表三维坐标特征的邻接图G2(V
2,l
,E
2,l
)进行如下联合分析：a)通过多层感知映射，利用同层图内和图间的局部特征来更新节点特征，公式如下：a)通过多层感知映射，利用同层图内和图间的局部特征来更新节点特征，公式如下：a)通过多层感知映射，利用同层图内和图间的局部特征来更新节点特征，公式如下：a)通过多层感知映射，利用同层图内和图间的局部特征来更新节点特征，公式如下：其中，[
·
]表示特征拼接操作，i、j、k分别表示节点索引；表示利用同层图内颜色特征更新颜色特征，表示利用同层图间三维坐标特征更新颜色特征，表示利用同层图内三维坐标特征更新三维坐标特征，表示利用同层图间颜色特征更新三维坐标特征；表示需要学习的多层感知机权值矩阵；b)求取图内和图间的多维注意力权重，公式如下：b)求取图内和图间的多维注意力权重，公式如下：b)求取图内和图间的多维注意力权重，公式如下：b)求取图内和图间的多维注意力权重，公式如下：其中，表示利用同层图内颜色特征得到的颜色注意力权重，表示利用同层图间三维坐标特征得到的颜色注意力权重，表示利用同层图内三维坐标特征得到的三维坐标注意力权重，表示利用同层图间颜色特征得到的三维坐标注意力权重；表示利用同层图间颜色特征得到的三维坐标注意力权重；表示需要学习的多层感知机权值矩阵；c)利用第l层的图内和图间的多维注意力权重对局部特征进行聚合，得到第l+1层的图内上下文特征和图间上下文特征，具体公式如下：内上下文特征和图间上下文特征，具体公式如下：内上下文特征和图间上下文特征，具体公式如下：
其中，
⊙
表示元素之间的积，i、j分别表示节点索引，表示利用第l层的颜色特征得到的第l+1层的颜色上下文特征，表示利用第l层的三维坐标特征得到的第l+1层的颜色上下文特征，表示利用第l层的三维坐标特征得到的第l+1层的三维坐标上下文特征，表示利用第l层的颜色特征得到的第l+1层的三维坐标上下文特征；d)对颜色和三维坐标分别进行图内上下文特征、图间上下文特征、节点特征的融合，具体公式如下：体公式如下：其中，f
i1,l+1
为利用第l层第i个节点的颜色特征f
i1,l
与颜色上下文特征更新得到的第l+1层的颜色上下文特征；f
i2,l+1
为利用第l层第i个节点的三维坐标特征与三维坐标上下文特征更新得到的第l+1层的三维坐标上下文特征；上下文特征；表示需要学习的多层感知机权值矩阵。6.根据权利要求1所述的方法，其特征在于，步骤S4中，将当前阶段目标牙齿所属的3D区域对应的包括位置和颜色信息的点云数据作为目标点云T，将正畸前3D颌骨模型中该牙齿对应的点云数据作为源点云S，进行点云注册的具体步骤为：(1)通过注册骨干网络分别提取源点云S和目标点云T的局部几何特征；具体为：注册骨干网络采用KPFCN，通过删除KPFCN中的解码单元，从而使得注册骨干网络能够得到源点云S和目标点云T的下采样和并分别提取源点云S和目标点云T的带有位置编码的局部几何特征和(2)通过将注册骨干网络的输出输入到两个串联的TMP块中预测得到源点云到目标点云的变换矩阵；所述TMP块中的具体操作为：(a)通过注意力层分别得到源点云S和目标点云T的非局部上下文特征，并实现源点云S与目标点云T之间的信息融合；(b)位置感知的特征匹配，包括：根据注意力层的带有位置信息的输出，计算源点云S和目标点云T之间的匹配矩阵Z，公式如下：其中，Z(i，j)为源点云S中的点i和目标点云T中的点j之间的匹配分数，d表示注意力层输出特征的通道数，<
·
，
·
>表示求内积运算，是两个需要学习的投影矩阵，用于对注意力层输出的特...

【专利技术属性】
技术研发人员：田彦，简国堂，王昊，徐永川，林毅龙，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：