一种口腔正畸效果预览图像生成方法及装置制造方法及图纸

本发明专利技术涉及一种口腔正畸效果预览图像生成方法及装置，其中方法包括：步骤

【技术实现步骤摘要】
一种口腔正畸效果预览图像生成方法及装置


[0001]本专利技术涉及图像处理领域，尤其是涉及一种口腔正畸效果预览图像生成方法及装置
。

技术介绍

[0002]口腔正畸是矫正牙齿
、
改善牙齿外观和解除错颌畸形的过程，目的是排齐牙齿和恢复正常的咬合关系，主要适用于牙齿不齐但颌骨正常的情况
。
在正畸治疗过程中，拍摄不同角度的微笑照片和口内扩口照片可以帮助医生和患者了解治疗进程，比较治疗前后的变化和效果
。
通过观察正面微笑照片，医生可以更好地了解患者的牙齿问题和面部特征，制定更有效的治疗计划
。
正面微笑照片还可以清晰地显示患者的牙齿和面部轮廓，可以更准确地评估治疗效果，也便于医生及时调整治疗计划
。
此外，在牙齿矫正治疗前，患者可能因为不美观的牙齿而感到自卑，通过拍摄正面微笑照片，患者可以看到自己治疗前后的变化和进步，增强自信心，提高生活质量
。
然而，正面微笑照片通常由医生定期拍摄定期记录，即未进行正畸和正畸治疗刚开始的患者无法对预期的正畸治疗效果产生清晰的认知
。
因此，通过深度学习等技术，根据用户输入的正面微笑照片或口内扩口正面像以及正畸治疗过程的先验知识，对正畸后牙齿排列整齐的口腔图片和三维牙齿模型进行预测，对正畸患者的治疗和潜在正畸患者的决策有着指导意义
。

技术实现思路

[0003]本专利技术的目的就是为了提供一种口腔正畸效果预览图像生成方法及装置
。/>[0004]本专利技术的目的可以通过以下技术方案来实现：
[0005]一种口腔正畸效果预览图像生成方法，包括：
[0006]步骤
S1
：基于口内扫描得到的数字化三维牙齿模型，建立三维牙齿模板；
[0007]步骤
S2
：构造用于对单张原始正面微笑照片的嘴部区域或正面口内扩口照片进行牙齿语义分割的语义分割模型，构建对口腔内部区域进行分割并提取具有牙位信息的二维牙齿轮廓的口腔内部区域分割模型；
[0008]步骤
S3
：获取用户的原始正面照片，依次利用语义分割模型和口腔内部区域分割模型对用户原始正面照片进行处理得到具有牙位信息的牙齿轮廓和口腔内部区域掩码，其中，所述正面照片为微笑照或扩口照；
[0009]步骤
S4
：迭代优化相机参数与牙齿模板参数优化轮廓匹配损失函数，将三维牙齿模板变形使其投影得到的对应牙位的牙齿轮廓拟合具有牙位信息的牙齿轮廓，以重建用户个性化的三维牙齿模型；
[0010]步骤
S5
：对用户个性化的三维牙齿模型进行排牙补齐，并将排牙后的个性化的三维牙齿模型在相同相机参数下的投影得到牙齿语义分割图；
[0011]步骤
S6
：将牙齿语义分割图
、
口腔内部区域掩码，以及用户的原始正面照片对应于所述口腔内部区域掩码的部分输入训练好的正面照片正畸效果预览模型，得到牙齿正畸后
的正面微笑图或扩口照
。
[0012]所述步骤
S1
包括：
[0013]步骤
S11
：获取多组数字化三维牙齿模型，并对各数字化三维牙齿模型进行切分
、
编号和补全操作得到具有牙位信息的三维牙齿模型；
[0014]步骤
S12
：根据每颗牙齿的重心将各三维牙齿模型的上下牙列分别按照对应的牙位进行对齐，并计算每个牙位对应的牙齿的平均重心；
[0015]步骤
S13
：使用一致性点飘移的点云配准算法将属于相同牙位的不同牙齿进行相似变换配准，记录牙齿位姿和对应点关系；
[0016]步骤
S14
：根据对应点关系建立各牙位单颗牙齿的统计形状模型，记录平均形状和平均位姿，并使用不同牙位牙齿的平均形状及其平均位姿建立三维牙齿模板
。
[0017]所述切分的过程具体为分割牙龈和不同牙齿的三角面片网格，编号的过程具体为按照牙齿编号规范对切分得到的不同牙齿的三角面片网格进行标号，补全的过程具体为将牙齿三角面片网格的牙冠区域补全，使其变为水密的三角面片网格
。
[0018]所述语义分割模型包括图像编码器
、
牙齿语义分割解码器
、
牙齿二值轮廓分割解码器
、
区域
‑
轮廓融合模块，
[0019]所述图像编码器的输出端分别连接牙齿语义分割解码器和牙齿二值轮廓分割解码器的输入端，所述牙齿语义分割解码器和牙齿二值轮廓分割解码器的输出端堆叠后连接区域
‑
轮廓融合模块的输入端，区域
‑
轮廓融合模块的输出为牙齿语义分割图
。
[0020]所述图像编码器
、
牙齿语义分割解码器和牙齿二值轮廓分割解码均为标准
U
‑
Net3+
模型
。
[0021]所述步骤
S4
具体包括：
[0022]步骤
S41
：基于原始正面照片的位置使用经验值初始化相机参数，使用不同牙位牙齿的平均形状和平均位姿初始化牙齿三维模板，初始化上下牙列的相对位置参数；
[0023]步骤
S42
：基于当前的相机参数和标准的小孔相机模型将当前牙齿模板参数的三维牙齿模板中的顶点投影并提取每颗牙齿的可见边缘轮廓点；
[0024]步骤
S43
：将投影得到的可见边缘轮廓点与具有牙齿编号信息的牙齿轮廓点进行对应点关系匹配；
[0025]步骤
S44
：优化对应点匹配损失和牙齿参数模型中牙齿形状和位姿的概率分布的负对数似然损失加权得到的目标函数，更新相机参数
、
牙齿模板参数和上下牙列的相对位置参数；
[0026]步骤
S45
：多次迭代步骤
S42
至步骤
S44
直至步骤
S44
中的目标函数收敛，其值趋于稳定，获得优化后的相机参数
、
牙齿模板参数和上下牙列的相对位置；
[0027]步骤
S46
：使用泊松表面重建算法对优化变形后的三维牙齿模板进行表面重建，获得以三角面片网格表示的三维牙齿模型
。
[0028]所述步骤
S5
中排牙过程具体包括：根据当前牙齿状态和预期治疗周期模拟不同牙位牙齿在各个阶段的位置和姿态
。
[0029]所述正面照片正畸效果预览模型为基于
StyleGAN2
图像风格迁移解码器的图像风格迁移类生成对抗网络
。
[0030]所述步骤
S6
中，牙齿语义分割图和口腔内部区域掩码图经过通道堆叠后被输入到
由6个卷积层和池化层依次串联组成的图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种口腔正畸效果预览图像生成方法，其特征在于，包括：步骤
S1
：基于口内扫描得到的数字化三维牙齿模型，建立三维牙齿模板；步骤
S2
：构造用于对单张原始正面微笑照片的嘴部区域或正面口内扩口照片进行牙齿语义分割的语义分割模型，构建对口腔内部区域进行分割并提取具有牙位信息的二维牙齿轮廓的口腔内部区域分割模型；步骤
S3
：获取用户的原始正面照片，依次利用语义分割模型和口腔内部区域分割模型对用户原始正面照片进行处理得到具有牙位信息的牙齿轮廓和口腔内部区域掩码，其中，所述正面照片为微笑照或扩口照；步骤
S4
：迭代优化相机参数与牙齿模板参数优化轮廓匹配损失函数，将三维牙齿模板变形使其投影得到的对应牙位的牙齿轮廓拟合具有牙位信息的牙齿轮廓，以重建用户个性化的三维牙齿模型；步骤
S5
：对用户个性化的三维牙齿模型进行排牙补齐，并将排牙后的个性化的三维牙齿模型在相同相机参数下的投影得到牙齿语义分割图；步骤
S6
：将牙齿语义分割图
、
口腔内部区域掩码，以及用户的原始正面照片对应于所述口腔内部区域掩码的部分输入训练好的正面照片正畸效果预览模型，得到牙齿正畸后的正面微笑图或扩口照
。2.
根据权利要求1所述的一种口腔正畸效果预览图像生成方法，其特征在于，所述步骤
S1
包括：步骤
S11
：获取多组数字化三维牙齿模型，并对各数字化三维牙齿模型进行切分
、
编号和补全操作得到具有牙位信息的三维牙齿模型；步骤
S12
：根据每颗牙齿的重心将各三维牙齿模型的上下牙列分别按照对应的牙位进行对齐，并计算每个牙位对应的牙齿的平均重心；步骤
S13
：使用一致性点飘移的点云配准算法将属于相同牙位的不同牙齿进行相似变换配准，记录牙齿位姿和对应点关系；步骤
S14
：根据对应点关系建立各牙位单颗牙齿的统计形状模型，记录平均形状和平均位姿，并使用不同牙位牙齿的平均形状及其平均位姿建立三维牙齿模板
。3.
根据权利要求2所述的一种口腔正畸效果预览图像生成方法，其特征在于，所述切分的过程具体为分割牙龈和不同牙齿的三角面片网格，编号的过程具体为按照牙齿编号规范对切分得到的不同牙齿的三角面片网格进行标号，补全的过程具体为将牙齿三角面片网格的牙冠区域补全，使其变为水密的三角面片网格
。4.
根据权利要求1所述的一种口腔正畸效果预览图像生成方法，其特征在于，所述语义分割模型包括图像编码器
、
牙齿语义分割解码器
、
牙齿二值轮廓分割解码器
、
区域
‑
轮廓融合模块，所述图像编码器的输出端分别连接牙齿语义分割解码器和牙齿二值轮廓分割解码器的输入端，所述牙齿语义分割解码器和牙齿二值轮廓分割解码器的输出端堆叠后连接区域
‑
轮廓融合模块的输入端，区域
‑
轮廓融合模块的输出为牙齿语义分割图
。5.
根据权利要求4...

【专利技术属性】
技术研发人员：陈晓军，陈怡洲，叶傲冬，
申请(专利权)人：正雅齿科科技上海有限公司，
类型：发明
国别省市：