一种生成牙齿正畸后预测照片的方法技术

本公开的实施例提供了一种生成牙齿正畸后预测照片的方法。应用于数字牙科技术领域，所述方法对正畸前微笑露齿正面人脸图像进行人脸对齐，对正畸前牙齿图像进行牙齿对齐，并合成生成人脸牙齿拼接图像，作为输入数据集；对正畸后微笑露齿正面人脸图像进行人脸对齐，作为目标数据集；利用所述输入数据集和目标数据集对生成式对抗网络模型进行训练，获得训练后的生成式对抗网络模型的生成网络，将对齐后正畸前微笑露齿正面人脸图像输入该网络生成牙齿正畸后预测照片。以此方式，患者可以方便的了解牙齿正畸后的面部效果，尤其是露齿微笑效果。效果。效果。

【技术实现步骤摘要】
一种生成牙齿正畸后预测照片的方法


[0001]本专利技术涉及数字牙科技术，尤其涉及一种生成牙齿正畸后预测照片的方法。

技术介绍

[0002]口腔正畸是针对牙齿排列畸形或错颌，利用矫治器械，对牙齿施加三维矫治力和力矩，调整颜面骨骼、牙齿和颌面肌肉三者间的平衡和协调，经过一段时间的矫治后改善排齐牙列并提高咀嚼效能的一种治疗方法。牙齿正畸治疗可以改善用户面型和露齿微笑时的形象。这也是用户较为关注的一种正畸效果。传统的正畸治疗，在治疗方案确定前，一般是正畸医生通过手动排牙实验来告知患者可能涉及到的牙齿移动和最终治疗效果。手动排牙的过程需要耗费较多的资源而且排牙实验结果也不直观。现有计算机正畸预测技术，通常需要专业人士获得用户的牙列模型或是口腔CT影像。因此患者难以方便的了解正畸后的面部效果。

技术实现思路

[0003]本公开提供了一种生成牙齿正畸后预测照片的方法、装置、设备以及存储介质。
[0004]根据本公开的第一方面，提供了一种牙齿正畸后预测照片生成模型的训练方法。该方法包括：对正畸前微笑露齿正面人脸图像进行人脸对齐，获得对齐后正畸前人脸图像；对正畸前牙齿图像进行牙齿对齐，获得对齐后正畸前牙齿图像；将所述对齐后正畸前人脸图像与对应的对齐后牙齿图像进行合成操作，生成人脸牙齿拼接图像，作为输入数据集；对正畸后微笑露齿正面人脸图像进行人脸对齐，获得对齐后正畸后人脸图像，作为目标数据集；利用所述输入数据集和目标数据集对生成式对抗网络模型进行训练，获得训练后的生成式对抗网络模型的生成网络；将所述训练后的生成式对抗网络模型的生成网络作为牙齿正畸后预测照片生成模型。
[0005]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述正畸前牙齿图像，包括咬合状态露齿多角度牙齿图像和张口状态上牙列、下牙列图像。
[0006]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述人脸对齐包括：对正畸前微笑露齿正面人脸图像进行人脸检测；将检测到的人脸进行剪裁，获取人脸区域图像；利用人脸关键点定位模型识别出人脸区域的关键点；利用关键点，对人脸区域图像进行姿态校正和对齐。
[0007]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述牙齿对齐包括：对正畸前牙齿图像进行关键点定位；利用关键点信息对正畸前牙齿图像进行姿态矫正和对齐。
[0008]如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述生成式对抗网络为pix2pix网络，在所述pix2pix网络的生成器和辨别器分别添加有注意力网络。
[0009]根据本公开的第二方面，提供了一种牙齿正畸后微笑预测照片的生成方法。该方法包括：对待预测微笑露齿正面人脸图像进行人脸对齐，获得对齐后待预测人脸图像；对待
预测牙齿图像进行牙齿对齐，获得对齐后待预测牙齿图像；将所述对齐后待预测人脸图像与对应的对齐后待预测牙齿图像进行合成操作，生成待预测人脸牙齿拼接图像；将所述对齐后待预测人脸牙齿拼接图像输入如权利要求1
‑
5所述的牙齿正畸后预测照片生成模型，得到对应的正畸后微笑露齿正面图像。
[0010]根据本公开的第三方面，提供了一种牙齿正畸后预测照片生成模型的训练装置。该装置包括：正畸前人脸对齐模块，用于对正畸前微笑露齿正面人脸图像进行人脸对齐，获得对齐后正畸前人脸图像；牙齿对齐模块，用于对正畸前牙齿图像进行牙齿对齐，获得对齐后正畸前牙齿图像；拼接模块，用于将所述对齐后正畸前人脸图像与对应的对齐后牙齿图像进行合成操作，生成人脸牙齿拼接图像，作为输入数据集；正畸后人脸对齐模块，用于对正畸后微笑露齿正面人脸图像进行人脸对齐，获得对齐后正畸后人脸图像，作为目标数据集；模型训练模块，用于利用所述输入数据集和目标数据集对生成式对抗网络模型进行训练，获得训练后的生成式对抗网络模型的生成网络；模型存储模块，用于将所述训练后的生成式对抗网络模型的生成网络作为牙齿正畸后预测照片生成模型。
[0011]根据本公开的第四方面，提供了一种生成牙齿正畸后预测照片的装置。该装置包括：人脸对齐模块，用于对待预测微笑露齿正面人脸图像进行人脸对齐，获得对齐后待预测人脸图像；牙齿对齐模块，用于对待预测牙齿图像进行牙齿对齐，获得对齐后待预测牙齿图像；拼接模块，用于将所述对齐后待预测人脸图像与对应的对齐后待预测牙齿图像进行合成操作，生成待预测人脸牙齿拼接图像；预测模块，用于将所述对齐后待预测人脸牙齿拼接图像输入如权利要求1
‑
5所述的牙齿正畸后预测照片生成模型，得到对应的正畸后微笑露齿正面图像。
[0012]根据本公开的第五方面，提供了一种电子设备。该电子设备包括：存储器和处理器，所述存储器上存储有计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
[0013]根据本公开的第六方面，提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如根据本公开的第一方面和/或第二发面的方法。
[0014]本公开大体涉及与预测用户牙齿正畸后效果有关的系统、方法和/或计算机可读介质，并且尤其涉及提供给用户一个或多个预测的和/或预期的露齿微笑效果。本文的实施方式是根据用户自己采集的面部和牙齿部位的照片来生成预测的正畸效果照片。现有技术只能依靠专业人士，例如牙医或是技术人员，构建模型或是拍摄牙部CT等原始的方式生成预测的正畸效果模型。本文的实施方式使初步接触到正畸治疗和/或正准备接受正畸治疗的人们，无需到访医疗机构，就能够借助手机或电脑应用方便的自动生成预测的正畸后露齿微笑照片。本文的实施方式也能够帮助牙齿医生，借助手机或电脑应用，方便的借助预测的正畸后露齿微笑照片帮助病人直观的了解牙齿正畸效果。
[0015]应当理解，
技术实现思路
部分中所描述的内容并非旨在限定本公开的实施例的关键或重要特征，亦非用于限制本公开的范围。本公开的其它特征将通过以下的描述变得容易理解。
附图说明
[0016]结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。附图用于更好地理解本方案，不构成对本公开的限定在附图中，相同或相
似的附图标记表示相同或相似的元素，其中：
[0017]图1示出了根据本公开的实施例的总体设计架构；
[0018]图2示出了根据本公开的实施例的一种牙齿正畸后预测照片生成模型的训练方法的流程；
[0019]图3示出了根据本公开的实施例的生成牙齿正畸后预测照片的流程；
[0020]图4示出了根据本公开的实施例的人脸对齐的流程；
[0021]图5示出了根据本公开的实施例的牙齿关键点定位模型的训练流程；
[0022]图6示出了根据本公开的实施例的牙齿对齐的流程；
[0023]图7示出了根据本公开的实施例的牙齿正畸后预测照片生成模型的网络结构；
[0024]图8示出了根据本公开的实施例的一种牙齿正畸后预测照片生成模型的训练装置800的框图；
[0025]图9示出了根据本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种牙齿正畸后预测照片生成模型的训练方法，其特征在于，包括：对正畸前微笑露齿正面人脸图像进行人脸对齐，获得对齐后正畸前人脸图像；对正畸前牙齿图像进行牙齿对齐，获得对齐后正畸前牙齿图像；将所述对齐后正畸前人脸图像与对应的对齐后正畸前牙齿图像进行合成操作，生成人脸牙齿拼接图像，作为输入数据集；对正畸后微笑露齿正面人脸图像进行人脸对齐，获得对齐后正畸后人脸图像，作为目标数据集；利用所述输入数据集和目标数据集对生成式对抗网络模型进行训练，获得训练后的生成式对抗网络模型的生成网络；将所述训练后的生成式对抗网络模型的生成网络作为牙齿正畸后预测照片生成模型。2.根据权利要求1所述的方法，其特征在于，所述正畸前牙齿图像，包括咬合状态露齿多角度牙齿图像和张口状态上牙列、下牙列图像。3.根据权利要求1所述的方法，其特征在于，所述人脸对齐包括：对正畸前微笑露齿正面人脸图像进行人脸检测；将检测到的人脸进行剪裁，获取人脸区域图像；利用人脸关键点定位模型识别出人脸区域的关键点；利用关键点，对人脸区域图像进行姿态校正和对齐。4.根据权利要求1所述的方法，其特征在于，所述牙齿对齐包括：对正畸前牙齿图像进行关键点定位；利用关键点信息对正畸前牙齿图像进行姿态矫正和对齐。5.根据权利要求1所述的方法，其特征在于，所述生成式对抗网络为pix2pix网络，在所述pix2pix网络的生成器和辨别器分别添加有注意力网络。6.一种牙齿正畸后微笑预测照片的生成方法，其特征在于，包括：对待预测微笑露齿正面人脸图像进行人脸对齐，获得对齐后待预测人脸图像；对待预测牙齿图像进行牙齿对齐，获得对齐后待预测牙齿图像；将所述对齐后待预测人脸图像与对应的对齐后待预测牙齿图像进行合成操作，生成待预测人脸牙齿拼接图像；将所述对齐后待预测人脸牙齿拼接图像输入如权利要求1
‑
5所述的牙齿正畸后预测照片生成模型，得...

【专利技术属性】
技术研发人员：张耀龙，
申请(专利权)人：北京好牙科技有限公司，
类型：发明
国别省市：