基于深度学习的软硬组织特征拓扑识别及面部形变预测方法技术

本发明专利技术公开了一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，本方法基于深度学习的颌面部骨性及软组织特征标志点自动识别，并利用统计学决策分类方法获取面部多重诊断信息，拓扑预测正颌手术前后面型变化。通过以上研究，自主研发相应面型预测算法及软件并实现临床转化，确立患者正颌手术前后软硬组织变化的相关性。构建深度学习的卷积网络及残差网络，实现在二维及三维上对牙颌面部骨性及软组织特征标志点自动识别。总结基于深度学习下的面型统计学决策分类，获取面部多重诊断信息，实现对牙颌面畸形患者手术前后面型变化的预测。

【技术实现步骤摘要】
基于深度学习的软硬组织特征拓扑识别及面部形变预测方法
本专利技术涉及一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法。
技术介绍
随着医疗技术的改善，患者希望通过正畸正颌联合设计治疗来建立正确的颅面骨骼和咬合关系。正颌手术前后面型的变化趋势是患者及医师最为关注的临床问题。目前预测牙颌面畸形正颌术后面型变化，即颌骨移动与面部软组织变化的相关性研究限于二维评价体系内，且国内相应计算机软件研发仍属空白。
技术实现思路
本专利技术的目的在于提供一种构建深度学习的神经网络实现在二维及三维上对牙颌面部骨性及软组织特征标志点自动识别。总结基于深度学习下的面型统计学决策分类，获取面部多重诊断信息，实现对牙颌面畸形患者手术前后面型变化的预测。技术方案：一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，它包括以下步骤：S1、基于人脸特征点数据，构造卷积网络预测二维图像中特征点，输出预测特征点组二维坐标信息；所述人脸特征点为71点，包括传统的人脸特征点68点，和新增的3点：颏前点Pog、颏下点Me、鼻中点Cm；S2、基于预测特征点组二维坐标信息，获得预测特征点组三维坐标信息；并选择预测特征点组三维坐标信息中的特征点，通过连线获得面部软组织拓扑结构；S3、多角度环拍正侧面人脸，利用图像合成技术合成优化标定的面部拓扑包括以下步骤：S3-1、多角度环拍正侧面人脸，获得人脸图像；S3-2、利用图像合成技术合成三维人脸模型；S3-3、将S2中获得的面部软组织拓扑结构映射在三维人脸模型，以选取三维人脸模型的特征区域；S3-4、对特征区域按照几何特征，进行优化标定获得优化标定的面部拓扑RefineSoftTopo1；S4、获得人脸的软组织CT模型，以人脸的软组织CT模型为标准，优化标定的面部拓扑，面部软组织拓扑结构进行缩放与软组织CT模型进行对齐，三维人脸模型进行缩放与软组织CT模型进行对齐，得到标准的面部拓扑和标准的面部软组织拓扑结构及标准的三维人脸模型；S5、人工在硬组织CT模型上标定三维特征点，获得硬组织拓扑结构RefineHardTopo1；S6、不同人术前分别进行S1-S5，根据多组案例，根据获得多组术前标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术前标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术前硬组织拓扑；不同人术后分别进行S1-S5，根据多组案例，根据获得多组术后标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术后标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术后面部软组织拓扑结构预测术后硬组织拓扑；S7、不同人在术前和术后分别进行S1-S3，根据多组案例，获得多组术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构结构对，计算获得术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术后软组织拓扑；S8、不同人在术前和术后分别进行S5，根据多组案例，获得多组术前硬组织拓扑结构-术后硬组织拓扑结构对，计算获得术前硬组织拓扑结构-术后硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部硬组织拓扑预测术后硬组织拓扑。优选的，S2中，预测特征点组二维坐标信息基于变换矩阵获得预测特征点组三维坐标信息，所述变换矩阵的获取方法为：S2-1-1、利用三维面部模型数据库作为样本空间，手动标定三维图像正颌正畸特征点组；S2-1-2、构造变化矩阵，输入为特征点组二维坐标，输出为特征点组三维坐标，对样本空间求取超定方程，得到样本空间内的变化矩阵；S2-1-3、对每一对样例求取超定方程，对样本空间进行回归计算获得与样本相差最小的变化矩阵。优选的，S2还包括一个优化步骤：S2-2-1、构造残差网络，输入为特征点组二维坐标，输出预测值为特征点组三维坐标，标签值为手动标定二维图像正颌正畸特征点组三维转换坐标信息；S2-2-2、训练该网络，使得新输入的软组织图像二维坐标，可通过网络获得预测特征点组三维坐标信息。优选的，在预测特征点组三维坐标信息中按照下表选取23个特征点，并进行点—点链接形成面部软组织拓扑结构：序号特征点名链接点名1NN-PN，N-CO(左)，N-CO(右)2PnPn-Sn3SnSn-Ls4LiLi-LCh，Li-RCh，Li-stm5LsLs-LCph，Ls-RCph6CmCm-Pn7LCphLCph-LCh8RCphRCph-RCh9LChLCh10RChRCh11RAlaRala-Cm12LAlaLala-Cm13stmstm-Ls14LAcLac-LAla15RAcRac-RAla16Go’Go’-Gn17Go”Go”-Gn18Co’Co’-同侧Go19Co”Co”-同侧Go20PogPog-B21MeMe-Pog22GnGn-Me23B’B’-Li。优选的，S3-3中，选取面部软组织拓扑结构的若干关键点，进行映射，所述关键点为Gn，Pn，LCh，RCh；在三维人脸模型上按照下表中相应特征点的特征点描述作为映射关系，进行面部软组织拓扑结构向三维人脸模型的贴合，序号特征点名特征点描述1N软组织鼻根点2Pn3Sn4Li5Ls6Cm7LCph8RCph9LCh左口角点10RCh右口角点11RAla12LAla13stm14LAc15RAc16<本文档来自技高网...

【技术保护点】
1.一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，其特征在于它包括以下步骤：/nS1、基于人脸特征点数据，构造卷积网络预测二维图像中特征点，输出预测特征点组二维坐标信息；所述人脸特征点为71点，包括传统的人脸特征点68点，和新增的3点：颏前点Pog、颏下点Me、鼻中点Cm；/nS2、基于预测特征点组二维坐标信息，获得预测特征点组三维坐标信息；并选择预测特征点组三维坐标信息中的特征点，通过连线获得面部软组织拓扑结构；/nS3、多角度环拍正侧面人脸，利用图像合成技术合成优化标定的面部拓扑包括以下步骤：/nS3-1、多角度环拍正侧面人脸，获得人脸图像；/nS3-2、利用图像合成技术合成三维人脸模型；/nS3-3、将S2中获得的面部软组织拓扑结构映射在三维人脸模型，以选取三维人脸模型的特征区域；/nS3-4、对特征区域按照几何特征，进行优化标定获得优化标定的面部拓扑RefineSoftTopo1；/nS4、获得人脸的软组织CT模型，以人脸的软组织CT模型为标准，优化标定的面部拓扑，面部软组织拓扑结构进行缩放与软组织CT模型进行对齐，三维人脸模型进行缩放与软组织CT模型进行对齐，得到标准的面部拓扑和标准的面部软组织拓扑结构及标准的三维人脸模型；/nS5、人工在硬组织CT模型上标定三维特征点，获得硬组织拓扑结构RefineHardTopo1；/nS6、不同人术前分别进行S1-S5，根据多组案例，根据获得多组术前标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术前标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术前硬组织拓扑；/n不同人术后分别进行S1-S5，根据多组案例，根据获得多组术后标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术后标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术后面部软组织拓扑结构预测术后硬组织拓扑；/nS7、不同人在术前和术后分别进行S1-S3，根据多组案例，获得多组术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构结构对，计算获得术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术后软组织拓扑；/nS8、不同人在术前和术后分别进行S5，根据多组案例，获得多组术前硬组织拓扑结构-术后硬组织拓扑结构对，计算获得术前硬组织拓扑结构-术后硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部硬组织拓扑预测术后硬组织拓扑。/n...

【技术特征摘要】
1.一种基于深度学习的软硬组织特征拓扑识别及面部形变预测方法，其特征在于它包括以下步骤：
S1、基于人脸特征点数据，构造卷积网络预测二维图像中特征点，输出预测特征点组二维坐标信息；所述人脸特征点为71点，包括传统的人脸特征点68点，和新增的3点：颏前点Pog、颏下点Me、鼻中点Cm；
S2、基于预测特征点组二维坐标信息，获得预测特征点组三维坐标信息；并选择预测特征点组三维坐标信息中的特征点，通过连线获得面部软组织拓扑结构；
S3、多角度环拍正侧面人脸，利用图像合成技术合成优化标定的面部拓扑包括以下步骤：
S3-1、多角度环拍正侧面人脸，获得人脸图像；
S3-2、利用图像合成技术合成三维人脸模型；
S3-3、将S2中获得的面部软组织拓扑结构映射在三维人脸模型，以选取三维人脸模型的特征区域；
S3-4、对特征区域按照几何特征，进行优化标定获得优化标定的面部拓扑RefineSoftTopo1；
S4、获得人脸的软组织CT模型，以人脸的软组织CT模型为标准，优化标定的面部拓扑，面部软组织拓扑结构进行缩放与软组织CT模型进行对齐，三维人脸模型进行缩放与软组织CT模型进行对齐，得到标准的面部拓扑和标准的面部软组织拓扑结构及标准的三维人脸模型；
S5、人工在硬组织CT模型上标定三维特征点，获得硬组织拓扑结构RefineHardTopo1；
S6、不同人术前分别进行S1-S5，根据多组案例，根据获得多组术前标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术前标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术前硬组织拓扑；
不同人术后分别进行S1-S5，根据多组案例，根据获得多组术后标准的面部软组织拓扑结构-硬组织拓扑结构对，计算获得术后标准的面部软组织拓扑结构至硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术后面部软组织拓扑结构预测术后硬组织拓扑；
S7、不同人在术前和术后分别进行S1-S3，根据多组案例，获得多组术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构结构对，计算获得术前标准的面部软组织拓扑结构-术后标准的面部软组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部软组织拓扑预测术后软组织拓扑；
S8、不同人在术前和术后分别进行S5，根据多组案例，获得多组术前硬组织拓扑结构-术后硬组织拓扑结构对，计算获得术前硬组织拓扑结构-术后硬组织拓扑结构的关系矩阵，进而可以利用该关系矩阵及术前面部硬组织拓扑预测术后硬组织拓扑。


2.根据权利要求1所述的方法，其特征在于S2中，预测特征点组二维坐标信息基于变换矩阵获得预测特征点组三维坐标信息，所述变换矩阵的获取方法为：
S2-1-1、利用三维面部模型数据库作为样本空间，手动标定三维图像正颌正畸特征点组；
S2-1-2、构造变化矩阵，输入为特征点组二维坐标，输出为特征点组三维坐标，对样本空间求取超定方程，得到样本空间内的变化矩阵；
S2-1-3、对每一对样例求取超定方程，对样本空间进行回归计算获得与样本相差最小的变化矩阵。


3.根据权利要求2所述的方法，其特征在于S2还包括一个优化步骤：
S2-2-1、构造残差网络，输入为特征点组二维坐标，输出预测值为特征点组三维坐标，标签值为手动标定二维图像正颌正畸特征点组三维转换坐标信息；
S2-2-2、训练该网络，使得新输入的软组织图像二维坐标，可通过网络获得预测特征点组三维坐标信息。


4.根据权利要求2或3所述的方法，其特征在于在预测特征点组三维坐标信息中按照下表选取23个特征点，并进行点—点链接形成面部软组织拓扑结构：








5.根据权利要求1所述的方法，其特征在于S3-3中，选取面部软组织拓...

【专利技术属性】
技术研发人员：达理，达式金，
申请(专利权)人：达理，
类型：发明
国别省市：江苏;32