【技术实现步骤摘要】
本专利技术涉及颅面复原领域，具体涉及一种基于gans的颅面复原方法。
技术介绍
1、颅面复原是指依据头面部软组织及五官的形态特征与颅骨形态特征间的相互关系，重现未知颅骨的本来面貌。具有丰富面部形状特征的高度逼真的3d重建人脸是个体识别的直接基础，能为刑事调查提供极具价值的线索。同时，颅面复原在医学影像处理中也具有重要的意义，有助于医学影像的解读、诊断以及手术规划等。此外，颅面复原在考古学中也有良好的应用前景，能够帮助重现古人样貌，为考古研究提供便利。
2、颅面复原技术的实现是基于颅骨和颅面形态之间存在可预测关系的假设。然而，由于这种关系并非简单线性，而是及其复杂且高维非线性的，大部分颅面复原技术都难以生成准确且逼真的颅面。传统手工方法使用黏土或橡胶在颅骨的翻模上来模拟颅面肌肉和软组织，这种方法严重依赖于专家的经验和直觉，且其复原过程通常十分复杂、耗时且不可重现，导致其在实际应用当中效率和准确性都不理想。
3、现代颅面复原方法利用计算机辅助技术，它们通过ct和mri等成像技术来获取颅骨和颅面的3d数据，并使用基于模板变形或统计模型的算法从颅骨生成颅面。但由于算法的容量和学习能力的限制，它们容易产生平均化和简单化的颅面，缺乏真实感和准确性。
4、目前也有一些基于深度学习的方法，利用神经网络来实现颅骨和颅面关系之间的建模。cr-gan利用2d图片作为颅骨和颅面的表达形式，实现了能够应用于身份识别的颅面复原。mm-cgan引入了bmi值作为条件信息，引入了深度图作为数据表示，实现了具有一定个性化的颅面
5、但cr-gan利用2d图片作为数据表达形式，缺少了深度信息，会导致眼睛、鼻子、嘴巴等面部特征的复原准确度下降，并且二维的数据表达也导致其应用场景受限。mm-cgan则未能完全解决颅面和颅骨之间的模糊对应关系，未考虑到不同年龄和性别会对颅面复原造成影响，且其模型设计简单，在复原的准确度和真实性上都还有待提升。
技术实现思路
1、针对现有技术中的上述不足，本专利技术提供的一种基于gans的颅面复原方法解决了现有技术难以快速准确地实现颅面复原的问题。
2、为了达到上述专利技术目的，本专利技术采用的技术方案为：
3、提供一种基于gans的颅面复原方法，其包括以下步骤：
4、s1、获取头部ct断层数据，对ct断层数据进行重建，得到成对的颅骨和颅面mesh数据；
5、s2、对成对的颅骨和颅面mesh数据进行规整和对齐，并获取规整和对齐后的颅骨对应的深度图数据，以及规整和对齐后的颅面mesh数据对应的深度图数据；
6、s3、将规整和对齐后的颅面mesh数据对应的深度图数据作为标签，将规整和对齐后的颅骨对应的深度图数据和身份条件信息作为样本，得到训练集；
7、s4、构建颅面复原网络，采用训练集对颅面复原网络进行训练，获取训练过程中颅面复原网络的输出；
8、s5、将训练过程中颅面复原网络的输出和对应的标签输入感知模块，基于感知模块获取感知损失；
9、s6、将训练过程中颅面复原网络的输出与对应的标签的绝对误差作为误差损失；
10、s7、将训练过程中颅面复原网络的输出作为判别网络的输入，获取对抗损失和条件信息损失；
11、s8、基于感知损失、误差损失、对抗损失和条件信息损失获取总损失值，并根据总损失值对颅面复原网络进行参数调整，得到训练后的颅面复原网络；
12、s9、获取目标头部ct断层数据对应的深度图数据，并将其与身份条件信息作为训练后的颅面复原网络的输入，得到复原的颅面深度图数据；将复原的颅面深度图数据转化为点云或mesh数据，完成颅面复原。
13、进一步地，步骤s2的具体方法包括以下子步骤：
14、s2-1、进行规整和对齐：将颅骨和颅面mesh数据的中心移到坐标原点处，通过缩放将颅骨和颅面mesh数据的三维坐标值控制在[-1,1]的范围内，即将颅骨和颅面mesh数据缩放至-1到1的立方体中；
15、s2-2、获取深度图数据：基于pyrender，通过设置摄像机参数，获取规整和对齐后颅骨对应的深度图数据，以及规整和对齐后的颅面mesh数据对应的深度图数据；
16、s2-3、进行图像加强：将深度图中像素值低于128的像素进行保留，将像素值高于128的像素采用伽马变换，得到图像增强后的深度图数据；
17、s2-4、进行数据增广：将缩放至-1到1的立方体中的颅骨和颅面mesh数据分别绕x、y、z轴旋转15°，并采用与步骤s2-2和步骤s2-3相同的方法得到对应的图像增强后的深度图数据。
18、进一步地，步骤s4中颅面复原网络包括依次连接的特征提取模块、调制-解调残差块和特征上采样模块，以及与调制-解调残差块另一个输入端相连接的条件编码模块；
19、特征提取模块，用于通过卷积层对输入的颅骨对应的深度图数据进行特征提取；
20、条件编码模块，用于对身份条件信息进行条件编码；
21、调制-解调残差块，用于融合特征提取模块的输出和条件编码模块的输出；
22、特征上采样模块，用于将调制-解调残差块的输出进行特征上采样并复原为颅面。
23、进一步地，特征提取模块包括三个依次连接的特征提取单元，每个特征提取单元均包括依次连接的一个卷积层、一个归一化层和一个relu激活层；
24、即特征提取模块的表达式为：
25、xl＝f(norm(xl-1×wl+bl))
26、其中xl表示特征提取模块中第l个特征提取单元输出的特征；xl-1为特征提取模块中第l-1个特征提取单元输出的特征；l＝1,2,3，当l取值为1时，x0表示输入的颅骨对应的深度图数据；wl表示第l个特征提取单元中卷积层的权重矩阵；bl表示第l个特征提取单元中的偏移量；f(.)表示relu激活函数；norm(.)表示归一化。
27、进一步地，调制-解调残差块包括8个结构相同且串联的残差子模块，每个残差子模块包括第一仿射变换层、第二仿射变换层，以及依次连接的第一卷积层、第一relu激活层、第二卷积层、求和块和第二relu激活层，其中求和块的另一个输入为该残差子模块的输入；第一仿射变换层和第二仿射变换层的输入端均连接条件编码模块；第一仿射变换层的输出端连接该残差子模块中的第一卷积层；第二仿射变换层的输出端连接该残差子模块中的第二卷积层；
28、即第i个残差子模块的表达式为：
29、
30、
31、
32、其中xi表示第i个残差子模块的输出；表示第i个残差子模块中第一卷积层的输出；xi-1表示第i-1个残差子模块的输出；当i＝1时，xi-1表示特征提取模块的输出；表示第i个残差子模块中第一卷积层的权重矩阵；表示第i个残差子模块中第一仿射变换层输出的权重矩阵；表示第i个残差子模块中第一卷积层的偏移量；f本文档来自技高网...
【技术保护点】
1.一种基于GANs的颅面复原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于GANs的颅面复原方法，其特征在于，步骤S2的具体方法包括以下子步骤：
3.根据权利要求1所述的一种基于GANs的颅面复原方法，其特征在于，步骤S4中颅面复原网络包括依次连接的特征提取模块、调制-解调残差块和特征上采样模块，以及与调制-解调残差块另一个输入端相连接的条件编码模块；
4.根据权利要求3所述的一种基于GANs的颅面复原方法，其特征在于，特征提取模块包括三个依次连接的特征提取单元，每个特征提取单元均包括依次连接的一个卷积层、一个归一化层和一个ReLU激活层；
5.根据权利要求3所述的一种基于GANs的颅面复原方法，其特征在于，调制-解调残差块包括8个结构相同且串联的残差子模块，每个残差子模块包括第一仿射变换层、第二仿射变换层，以及依次连接的第一卷积层、第一ReLU激活层、第二卷积层、求和块和第二ReLU激活层，其中求和块的另一个输入为该残差子模块的输入；第一仿射变换层和第二仿射变换层的输入端均连接条件编码模块；第一仿射变换层的输
6.根据权利要求3所述的一种基于GANs的颅面复原方法，其特征在于，特征上采样模块包括依次连接的两个上采样单元和一个颅面复原单元；每个上采样单元均包括依次连接的卷积层、上采样层、归一化层和ReLU激活层；颅面复原单元包括依次连接的1×1卷积层和双曲正切激活层；双曲正切激活层的输出为颅面复原网络的输出。
7.根据权利要求1所述的一种基于GANs的颅面复原方法，其特征在于，步骤S5中感知损失的表达式为：
8.根据权利要求1所述的一种基于GANs的颅面复原方法，其特征在于，步骤S6中误差损失的表达式为：
9.根据权利要求1所述的一种基于GANs的颅面复原方法，其特征在于，步骤S7中对抗损失和条件信息损失的表达式分别为：
10.根据权利要求1所述的一种基于GANs的颅面复原方法，其特征在于，步骤S8中总损失值的表达式为：
...【技术特征摘要】
1.一种基于gans的颅面复原方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于gans的颅面复原方法，其特征在于，步骤s2的具体方法包括以下子步骤：
3.根据权利要求1所述的一种基于gans的颅面复原方法，其特征在于，步骤s4中颅面复原网络包括依次连接的特征提取模块、调制-解调残差块和特征上采样模块，以及与调制-解调残差块另一个输入端相连接的条件编码模块；
4.根据权利要求3所述的一种基于gans的颅面复原方法，其特征在于，特征提取模块包括三个依次连接的特征提取单元，每个特征提取单元均包括依次连接的一个卷积层、一个归一化层和一个relu激活层；
5.根据权利要求3所述的一种基于gans的颅面复原方法，其特征在于，调制-解调残差块包括8个结构相同且串联的残差子模块，每个残差子模块包括第一仿射变换层、第二仿射变换层，以及依次连接的第一卷积层、第一relu激活层、第二卷积层、求和块和第二relu激活层，其中求和块的另一个输入为该残差子模块的输入；第一仿射变换层和...
【专利技术属性】
技术研发人员：吕建成，潘业宏，王坚，邬鸿杰，张林，李媛，梁伟波，兰鑫，
申请(专利权)人：四川大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。