模拟美容整形效果可视化在线自由面雕的方法及系统技术方案

本发明专利技术公开了模拟美容整形效果可视化在线自由面雕的方法，包括如下步骤：获得用户面部数据；用户的原始面部3D仿真模型生成；面部3D模型参数回传；面部3D模型可视化；用户在线自由面雕；生成美容整形效果模拟评估报告；实现该方法的系统包括客户端和服务器端，客户端包括照片拍摄装置和在线面雕设备，服务器端包括服务器。本发明专利技术具有实现对美容整形效果的精确模拟，并可视化呈现；手动在线调整出自己理想中的美容整形效果，便于和医生沟通；生成的3D面部模型并进行可行性调整，作为医生在美容整形手术实施中的参考；可作为整容合同中的约定项，对双方的权利都有保护，避免医生重复做手术给消费者带来的痛苦和风险。

Method and system for simulating cosmetic plastic effect visualization on-line free surface carving

The invention discloses a method for simulation of cosmetic effect visualization online free surface carving, which comprises the following steps: obtaining user face data; the original facial 3D simulation model to generate the user's face; 3D model 3D model parameters back face; visualization; user online free surface carving; simulation evaluation report generation cosmetic effect; system implementing the method including client and server, the client includes a photographing device and online surface carving equipment, including the server server. The present invention has realized the accurate simulation of the cosmetic effect, and visual presentation; manual online adjustment of cosmetic effect ideal, easy to communicate with the doctor; 3D facial model generation and the feasibility of adjustment, as a doctor in the implementation of cosmetic surgery in reference can be used as a cosmetic; agreed in the contract, all protection of the rights of the parties, to avoid repeating the doctor to do the operation of consumers to bring pain and risk.

【技术实现步骤摘要】
模拟美容整形效果可视化在线自由面雕的方法及系统
本专利技术涉及智能整形
，尤其涉及一种模拟美容整形效果可视化在线自由面雕的方法及系统。
技术介绍
达到期望的美容整形术后效果是做整容手术的唯一目的。但是，在手术前是无法知道术后效果的，消费者无法在整容前看到自己整容后的样子，导致手术前的整容术后模拟和评估一直缺失。目前，整容手术达到什么效果是由医生来决定的。医生根据自己的经验，结合普遍的审美观，或先前的整容案例图片，以及和消费者的沟通，进行手术操作。但由于语言缺乏描述形象的精确性，并且美容整形往往是局部的、细微的，这更增加了整容手术后效果的不确定性。有些医生运用平面图形软件来修改消费者的容貌，来模拟术后效果，但真实性差，往往不能达到实际的术后效果，只能做一般参考。因此，在美容整形手术中，消费者对最终整容手术后的效果，没有有效的发言权。并且，由于无法在手术前的合同中约定整容后效果，会增加医生和消费者之间发生纠纷的几率。
技术实现思路
为了解决以上技术问题，本专利技术提供一种模拟美容整形效果可视化在线自由面雕的方法及系统，主要解决以下三个问题：1.对美容整形效果进行精确模拟，并可视化呈现；2.消费者可以手动在线调整出自己理想中的美容整形效果，便于和医生沟通；3.通过调整好的3D面部模型，可以作为医生在美容整形手术实施中的参考。本专利技术的模拟美容整形效果可视化在线自由面雕的方法，包括如下步骤：S1：获得用户面部数据，用户通过客户端拍摄或接收用户的面部照片，面部照片包括正面照、左侧面照和右侧面照各一张；S2：用户的原始面部3D仿真模型生成，用户上传面部照片至服务器端，服务器端基于CEAIP特征定位的三维人脸建模方法，根据面部照片生成用户面部原始3D模型；S3：面部3D模型参数回传，将服务器端生成原始面部3D仿真模型的面部3D模型参数传递给客户端；S4：面部3D模型可视化，通过回传的面部3D模型参数，客户端重塑并可视化地呈现该用户的面部3D仿真模型，并可以水平、上下旋转，方便用户观察正面、侧面的头部和颈部；S5：用户在线自由面雕，基于参数化标准三维人脸模型，用户可以根据自身需求，自由调整面部3D仿真模型的各参数，以及添加、更换头发、胡型和配饰；S6：生成美容整形效果模拟评估报告，用户调整好面部3D仿真模型后，将调整后参数上传至服务器端，根据调整数据生成美容整形效果模拟评估报告，为用户和医生提供美容整形的建议和参照。进一步的，所述步骤S2中CEAIP(Characteristicsofexperienceandintegralprojection)特征定位的三维人脸建模方法包括：首先对照片上的人脸进行识别，获得人脸轮廓图；其次使用CEAIP算法进行人脸特征定位于提取，获得人脸各器官特征位置在照片上的像素坐标；再次根据CEAIP算法提取的人脸特征修改标准模型，进行三维人脸模型的重建，并添加纹理和光照信息；最后获得用户面部原始3D模型，并导出模型参数。进一步的，所述步骤S2中CEAIP特征定位的三维人脸建模方法包括以下步骤：S201：人脸检测，对用户上传图像进行人脸检测，以判断输入图像中是否存在人脸，若检测到人脸，则进入步骤S202；S202：人脸识别，使用Sobel-Otsu人脸识别算法对人脸进行识别得到人脸初步轮廓图和人脸轮廓二值化图；S203：人脸特征提取，使用CEAIP特征定位和提取算法进行人脸的特征定位和提取，通过定位得到人脸轮廓二值化图的积分投影图，以及各个面部器官特征位置所在区域，对其进行特征提取后获得人脸各器官特征位置在照片上的像素坐标，并保存在特定的数据结构中；S204：三维人脸模型重建，根据CEAIP算法提取的人脸特征修改CANDIDE-3标准人脸模型得到个性人脸模型，并对照片进行三角网格分解，通过对三角网格分解后得到的三维人脸模型与个性人脸模型进行模型匹配，生成三维人脸网格模型，最后使用SRTP网格光滑算法(SurfaceReconstructionbaseonThreePoints)光滑网格面，并添加纹理和光照信息到三维人脸模型；S205：导出三维人脸模型参数，重建好的三维人脸模型即用户面部原始3D模型，可导出所有模型相关参数。进一步的，所述步骤S202中，所述Sobel-Otsu人脸识别算法包括Sobel算子处理和Otsu自动分割，所述Sobel算子处理采用八方向Sobel算子的模板处理图像，所述Otsu自动分割采用Otsu灰度值自动门限法进行图像分割，获得人脸轮廓二值化图。进一步的，所述步骤S203中，CEAIP特征定位与提取算法包括：首先利用积分投影提取出候选位置，然后通过三庭五眼确定各个面部器官所在的区域，最后在区域内搜索判断面部器官的坐标。进一步的，所述步骤S204中，三角网格分解采用Delaunay三角分解算法，以获得人脸三维模型的三角网格表示；所述的SRTP网格光滑算法针对三维人脸网格模型的特征，对不规则网格做光滑处理；所述纹理和光照信息通过灰度插值计算后添加到三维人脸模型。一种实现模拟美容整形效果可视化在线自由面雕方法的系统，包括客户端和服务器端，所述客户端包括照片拍摄装置和在线面雕设备，所述服务器端包括服务器，所述在线面雕设备包括在线面雕设备数据传输/接收模块和可视化在线调整模块，所述在线面雕设备数据传输/接收模块数据接收连接所述照片拍摄装置，所述在线面雕设备数据传输/接收模块数据输出连接所述可视化在线调整模块，所述服务器包括服务器数据传输/接收模块、原始3D模型生成模块和美容整形效果模拟评估报告生成模块，所述服务器数据传输/接收模块与所述在线面雕设备数据传输/接收模块、所述原始3D模型生成模块和所述美容整形效果模拟评估报告生成模块均数据传输相连。进一步的，还包括打印机，所述美容整形效果模拟评估报告生成模块与所述打印机输出相连。本系统包括客户端和服务器端，其中客户端包括照片拍摄装置和在线面雕设备，服务器端包括服务器和打印机；其中在线面雕设备为基于互联网的智能终端设备，通常为智能手机、平板电脑或电脑客户端，智能终端设备提供摄像头用于照片拍摄，在线面雕设备采集到的照片传送至服务器，通过服务器计算建模形成原始3D模型再传回在线面雕设备，使用者可在智能手机、平板电脑或电脑客户端通过触摸或鼠标调整面部形状，得到满意效果后，传至服务器，服务器提供评价结果电子输出传回在线面雕设备或打印出来。本专利技术的模拟美容整形效果可视化在线自由面雕的方法及系统应用于智能移动终端，具有以下有益效果：1.通过本方法及系统实现对美容整形效果的精确模拟，并可视化呈现；2.用户可以通过本方法及系统手动在线调整出自己理想中的美容整形效果，便于和医生沟通；3.通过本方法及系统生成的3D面部模型并进行可行性调整，可以作为医生在美容整形手术实施中的参考；4.在美容整形前通过本方法及系统生成的3D面部模型效果，可作为整容合同中的约定项，对双方的权利都有保护，避免医生重复做手术给消费者带来的痛苦和风险。附图说明图1为本专利技术的模拟美容整形效果可视化在线自由面雕的方法的流程示意图；图2为本专利技术的基于CEAIP-特征定位的三维人脸建模方法的流程示意图；图3为本专利技术的实现模拟美容整形效果可视化在线自由面雕方法的系统的应用架构示意图。本文档来自技高网...

【技术保护点】
一种模拟美容整形效果可视化在线自由面雕的方法，其特征在于，包括如下步骤：S1：获得用户面部数据，用户通过客户端拍摄或接收用户的面部照片，面部照片包括正面照、左侧面照和右侧面照各一张；S2：用户的原始面部3D仿真模型生成，用户上传面部照片至服务器端，服务器端基于CEAIP特征定位的三维人脸建模方法，根据面部照片生成用户面部原始3D模型；S3：面部3D模型参数回传，将服务器端生成原始面部3D仿真模型的面部3D模型参数传递给客户端；S4：面部3D模型可视化，通过回传的面部3D模型参数，客户端重塑并可视化地呈现该用户的面部3D仿真模型，并可以水平、上下旋转，方便用户观察正面、侧面的头部和颈部；S5：用户在线自由面雕，基于参数化标准三维人脸模型，用户可以根据自身需求，自由调整面部3D仿真模型的各参数，以及添加、更换头发、胡型和配饰；S6：生成美容整形效果模拟评估报告，用户调整好面部3D仿真模型后，将调整后参数上传至服务器端，根据调整数据生成美容整形效果模拟评估报告，为用户和医生提供美容整形的建议和参照。

【技术特征摘要】
1.一种模拟美容整形效果可视化在线自由面雕的方法，其特征在于，包括如下步骤：S1：获得用户面部数据，用户通过客户端拍摄或接收用户的面部照片，面部照片包括正面照、左侧面照和右侧面照各一张；S2：用户的原始面部3D仿真模型生成，用户上传面部照片至服务器端，服务器端基于CEAIP特征定位的三维人脸建模方法，根据面部照片生成用户面部原始3D模型；S3：面部3D模型参数回传，将服务器端生成原始面部3D仿真模型的面部3D模型参数传递给客户端；S4：面部3D模型可视化，通过回传的面部3D模型参数，客户端重塑并可视化地呈现该用户的面部3D仿真模型，并可以水平、上下旋转，方便用户观察正面、侧面的头部和颈部；S5：用户在线自由面雕，基于参数化标准三维人脸模型，用户可以根据自身需求，自由调整面部3D仿真模型的各参数，以及添加、更换头发、胡型和配饰；S6：生成美容整形效果模拟评估报告，用户调整好面部3D仿真模型后，将调整后参数上传至服务器端，根据调整数据生成美容整形效果模拟评估报告，为用户和医生提供美容整形的建议和参照。2.根据权利要求1所述的模拟美容整形效果可视化在线自由面雕的方法，其特征在于，所述步骤S2中CEAIP特征定位的三维人脸建模方法包括：首先对照片上的人脸进行识别，获得人脸轮廓图；其次使用CEAIP算法进行人脸特征定位于提取，获得人脸各器官特征位置在照片上的像素坐标；再次根据CEAIP算法提取的人脸特征修改标准模型，进行三维人脸模型的重建，并添加纹理和光照信息；最后获得用户面部原始3D模型，并导出模型参数。3.根据权利要求2所述的模拟美容整形效果可视化在线自由面雕的方法，其特征在于，所述步骤S2中CEAIP特征定位的三维人脸建模方法包括以下步骤：S201：人脸检测，对用户上传图像进行人脸检测，以判断输入图像中是否存在人脸，若检测到人脸，则进入步骤S202；S202：人脸识别，使用Sobel-Otsu人脸识别算法对人脸进行识别得到人脸初步轮廓图和人脸轮廓二值化图；S203：人脸特征提取，使用CEAIP特征定位和提取算法进行人脸的特征定位和提取，通过定位得到人脸轮廓二值化图的积分投影图，以及各个面部器官特征位置所在区域，对其进行特征提取后获得人脸各器官特征位置在照片上的像素坐标，并保存在特定的数据结构中；S204：三维人脸模型重建，根据CEAIP算法提取的人脸特征修改C...

【专利技术属性】
技术研发人员：唐智川，刘善跃，
申请(专利权)人：浙江神造科技有限公司，
类型：发明
国别省市：浙江,33