用于实时、物理准确且逼真的眼镜试戴的流程和方法技术

本发明专利技术旨在提供一种用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：‑100、一个人脸分析过程，该过程用于估计用户脸部的3D旋转矩阵、3D平移矢量和形态参数；‑200、一个眼镜定位过程，该过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，适于步骤100中计算得到的形态参数；‑400、一个逼真渲染过程，该过程中将真实用户脸部图像与在步骤200中定位的虚拟眼镜进行结合。

【技术实现步骤摘要】
【国外来华专利技术】用于实时、物理准确且逼真的眼镜试戴的流程和方法本专利技术涉及图像处理和图像合成领域，具体涉及虚拟对象到相片或视频的实时集成。
技术介绍
本专利技术是对相同申请人的其他专利技术的改进。本专利技术的情境是尽可能逼真地对一个对象进行实时虚拟试戴，这些对象通常是但不限于集成到相片或视频中的眼镜，这些相片或视频呈现大体上位于相机前方的人脸。网络销售增长、库存有限或其他任何防止或妨碍对真实对象进行真实试穿的原因催生了对真实对象进行虚拟试穿的需要。就眼镜而言，目前基于虚拟现实或增强现实的解决方案是不充分的，因为这些方案缺乏逼真度或互动性。此外，这些方案的计算大多需要大量数据和时间。相同申请人于2010年1月18日申请的专利申请FR1050305已在本领域公开。
技术实现思路
本专利技术首先旨在提供一种用于创建一个真实用户脸部图像上的一副虚拟眼镜的最终实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：-100、一个人脸分析过程，所述过程用于估计用户脸部的3D旋转矩阵、3D平移矢量和形态参数；-200、一个眼镜定位过程，所述过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的形态参数；-400、一个逼真渲染过程，所述过程用于将真实用户脸部图像与在步骤200中定位的虚拟眼镜进行结合。在多个实施方式中，可以在技术上可行的情况下结合使用：-步骤100还包括估计用户脸部的表情参数。-步骤100还包括估计固有相机参数。-步骤200还包括一个眼镜3D模型分析过程，该过程提供参数化、将眼镜分割成多个部分和网格校正。-步骤200包括两次眼镜定位过程，该过程与用于外观或真实尺寸模拟的试戴模式相关联，用于估计虚拟眼镜的3D旋转矩阵、3D平移矢量和全局与局部变形参数，以及眼镜腿与眼镜框的连接，所述过程适于步骤100中计算得到的形态参数。-本方法还包括一个人脸跟踪算法的步骤300，该算法给出位置和旋转，并允许实时改进来自多个图像的人脸参数。-步骤400包括估计不透明度校正和色调映射参数。-本方法包括：-使用一个平行处理流水线对图像采集、场景分析过程和渲染进行去相关；-一个快速3D人脸姿态恢复过程；-使用一个头部运动模型和控制过滤器始终向渲染过程提供每一帧处的平滑的3D姿态。-在步骤100的实时人脸分析过程中，使用脸部用户模型和与检测到的特征的相对应的图像轮廓和3D语义点来对参数(用户脸部的3D旋转矩阵R、3D平移矢量T、形态参数α和表情参数β)进行估计。在这种情况下，具体来说，使用多于一个图像对参数进行估计。在特定实施方式中，眼镜定位过程(步骤200)包括：-a、一个离线处理步骤，该步骤用于根据精确参数化的3D模型来创建一个对称和分割的眼镜对象(包括眼镜腿/眼镜框)，以及用于在参考系统中对眼镜进行重新定位。-b、一个在线实时处理步骤，通过结合与所述分割的眼镜对象的属性相关的约束和所述眼镜腿与所述眼镜框之间的机械约束，该步骤估计在不发生相互穿插的情况下所述眼镜的定位参数，所述眼镜定位参数是3D旋转矩阵R、3D平移矢量T、眼镜腿开放角度和变形参数D。在更特定的实施方式中，在这种情况下：-所述离线处理步骤利用对象的对称性质，创建一个参考系统来校正3D几何，对对象进行分割并创建一个精细的参考眼镜框。这一离线处理步骤包括：-自动分割步骤；-计算参考眼镜框和非线性变形场，所述计算使提供对象骨架的对称化的全局对称性最大化；-骨架提取方法，所述方法通过切割对象并连接重心获得；-计算对象顶点的位移，所述计算提供骨架的位移场的影响函数。-所述在线处理步骤使用眼镜拟合人脸的方法：其中，未按比例缩放不同的眼镜，考虑到人脸太阳穴处的变宽，所有眼镜框都以眼镜腿以再张开5度的方式置于人脸。在这种模式下，眼镜总是拟合用户脸部。-所述在线处理步骤使用了以相对尺寸进行眼镜拟合人脸的方法：其中，人脸尺寸未知，但是眼镜已被定位且按比例缩放，使得针对选定人脸类型的平均尺寸眼镜能被定位，并且用眼镜变形来计算眼镜腿打开角度，使得符合眼镜的相对尺寸。在统计学上，试戴非常接近绝对尺寸。-所述在线处理步骤使用了以绝对尺寸进行眼镜拟合人脸的方法：其中，真实人脸尺寸已知，眼镜以最可能的方式位于人脸，确保总能得到逼真的结果。在本专利技术的特定实施方式中，步骤400包括一种合成方法，其允许将高动态范围合成场景实时集成到低动态范围相片或视频中，所述合成方法的特征在于使用以下公式将计算所得的不透明度值α修改为对象的校正值αLDR：其中，LHDR是计算所得的辐照度，是真实场景辐照度的上边界。附图说明以下描述通过非限制性应用示例阐述了本专利技术的特征，参考这些描述将有利于更好地理解本专利技术的特征和优点。描述基于以下附图，其中：图1是本方法的框图；图2是对眼镜框的方向和位置的说明；图3是示出本方法所用点的人脸模型。具体实施方式本专利技术人提出了一个统一化的流程，可以在单个图像、一组图片、视频剪辑和实时相机视频流上使用。该流程分为几个步骤(见图1)：100-人脸分析200-眼镜定位300-跟踪(用于现场技术)400-逼真渲染通常的情境或场景如下：用户站在相机前面(无论是与PC连接的网络摄像头还是多数移动设备中的网络摄像头)。对于单张图片试戴(相片模式试戴)，系统允许用户使用相机拍摄相片，或者提示用户提供系统内部存储中的图片文件。对于实时试戴(现场模式试戴)，则显示相机视频流，用户可以在一个类似镜子的屏幕上看见自己。用户可以通过在界面选择眼镜框来进行试戴，眼镜框则根据与应用程序的不同交互而出现在用户的脸部。步骤100：人脸分析人脸分析过程根据用户图片估计最可能的人脸位置、方向及形态。在相片模式下，分析在提供的图片上进行。对于现场或视频模式，分析可以在流中的任意图片上进行。人脸分析分为三个主要的顺序块：110-人脸检测(2D)120-人脸具体特征对齐(2D)130-3D人脸形态和姿态估计从每个顺序块得到的结果都可以单独使用，但这些结果通常为下一个顺序块中估计的参数提供一个粗略估计。顺序块110、120-2D人脸及特征检测顺序块110、120有很多种可能的实现方式，两者互相连接的方式取决于所采用的具体技术。我们将两者分开，从而可以在计算能力有限的系统(如网页客户端和移动设备)上进行快速可靠的客户端-服务器实现。在图片或现场模式中，我们允许用户无需严格地正视相机；每个3D方向角都容许30°的角度。根据人脸检测阶段的质量还可以达到更大的角度。首先，通过如Viola-Jones监督分类器等人脸检测器来进行人脸检测。特定检测器的选择取决于其在不同平台(网页客户端、移动设备等)和情境(信息亭系统、服务器托管服务等)中的可用性和适用性。然后使用特征对齐算法来查找特定的人脸特征。我们使用由Luxand(https://www.luxand.com/)提供的特征检测器，该检测器可以非常可靠地找到内部人脸特征。然后，我们应用HPAAM特征对齐算法，该算法可以精确地定位图像上有意义的3D特征的投影(名称为《Methodfordetectingapredefinedsetofcharacte本文档来自技高网...

【技术保护点】
用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：‑100、一个人脸分析过程，所述人脸分析过程用于估计所述用户脸部的3D旋转矩阵、3D平移矢量和形态参数；‑200、一个眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，该眼镜定位过程用于估计所述虚拟眼镜的3D旋转矩阵、3D平移矢量、和全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数；‑400、一个逼真渲染过程，所述逼真渲染过程与将所述真实用户脸部图像与在步骤200中定位的所述虚拟眼镜进行结合。

【技术特征摘要】
【国外来华专利技术】2015.02.23 FR 15515311.用于创建位于一个真实用户脸部图像上的一副虚拟眼镜的实时逼真图像的方法，所述真实用户脸部图像来自单个图像、一组图片、视频剪辑或实时相机视频流，该方法特征在于包括以下步骤：-100、一个人脸分析过程，所述人脸分析过程用于估计所述用户脸部的3D旋转矩阵、3D平移矢量和形态参数；-200、一个眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，该眼镜定位过程用于估计所述虚拟眼镜的3D旋转矩阵、3D平移矢量、和全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数；-400、一个逼真渲染过程，所述逼真渲染过程与将所述真实用户脸部图像与在步骤200中定位的所述虚拟眼镜进行结合。2.根据权利要求1所述的方法，其中，步骤100还包括估计所述用户脸部的表情参数。3.根据权利要求1所述的方法，其中，步骤100还包括估计固有相机参数。4.根据权利要求1所述的方法，其中，步骤200还包括一个眼镜3D模型分析过程，该过程提供参数化、将眼镜分割成多个部分和网格校正。5.根据权利要求1所述的方法，其中，步骤200包括两次眼镜定位过程，其与用于外观或真实尺寸模拟的试戴模式相关联，所述两次眼镜定位过程用于估计所述虚拟眼镜的所述3D旋转矩阵、所述3D平移矢量、和所述全局与局部变形参数，以及眼镜腿与眼镜框的连接，以适于步骤100中计算得到的所述形态参数。6.根据权利要求1所述的方法，其中，所述方法还包括一个人脸跟踪算法的步骤300，所述人脸跟踪算法提供位置和旋转，并允许实时改进来自多个图像的人脸参数。7.根据权利要求1所述的方法，其中，步骤400包括估算不透明度校正和色调映射参数。8.根据权利要求1所述的方法，其中，所述方法包括：-使用一个平行处理流水线对图像采集、场景分析过程、和渲染进行去相关；-一个快速3D人脸姿态恢复过程；-使用一个头部运动模型和控制过滤器始终向所述渲染过程提供每一帧处的平滑的3D姿态。9.根据权利要求1所述的方法，其中，在步骤100的所述实时人脸分析过程中，使用脸部用户模型和与检测到的特征相对应的图像轮廓和3D语义点来对参数进行估计，所述参数包括...

【专利技术属性】
技术研发人员：阿里埃尔·库克鲁恩，杰罗姆·盖纳尔，希拉维·勒加洛，克里斯托夫·德阿伊，
申请(专利权)人：FITTINGBOX公司，
类型：发明
国别省市：法国,FR