【技术实现步骤摘要】
【国外来华专利技术】虚拟面部化妆去除和模拟、快速面部检测和地标跟踪相关申请的交叉引用根据35U.S.C§119(e)，本非临时专利申请要求来自2017年7月13日提交的美国临时专利申请第62/531,929号的权益，其全部公开内容通过引用并入本文。专利技术背景
本公开涉及用于虚拟面部化妆模拟的系统和方法，包括用于虚拟地去除化妆以及将化妆和化妆效果施加到用户图像的方法。本公开进一步涉及用于使用神经网络进行虚拟面部化妆模拟的系统和方法。本公开还涉及用于改善虚拟面部化妆模拟的各种方法和系统，包括虚拟化妆教程、化妆建议、使用颜色图和标准自动调节亮度和颜色校准、快速面部地标检测和跟踪以及一种解决与快速面部移动相关的滞后问题以及与用户在视频中保持静止相关的地标抖动问题的方法。
技术介绍
面部化妆在我们的日常生活和社交网络中无处不在。随着电子商务、智能电话和增强现实技术的迅速发展，虚拟化妆试用应用程序现在已经投放市场，允许消费者查看特定的化妆产品，如同这些产品被应用于消费者后期望看到的样子，而不必实际应用化妆产品。然而，由于受到在某些情况下可能已经应用于用户的现有化妆的影响，现有的虚拟系统存在不一致的问题。如果用户已经在其脸部施加了化妆，则虚拟系统只能将其虚拟化妆的应用原样覆盖在脸部，并且如果已经在用户上施加了化妆，则可能导致错误、不一致或不逼真的结果。已知虚拟镜系统用于在线改变物体或消费者物品(诸如衣服)的外观。这些系统着重于物体形状和颜色更换或衣服的覆盖。在美国专利号为7,948,481中描述了这种技术的例...
【技术保护点】
1.一种用于虚拟地去除面部化妆的方法，其特征在于，包括：/n提供用户的面部图像，该面部图像上施加有化妆；/n从所述用户的面部图像中定位面部地标，所述面部地标至少包括第一区域和不同于所述第一区域的第二区域；/n将所述面部图像的所述第一区域分解为第一通道；/n将所述第一区域的所述第一通道馈入直方图匹配以获得在所述第一区域中去除了化妆的第一图像；/n将所述面部图像的所述第二区域转换为颜色通道；/n在不同光照条件下将所述颜色通道馈入直方图匹配以获得在所述第二区域中去除了化妆的第二图像；和/n将所述第一图像和所述第二图像组合以形成从所述第一区域和所述第二区域去除了化妆的结果面部图像。/n
【技术特征摘要】 【专利技术属性】
【国外来华专利技术】20170713 US 62/531,9291.一种用于虚拟地去除面部化妆的方法，其特征在于，包括：
提供用户的面部图像，该面部图像上施加有化妆；
从所述用户的面部图像中定位面部地标，所述面部地标至少包括第一区域和不同于所述第一区域的第二区域；
将所述面部图像的所述第一区域分解为第一通道；
将所述第一区域的所述第一通道馈入直方图匹配以获得在所述第一区域中去除了化妆的第一图像；
将所述面部图像的所述第二区域转换为颜色通道；
在不同光照条件下将所述颜色通道馈入直方图匹配以获得在所述第二区域中去除了化妆的第二图像；和
将所述第一图像和所述第二图像组合以形成从所述第一区域和所述第二区域去除了化妆的结果面部图像。
2.根据权利要求1所述的方法，其特征在于，所述第一通道包括反射通道和阴影通道。
3.根据权利要求2所述的方法，其特征在于，所述反射通道包括所述面部图像的与材料有关的特性，并且所述阴影通道包括所述面部图像的与光有关的特性。
4.根据权利要求3所述的方法，其特征在于，所述反射通道仅包含一种颜色，并且所述阴影通道保留所述第一区域的形状信息。
5.根据权利要求1所述的方法，其特征在于，所述第一区域包括眼睛区域，并且所述第二区域包括嘴唇区域。
6.根据权利要求1所述的方法，其特征在于，在将所述第一区域的所述第一通道馈入直方图映射之前在所述第一区域中的化妆的类型，不同于在将所述面部图像的所述第二区域转换为所述颜色通道之前的在所述第二区域中的化妆的类型。
7.根据权利要求1所述的方法，其特征在于，所述颜色通道包括色调通道、饱和度通道和值通道。
8.根据权利要求1所述的方法，其特征在于，将所述颜色通道馈入直方图匹配包括：
提供面部图像的数据集，在不同的光照条件下，每个面部图像的相应第二区域中没有化妆，并且包括预定义的直方图；和
将不同光照条件下的一个或多个颜色通道的直方图与所述预定义的直方图中对应的一个相匹配以获得所述第二图像。
9.根据权利要求8所述的方法，其特征在于，所述颜色通道是所述值通道和/或饱和度通道。
10.一种用于虚拟地去除面部化妆的方法，其特征在于，包括：
提供用户的面部图像，该面部图像上施加有化妆；
在所述用户的面部图像的一个区域中定位面部地标；
将所述面部图像的所述区域分解为分离的通道；和
将所述区域的所述分离的通道馈入直方图匹配以获得在所述区域中去除了化妆的最终图像。
11.根据权利要求10所述的方法，其特征在于，所述用户的面部图像的区域包括眼睛区域。
12.根据权利要求11所述的方法，其特征在于，在分解所述图像之前，在所述用户的面部图像上的化妆包括眼妆。
13.根据权利要求10所述的方法，其特征在于，所述分离的通道包括反射通道和阴影通道。
14.根据权利要求10所述的方法，其特征在于，所述反射通道包括所述面部图像的材料依赖特性，并且所述阴影通道包括所述面部图像的光依赖特性。
15.根据权利要求10所述的方法，其特征在于，所述反射通道仅包含一种颜色，并且所述阴影通道保留所述第一区域的形状信息。
16.一种用于虚拟地去除面部化妆的方法，其特征在于，包括：
提供用户的面部图像，该面部图像上施加有化妆；
在所述用户的面部图像的一个区域中定位面部地标；
将所述面部图像的所述区域转换为颜色通道；和
在不同光照条件下，将所述颜色通道馈入直方图匹配，以获得去除了所述区域中的化妆的结果图像。
17.根据权利要求16所述的方法，其特征在于，所述用户的面部图像的区域包括嘴唇区域。
18.根据权利要求17所述的方法，其特征在于，在将所述面部图像的所述区域转换成颜色通道之前，所述面部图像上的化妆是口红或唇彩。
19.根据权利要求16所述的方法，其特征在于，所述颜色通道包括色调通道、饱和度通道和值通道。
20.根据权利要求16所述的方法，其特征在于，将所述颜色通道馈入直方图匹配包括：
提供没有化妆的面部图像数据集，包括预定义的直方图；和
将不同光照条件下的一个或多个所述颜色通道的直方图与所述预定义的直方图中对应的一个相匹配以获得所述第二图像。
21.根据权利要求20所述的方法，其特征在于，所述颜色通道是所述值通道和/或所述饱和度通道。
22.根据权利要求16所述的方法，其特征在于，还包括：
收集肤色数据集，其中在不同光照条件下收集肤色数据，与标准唇色相比，对于这种不同光照条件，肤色数据具有相应的唇色偏移；
从所述用户的所述图像中提取输入的肤色；
使用所述肤色数据集在所述输入的肤色的特定光照条件下检测所述输入的肤色的相应嘴唇颜色偏移；和
提供最终的修改后的唇色以用作从所述用户的面部图像的所述第一区域中去除的唇色，其中所述最终的修改后的唇色具有检测到的颜色偏移。
23.一种用于从输入图像中检测和去除化妆的系统，其特征在于，所述系统被配置为能够：
从用户界面接收施加了化妆的输入图像；
从用户的面部图像至少在第一区域中和/或与第一区域不同的第二区域中定位面部地标，其中，第一区域包括化妆，和/或第二区域包括化妆；
如果所述第一区域被定位，则将所述面部图像的所述第一区域分解为第一通道，并使用参考直方图将所述第一区域的所述第一通道馈入直方图匹配，所述参考直方图来自每个都没有化妆的脸部直方图数据集，以获得在所述第一区域中去除了化妆的第一图像，和/或，如果所述第二区域被定位，则将所述面部图像的所述第二区域转换为颜色通道，并在不同光照条件下并使用参考直方图将所述颜色通道馈入直方图匹配，所述参考直方图来自不同光照条件下每个都没有化妆的脸部直方图数据集，以获得在所述第二区域中去除了化妆的第二图像；和
如果同时定位了所述第一区域和所述第二区域，则组合所述第一图像和所述第二图像以形成从所述第一区域和所述第二区域去除了化妆的结果面部图像。
24.根据权利要求23所述的系统，其特征在于，所述系统包括具有系统存储器和系统处理器的控制器，其中，所述控制器被配置为接收输入图像，并且在所述存储器中接收和/或存储没有化妆的脸部直方图数据集和在不同光照条件下的脸部直方图数据集，以及所述系统处理器能够执行能够检测面部图像并定位面部地标的编程指令。
25.根据权利要求24所述的系统，其特征在于，所述处理器能够执行用于将所述输入图像的所述第一区域分解成所述第一通道并且用于所述第一区域的所述第一通道的直方图匹配的编程指令；和
其中所述处理器能够执行用于在不同的光照条件下将所述面部图像的所述第二区域转换为所述颜色通道以及所述颜色通道的直方图匹配的编程指令。
26.根据权利要求23所述的系统，其特征在于，所述用户界面是智能手机数字相机、数字相机、数字摄像机、网络摄像头或智能手机数字摄像机。
27.一种用于在具有脸部的输入图像上生成输出效果的方法，包括：
(a)为用户的面部图像提供面部地标；
(b)从所述用户的面部图像中定位面部地标，其中所述面部地标包括第一区域，并且其中与所述第一区域相关联的地标与具有唇色的面部图像的嘴唇相关联，并且所述第一区域包括嘴唇区域；
(c)将所述图像的所述嘴唇区域转换成至少一个颜色通道，并检测和分析所述嘴唇区域的光分布；
(d)将所述至少一个颜色通道馈入各种不同光分布上的直方图匹配中，以识别具有与嘴唇区域的光分布不同的预定义的光分布的一个直方图，从而生成至少一个第一输出效果；和
(e)将所述输出效果与第一图像组合以提供具有唇色和施加到嘴唇的至少一个第一输出效果的第一结果图像。
28.根据权利要求27所述的方法，其特征在于，所述至少一个颜色通道包括饱和通道和/或值通道。
29.根据权利要求27所述的方法，其特征在于，在所述转换步骤(c)之前，所述方法还包括从所述用户的面部图像的嘴唇区域去除所述化妆的步骤。
30.根据权利要求27所述的方法，其特征在于，所述面部地标包括第二区域，其中，所述第二区域中的地标与所述面部图像的眼睛相关联，并且所述第二区域包括眼睛区域；并且其中所述方法还包括：
(f)将所述图像的所述眼睛区域分解成至少一个第一通道，并检测和分析所述眼睛区域的光分布；
(g)将所述至少一个第一通道馈入各种不同光分布上的直方图中匹配中，以识别具有与所述眼睛区域的光分布不同的预定义的光分布的直方图，从而生成对眼睛的至少一个第二输出效果；和
(h)将所述第一结果图像与所述第二图像以及所述至少一个第二输出效果组合，以提供具有预定义的唇色和对嘴唇的所述至少一个第一输出效果以及对眼睛的所述至少一个第二输出效果的第二结果图像。
31.根据权利要求30所述的方法，其特征在于，所述至少一个第一通道包括阴影或反射中的一个。
32.根据权利要求27所述的方法，其特征在于，具有所述预定义光分布的直方图的光分布增加了透明度和平滑度，并且所述至少一个第一输出效果包括光泽效果。
33.根据权利要求32所述的方法，其特征在于，所述光泽效果根据透明度的级别而变化。
34.根据权利要求27所述的方法，其特征在于，具有所述预定义光分布的直方图的光分布增加了随机反射，并且至少一个输出效果包括自然效果。
35.根据权利要求27所述的方法，其特征在于，具有所述预定义光分布的直方图的光分布增加了透明度和发光，并且所述至少一个第一输出效果包括发光效果。
36.根据权利要求27所述的方法，其特征在于，具有所述预定义光分布的直方图的光分布增加了闪光，并且至少一个输出效果是闪光效果。
37.根据权利要求27所述的方法，其特征在于，重复步骤(d)和(e)以对所述第一图像创建至少一个不同的输出效果，并且将具有对所述第一图像的至少一个不同输出效果中的一个的每个结果图像与所述第一结果图像进行组合，提供最终的结果图像，所述结果图像具有所述至少一个第一输出效果以及对所述第一图像的至少一个不同的输出效果中的每一个。
38.根据权利要求27所述的方法，其特征在于，在步骤(b)之后所述方法还包括，计算所述嘴唇区域的面积，以预定义的比例放大所述嘴唇区域的面积，以提供针对性的放大地标，除了所述至少一个第一输出效果外，还创建丰满的输出效果，将丰满的输出效果与所述至少一个第一输出效果和第一图像进行组合和变形，以提供具有施加了唇色的嘴唇、丰满的输出效果和所述至少一个第一输出效果的所述第一结果图像。
39.根据权利要求38所述的方法，其特征在于，具有所述预定义光分布的直方图的光分布增加了透明度和发光，并且所述至少一个第一输出效果包括发光效果，并且所述结果图像包括丰满和发光外观。
40.一种用于在具有脸部的输入图像上生成输出效果的方法，包括：
(a)为用户的面部图像提供面部地标；
(b)从所述用户的面部图像中定位所述面部地标，其中所述面部地标包括第二区域，并且其中与所述第二区域相关联的地标与面部图像的眼睛相关联，并且所述第二区域包括眼睛区域；
(c)将所述图像的所述眼睛区域分解成至少一个第一通道，并检测和分析所述眼睛区域的光分布；
(d)将所述至少一个第一通道馈入各种不同光分布上的直方图匹配中，以识别具有与所述眼睛区域的光分布不同的预定义的光分布的直方图，从而生成对眼睛的至少一个第二输出效果；和
(e)将第一结果图像与第二图像以及所述至少一个第二输出效果组合，以提供具有预定义的唇色和至少一个第一输出效果以及对眼睛的所述至少一个第二输出效果的第二结果图像。
41.一种化妆推荐系统，其特征在于，包括：
至少一个经过训练的神经网络模型，用于提供各种化妆风格；
化妆产品数据库；和
化妆注释系统，
其中，所述化妆推荐系统能够基于由所述注释系统注释的所述至少一个经过训练的神经网络中的数据向用户生成个性化的逐步化妆指令，和/或能够从所述化妆产品数据库中推荐产品，以及能够基于用户的输入图像，向用户逐步显示虚拟化妆的应用。
42.根据权利要求40所述的系统，其特征在于，所述至少一个训练模型是从深度学习框架导出的。
技术研发人员：付昀，王舒旸，李洙旻，姜淞耀，孙彬，毛海轶，启镐E张，
申请(专利权)人：资生堂美洲公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。