【技术实现步骤摘要】
【国外来华专利技术】使用深层神经网络进行图像处理的系统和方法相互引用本专利申请要求以下申请在美国的国内优先权和在其他司法管辖区内的由《巴黎公约》规定的优先权：1)于2017年10月24日提交的名称为“使用深层神经网络的视频头发着色系统和方法”的美国临时申请62/576,180；以及2)于2017年12月12日提交的名称为“在移动设备上进行实时深度头发抠图的系统和方法”的美国临时申请62/597,494，在允许通过完整引用来结合的任何司法管辖区中，每个申请的全部内容通过引用结合在此。
本申请涉及从源图像定义新图像的图像处理，更具体地说，涉及使用诸如卷积神经网络(CNN)等深层神经网络来处理图像。
技术介绍
在许多情况下，图像处理有助于分析源图像以识别其中的特定主题，并且至少在其中一部分情况下，图像处理有助于进行校正或其他变化以产生新图像。图像处理可用于对图像中表示的物体进行分类和/或识别图像中的物体的位置。图像处理可用于校正或改变图像的属性(例如像素的相应值)，例如改变颜色、纹理、照明、亮度、对比度和其他属性。其他变化可包括在图像...
【技术保护点】
1.一种处理图像的计算设备，包括：/n存储单元，用于存储和提供卷积神经网络(CNN)，所述卷积神经网络配置为对所述图像的像素进行分类以确定所述像素中的每个像素是否为物体像素，以便为所述图像中的物体定义物体分割掩膜，其中所述卷积神经网络包括适于定义所述物体分割掩膜的针对图像分类的预先训练的网络，并且其中使用分割数据进一步训练所述卷积神经网络；和/n处理单元，耦合至所述存储单元，所述处理单元配置为使用所述卷积神经网络处理所述图像，以产生所述物体分割掩膜来定义新图像。/n
【技术特征摘要】
【国外来华专利技术】20171024 US 62/576180;20171212 US 62/5974941.一种处理图像的计算设备，包括：
存储单元，用于存储和提供卷积神经网络(CNN)，所述卷积神经网络配置为对所述图像的像素进行分类以确定所述像素中的每个像素是否为物体像素，以便为所述图像中的物体定义物体分割掩膜，其中所述卷积神经网络包括适于定义所述物体分割掩膜的针对图像分类的预先训练的网络，并且其中使用分割数据进一步训练所述卷积神经网络；和
处理单元，耦合至所述存储单元，所述处理单元配置为使用所述卷积神经网络处理所述图像，以产生所述物体分割掩膜来定义新图像。
2.根据权利要求1所述的计算设备，其中所述卷积神经网络被进一步训练为最大限度地减少掩膜-图像梯度一致性损失。
3.根据权利要求1和2之一所述的计算设备，其中所述掩膜-图像梯度一致性损失LC定义为：
其中Ix、Iy是归一化图像梯度，Mx、My是归一化掩膜梯度，Mmag是掩膜梯度幅值。
4.根据权利要求3所述的计算设备，其中所述掩膜-图像梯度一致性损失LC以权重w与二元交叉熵损失LM相结合，以最大限度地减少训练时的总损失L，其中L定义为L＝LM+wLC。
5.根据权利要求1至4中任一项所述的计算设备，其中所述分割数据是有噪声且粗略的分割数据。
6.根据权利要求1至5中任一项所述的计算设备，其中所述分割数据是众包分割数据。
7.根据权利要求1至4中任一项所述的计算设备，当在解码器级中进行上采样以定义所述物体分割掩膜时，所述计算设备适于使用编码器级中的层与解码器级中的相应层之间的跳跃连接来将低分辨率但强的特征与高分辨率但弱的特征相结合。
8.根据权利要求1至7中任一项所述的计算设备，其中所述物体是头发。
9.根据权利要求1至8中任一项所述的计算设备，其中所述处理单元配置为通过使用所述物体分割掩膜对选择的所述图像中的像素应用变化来从所述图像定义所述新图像。
10.根据权利要求9所述的计算设备，其中所述变化是颜色变化。
11.根据权利要求9和10之一所述的计算设备，其中所述卷积神经网络包括经过训练的网络，其被配置为在计算能力有限的移动设备上运行，以实时产生所述新图像作为视频图像。
12.根据权利要求9至11中任一项所述的计算设备，其中所述处理单元配置为提供交互式图形用户界面(GUI)以显示所述图像和所述新图像，所述交互式图形用户界面配置为接收输入以确定用于定义所述新图像的所述变化。
13.根据权利要求12所述的计算设备，其中所述处理单元配置为使用所述物体分割掩膜来分析所述图像中的所述物体的像素，以确定用于所述变化的一个或多个候选，并且其中所述交互式图形用户界面配置为呈现所述一个或多个候选，以接收输入从而选择所述候选中的一个候选作为所述变化来应用。
14.根据权利要求1至13中任一项所述的计算设备，其中所述图像是自拍视频。
15.一种处理图像的计算设备，包括：
存储单元，用于存储和提供卷积神经网络(CNN)，所述卷积神经网络配置为对所述图像的像素进行分类以确定每个像素是否为头发像素，当使用分割数据训练以定义头发分割掩膜时，所述卷积神经网络被训练为最大限度地减少掩膜-图像梯度一致性损失；和
处理单元，耦合至所述存储单元，所述处理单元配置为通过使用所述头发分割掩膜对所述图像中的头发像素应用新的头发颜色来定义和呈现着色头发图像。
16.根据权利要求15所述的计算设备，其中所述卷积神经网络包括经过训练的网络，所述网络配置为在计算能力有限的移动设备上运行，以实时产生所述着色头发图像作为视频图像。
17.根据权利要求15和16之一所述的计算设备，其中所述卷积神经网络包括适于产生所述头发分割掩膜的针对图像分类的预先训练的网络，当在解码器级中进行上采样时，所述预先训练的网络适于使用编码器级中的层与解码器级中的对应层之间的跳跃连接来将低分辨率但强的特征与高分辨率但弱的特征相结合。
18.根据权利要求17所述的计算设备，其中通过首先应用逐点卷积来处理来自所述编码器级的较低分辨率层，以使输出深度与所述解码器级的入向的较高分辨率层相容。
19.根据权利要求15至18中任一项所述的计算设备，其中当在解码器级中进行上采样时，所述卷积神经网络适于将来自相应层的低分辨率但强的特征与高分辨率但弱的特征相结合。
20.根据权利要求15至19中任一项所述的计算设备，其中使用粗略分割数据训练所述卷积神经网络，以最大限度地减少掩膜-图像梯度一致性损失。
21.根据权利要求15至20中任一项所述的计算设备，其中所述掩膜-图像梯度一致性损失LC定义为：
其中Ix、Iy是归一化图像梯度，Mx、My是归一化掩膜梯度，Mmag是掩膜梯度幅值。
22.根据权利要求20和21之一所述的计算设备，其中所述掩膜-图像梯度一致性损失LC以权重w与二元交叉熵损失LM相结合，以最大限度地减少训练时的总损失L，其中L定义为L＝LM+wLC。
23.根据权利要求1至22中任一项所述的计算设备，其中所述卷积神经网络配置为使用包括深度卷积和逐点卷积的深度可分离卷积，以最大限度地减少处理操作并使得所述卷积神经网络能够在具有有限计算能力的移动设备上执行。
24.一种处理图像的计算设备，包括：
处理单元、耦合至所述处理单元的存储单元、以及耦合至所述处理单元和所述存储单元中的至少一者的输入装置，所述存储单元存储指令，所述指令在被所述处理单元执行时配置所述计算设备，以便：
经由所述输入装置接收所述图像；
定义标识所述图像中的头发像素的头发分割掩膜；
通过使用所述头发分割掩膜对所述图像中的头发像素应用新的头发颜色来定义着色头发图像；和
提供所述着色头发图像，以输出到显示装置上；并且
其中所述头发分割掩膜是通过以下而定义的：
使用由所述存储单元存储的卷积神经网络(CNN)处理所述图像，以在相继的卷积(conv)层中应用多个卷积滤波器来检测相应的特征，其中第一组相继的卷积层提供将所述图像从第一图像分辨率下采样到最小分辨率的输出，且第二组相继的卷积层将所述输出上采样回到所述第一图像分辨率，并且所述卷积神经网络被训练以最大限度地减少掩膜-图像梯度一致性损失以便定义所述头发分割掩膜。
25.根据权利要求24所述的计算设备，其中所述卷积神经网络适于使用所述第一组和所述第二组的对应卷积层之间的跳跃连接。
26.根据权利要求24和25之一所述的计算设备，其中所述卷积神经网络包括散布在所述第二组卷积层的初始层之前和所述第二组卷积层的相应后续层之前的上采样功能，以将输出上采样到所述第一图像分辨率。
27.根据权利要求26所述的计算设备，其中所述上采样功能使用相应的跳跃连接，每个相应的跳跃连接结合有：
第一激活图，所述第一激活图是相继的相邻卷积层的输出，作为所述第二组卷积层的下一个卷积层的输入；和
第二激活图，所述第二激活图是所述第一组卷积层中的前一个卷积层的输出，其中所述第二激活图具有比所述第一激活图大的图像分辨率。
28.根据权利要求27所述的计算设备，其中每个相应的跳跃连接被定义为将应用于所述第二激活图的1×1卷积滤波器的输出与应用于所述第一激活图的上采样功能的输出相加，以将所述第一激活图的分辨率提高到较大的图像分辨率。
29.根据权利要求24至28中任一项所述的计算设备，其中所述指令配置所述计算设备以经由所述显示装置呈现图形用户界面(GUI)，所述图形用户界面包括用于观看所述图像的第一部分和用于同时观看所述着色头发图像的第二部分。
30.根据权利要求29所述的计算设备，其中所述指令配置所述计算设备对所述着色头发图像中的所述新头发颜色应用光照条件处理，以显示不同的光照条件下的所述新头发颜色。
31.根据权利要求24至30中任一项所述的计算设备，其中所述新头发颜色是第一新头发颜色，并且所述着色头发图像是第一着色头发图像，并且其中所述指令配置所述计算设备以便：
通过使用所述头发分割掩膜向所述图像中的头发像素应用第二新头发颜色并通过提供第二着色头发图像以输出到所述显示装置来定义和呈现所述第二着色头发图像。
32.根据权利要求31所述的计算设备，其中所述指令配置所述计算设备经由所述显示装置呈现两个新颜色的图形用户界面，所述两个新颜色的图形用户界面包括用于观看所述第一着色头发图像的第一新颜色部分和用于同时观看所述第二着色头发图像的第二新颜色部分。
33.根据权利要求24至32中任一项所述的计算设备，其中所述指令配置所述计算设备以便：
分析所述图像的颜色，包括所述图像中的头发像素的当前头发颜色；
确定一种或多种建议的新头发颜色；和
经由所述图形用户界面的交互部分呈现所述建议的新头发颜色，以选择所述新头发颜色来定义所述着色头发图像。
34.根据权利要求24至33中任一项所述的计算设备，其中所述处理单元包括用于执行所述卷积神经网络的图形处理单元(GPU)，并且所述计算设备包括智能手机和平板电脑之一。
35.根据权利要求24至34中任一项所述的计算设备，其中所述图像是视频的多个视频图像之一，并且其中所述指令配置所述计算设备以处理所述多个视频图像以便改变头发颜色。
36.根据权利要求24至35中任一项所述的计算设备，其中所述卷积神经网络包括基于MobileNet的模型，所述模型适于对所述图像的像素进行分类，以确定所述像素中的每个像素是否为头发像素。
37.根据权利要求24至36中任一项所述的计算设备，其中所述卷积神经网络配置为包括卷积的深度可分离卷积神经网络，其中各个标准卷积被分解为深度卷积和逐点卷积，所述深度卷积限于向每个输入通道应用单个滤波器，且所述逐点卷积限于组合所述深度卷积的输出。
38.根据权利要求24至37中任一项所述的计算设备，其中所述掩膜-图像梯度一致性损失LC定义为：
其中Ix、Iy是归一化图像梯度，Mx、My是归一化掩膜梯度，Mmag是掩膜梯度幅值。
39.一种配置为产生卷积神经网络的计算设备，所述卷积神经网络被训练为处理图像以定义物体分割掩膜，所述计算设备包括：
存储单元，用于接收卷积神经网络，所述卷积神经网络配置为用于图像分类并且配置为在具有有限计算能力的运行时计算设备上执行；
处理单元，配置为提供交互界面以接收输入和显示输出，所述处理单元配置为：
接收输入以调整所述卷积神经网络以便定义物体分割掩膜并向所述存储单元存储经过调整的卷积神经网络；并且
接收输入以使用被标记为用于物体分割的分割训练数据来训练经过调整的卷积神经网络，以产生所述卷积神经网络来处理图像以便定义所述物体分割掩膜。
40.根据权利要求39所述的计算设备，其中所述处理单元配置为接收输入以调整所述卷积神经网络，以便执行以下中的至少一者：
在训练时使用为了最大限度地减少所述掩膜-图像梯度一致性损失而定义的掩膜-图像梯度一致性损失函数；和
当在解码器级中进行上采样时，使用编码器级中的层与解码器级中的相...
【专利技术属性】
技术研发人员：艾利克斯·莱文什坦，常诚，艾德蒙·彭，埃琳娜·克泽勒，文章志·郭，艾瑞克·埃尔莫斯尼诺，蒋若为，帕汉姆·阿拉比，
申请(专利权)人：巴黎欧莱雅公司，
类型：发明
国别省市：法国;FR
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。