图像增强方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种图像增强方法、装置、设备及存储介质，属于图像处理领域。所述方法包括：获取待处理的目标图像；对所述目标图像进行语义分割，得到所述目标图像的n个语义区域，n为大于1的整数；根据参考图像对所述目标图像的n个语义区域按照各自对应的影响因子进行风格转移，得到增强后的目标图像；其中，所述影响因子用于表示对所述语义区域进行增强时的程度。本申请实施例能够实现对目标图像中的各个语义区域分别进行不同程度的风格转移，从而解决了对目标图像进行整体性的风格转移时增强效果较差的问题；达到了对不同的语义区域按照合适的程度进行增强，使得整张目标图像得到较好的增强性效果。

【技术实现步骤摘要】
图像增强方法、装置、电子设备及存储介质
本申请实施例涉及机器学习领域，特别涉及一种图像增强方法、装置、电子设备及存储介质。
技术介绍
在夜晚拍摄照片时，需要拍摄者具有许多摄影技巧以及高质量的相机。现在大多数的智能手机，由于设备本身的体积、硬件参数和操作方式存在局限性，很难拍摄出专业的夜景照片。相关技术中提供了基于风格迁移的图像增强方法，该方法包括：在图像增强程序中输入一张夜景图像，并且由用户在图像增强程序中手动选择一张风格模板图像，图像增强程序会基于深度学习的方法，计算输入的夜景图像和风格模板图像之间的风格损失以及内容损失，经过若干个迭代运算后输出夜景图像。输出的夜景图像在视觉上按照风格模板图像进行了一个整体性的风格化迁移，从而得到了增强。由于夜景图像在图像内容上有很大的变化，可能会有非常复杂的结构。例如许多建筑物在白天看起来很相似，但是在晚上，它们可以有完全不相同的窗户和壁灯。更不用提许多其它不同类型的物体和光线，比如道路、天空、汽车等等。相关技术中的图像增强方法并不能适应不同内容的夜景图像增强。
技术实现思路
本申请实施例提供了一种图像增强方法、装置、设备及存储介质，可以解决相关技术中的图像增强方法不能适应不同内容的夜景图像增强，在某些场景下增强效果较差的问题。所述技术方案如下：根据本申请的一个方面，提供了一种图像增强方法，所述方法包括：获取待处理的目标图像；对所述目标图像进行语义分割，得到所述目标图像的n个语义区域，n为大于1的整数；根据参考图像对所述目标图像的n个语义区域按照各自对应的影响因子进行风格转移，得到增强后的目标图像；其中，所述影响因子用于表示对所述语义区域进行增强时的程度。根据本申请的另一方面，提供了一种图像增强装置，所述装置包括：图像获取模块，用于获取待处理的目标图像；语义分割模块，用于对所述目标图像进行语义分割，得到所述目标图像的n个语义区域，n为大于1的整数；风格转移模块，用于根据参考图像对所述目标图像的n个语义区域按照各自对应的影响因子进行风格转移，得到增强后的目标图像；其中，所述影响因子用于表示对所述语义区域进行增强时的程度。根据本申请的另一方面，提供了一种电子设备，所述电子设备包括存储器和处理器；所述存储器存储有至少一条指令，所述至少一条指令由所述处理器加载并执行以实现如上所述的图像增强方法。根据本申请的另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述至少一条指令由处理器加载并执行以实现如上所述的图像增强方法。本申请实施例提供的技术方案带来的有益效果至少包括：通过对目标图像进行语义分割得到目标图像的n个语义区域，根据参考图像对目标图像的n个语义区域按照各自对应的影响因子进行风格转移，得到增强后的目标图像；能够实现对目标图像中的各个语义区域分别进行不同程度的风格转移，从而解决了对目标图像进行整体性的风格转移时，无法适应不同的图像内容所导致的增强效果较差的问题；达到了对不同的语义区域按照合适的程度进行增强，使得整张目标图像得到较好的增强性效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请一个示例性实施例提供的图像处理设备的结构框图；图2是本申请一个示例性实施例提供的图像增强方法的方法流程图；图3是本申请一个示例性实施例提供的图像增强方法的方法流程图；图4是本申请另一个示例性实施例提供的图像增强方法的原理示意图；图5是本申请另一个示例性实施例提供的图像增强方法的原理示意图；图6是本申请另一个示例性实施例提供的检索神经网络的训练流程图；图7是本申请一个示例性实施例提供的图像增强装置的框图；图8是本申请一个示例性实施例提供的电子设备的框图。具体实施方式为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。本申请实施例提供了一种基于语义区域进行不同程度增强的图像增强方法，该图像增强方法可以用于夜景图像的效果增强。由于该图像增强方式是全自动的图像增强方式，因此可以应用于移动终端中。当用户在移动终端上拍摄了夜景图像后，由移动终端内的处理器或AI芯片对该夜景图像进行全自动的增强。典型的，该图像增强方法能够应用于如下产品场景：手机拍照软件上的夜景增强功能：目前的智能手机都提供有拍照功能。虽然智能手机上的摄像头参数越来越优秀，但受限于智能手机上的摄像头体积，特别是光圈无法做到很大，导致手机直接拍摄得到夜景图像的质量较为一般。本申请实施例提供的图像增强方法能够以软件形式(或配合专门的Ai芯片)内置于手机内，提供全自动化的夜景增强或者用户手动启用的夜景增强功能。比如，在用户拍摄夜景图像后，在夜景图像的查看页面上提供增强按钮，当用户按压该增强按钮后对该夜景图像进行全自动的增强。网页服务器提供的在线夜景增强功能：本申请实施例提供的图像增强方法还能够以软件形式(或配合专门的Ai芯片)设置在网页服务器中。该网页服务器用于向用户提供具有增强图像功能的网页。比如，用户通过该网页向网页服务器上传待处理的图像且选择夜景增强功能，由网页服务器对该图像进行夜景增强。需要说明的是，本申请实施例提供的图像增强方法可以用于不同形式的图像增强，比如风景图像增强、人文图像增强等。本申请实施例主要以夜景图像增强来举例说明，但并不限定该图像增强方法的应用场景。请参考图1，其示出了本申请一个示例性实施例提供的图像处理设备的结构框图。该图像处理设备可以实现成为移动终端或服务器，该图像处理设备可简称为设备或电子设备。该图像处理设备包括：处理器120、存储器140和相机160。处理器120包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器120用于执行存储器140中存储的指令、代码、代码片段和程序中的至少一种。处理器120与存储器140电性相连。可选地，处理器120通过总线与存储器140相连。存储器140存储有一个或多个指令、代码、代码片段和/或程序。该指令、代码、代码片段和/或程序在被处理器120执行时，用于实现如下实施例中提供的人体姿态预测方法。处理器120还与相机160电性相连。可选地，处理器120通过总线与相机160相连。相机160是具有图像采集能力的传感器件。相机160还可称为摄像头、感光器件等其它名称。相机160具有连续采集图像或多次采集图像的能力。可选地，相机160设置在设备内部或设备外部。在一些实施例中，若目标图像是其它设备采集的图像，则相机160为可选部件。本领域技术人员可以理解，图1中示出的结构并不构成对图像处理设备的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。请参考图2，其示出了本申请一个示例性实施例提供的图像增强方法的流程图。该方法能够用于移动终端中，该移动终端可以是具有拍照功能的移动终端。该方法包括：步骤202，获取待处理的目标图像；待处理的目标图像是需要进行增强处理的图像。可选地，目标图像是夜景图像。步骤204，对目标图像进行语义分割，得到目标图像的n个语义区域；语义区本文档来自技高网...

【技术保护点】
1.一种图像增强方法，其特征在于，所述方法包括：获取待处理的目标图像；对所述目标图像进行语义分割，得到所述目标图像的n个语义区域，n为大于1的整数；根据参考图像对所述目标图像的n个语义区域按照各自对应的影响因子进行风格转移，得到增强后的目标图像；其中，所述影响因子用于表示对所述语义区域进行增强时的程度。

【技术特征摘要】
1.一种图像增强方法，其特征在于，所述方法包括：获取待处理的目标图像；对所述目标图像进行语义分割，得到所述目标图像的n个语义区域，n为大于1的整数；根据参考图像对所述目标图像的n个语义区域按照各自对应的影响因子进行风格转移，得到增强后的目标图像；其中，所述影响因子用于表示对所述语义区域进行增强时的程度。2.根据权利要求1所述的方法，其特征在于，所述根据参考图像对所述目标图像的n个语义区域按照各自对应的影响因子进行风格转移，得到增强后的目标图像，包括：将所述参考图像和所述目标图像输入风格迁移增强网络得到输出图像，所述风格迁移增强网络包括ι个卷积层，ι为正整数；计算所述输出图像和所述参考图像之间的自适应影响因子风格损失Ls，所述自适应影响因子风格损失用于所述输出图像中的n个语义区域按照对应的影响因子进行风格转移后的风格损失之和；计算所述输出图像和所述目标图像之间的内容损失Lc；根据总损失将所述输出图像在所述ι个卷积层中进行迭代增强，所述总损失包括所述自适应影响因子风格损失Ls和所述内容损失Lc；当所述总损失收敛时，将所述输出图像确定为所述增强后的目标图像。3.根据权利要求2所述的方法，其特征在于，所述计算所述输出图像和所述参考图像之间的自适应影响因子风格损失Ls，包括：按照如下公式计算所述输出图像和所述目标图像之间的所述自适应影响因子风格损失Ls：其中，O是所述输出图像，R是所述参考图像，r是所述语义区域的标签，Λ是各个影响因子构成的矢量，是第ι个卷积层上第r个语义区域的影响因子，是第ι个卷积层上第r个语义区域的格尔曼矩阵，Nι是第ι个卷积层上的特征图个数。4.根据权利要求2所述的方法，其特征在于，所述计算所述输出图像和所述目标图像之间的内容损失Lc，包括：按照如下公式计算所述输出图像和所述目标图像之间的所述内容损失Lc：其中，O是所述输出图像，L是所述目标图像，αι是每个卷积层的内容权重，r是所述语义区域的标签，Nι是第ι个卷积层上的特征图个数，Dι是矢量化特征图的维数，是第ι个卷积层上的第r个语义区域对应的特征图。5.根据权利要求2所述的方法，其特征在于，所述总损失还包括：拉普拉斯矩阵损失项，所述拉普拉斯矩阵损失项用于保证所述输出图像的真实化；所述方法还包括:按照如下公式计算所述输出图像的拉普拉斯损失项：其中，O是所述输出图像，Vc[.]是所述输出图像的矢量C通道，所述ML是定义在拉普拉斯抠图矩阵上的线性系统。6.根据权利要求3所述的方法，其特征在于，所述方法还包括：将所述输出图像和所述参考图像的特征输入全连接层得到ι*m的参数矩阵，所述全连接层用于自适应生成不同卷积层的各个语义区域类别的增强因子；根据所述ι*m的参数矩阵确定第ι个卷积层上的第m个语义区域的增强因子。7.根据权利要求2所述的方法，其特征在于，所述将所述参考图像和所述目标图像输入风格迁移增强网络得到输出图像，包括：...

【专利技术属性】
技术研发人员：王瑞星，沈小勇，贾佳亚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44