图像处理方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种图像处理方法、装置、电子设备及存储介质，涉及图像处理技术领域，本公开的方法包括：获取包括处于闭合状态的嘴唇区域的视频帧，并确定视频帧的第一上嘴唇区域和第一下嘴唇区域；获取包括第二上嘴唇区域和第二下嘴唇区域的开口唇妆图像；分别对第二上嘴唇区域及第二下嘴唇区域进行变形处理，变形处理后的第二上嘴唇区域的形状和第二下嘴唇区域的形状分别与第一上嘴唇区域、第一下嘴唇区域的形状相匹配；将变形处理后的第二上嘴唇区域和第二下嘴唇区域分别叠加到第一上嘴唇区域和第一下嘴唇区域。如此，待处理视频中的闭口嘴唇区域和开口嘴唇区域均使用开口唇妆图像进行映射，不会出现颜色闪烁的现象。不会出现颜色闪烁的现象。不会出现颜色闪烁的现象。

【技术实现步骤摘要】
图像处理方法、装置、电子设备及存储介质


[0001]本公开涉及图像处理
，尤其涉及一种图像处理方法、装置、电子设备及存储介质。

技术介绍

[0002]随着智能手机的普及和人工智能技术的发展，人们越来越喜欢通过滤镜、美妆、贴纸等来美化自拍，记录美好的生活。而随着短视频的火热，人们也会编辑短视频来记录自己的生活。也即，美妆的应用从一张图片扩展到视频中。
[0003]以将美妆应用于视频中的嘴唇为例，需要确定视频的每个视频帧中的嘴唇区域是处于开口状态还是处于闭口状态。若处于开口状态，则将绘制好的开口唇妆映射到视频帧中的嘴唇区域；若处于闭口状态，则将绘制好的闭口唇妆映射到视频帧中的嘴唇区域。由于开口唇妆和闭口唇妆均需要提前绘制好，当开口唇妆和闭口唇妆的颜色或透明度不一致时，映射后的视频中的嘴唇区域可能会出现颜色突变导致颜色闪烁的问题，影响用户体验。

技术实现思路

[0004]本公开提供一种图像处理方法、装置、电子设备及存储介质，可以解决现有技术中视频的映射后的嘴唇区域出现颜色闪烁。
[0005]本公开实施例的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种图像处理方法，该方法可以包括：获取包括处于闭口状态的嘴唇区域的待处理视频帧；确定待处理视频帧中的嘴唇区域的第一上嘴唇区域和第一下嘴唇区域；获取预设的、包括第二上嘴唇区域和第二下嘴唇区域的开口唇妆图像；对第二上嘴唇区域及第二下嘴唇区域进行变形处理，变形处理后的第二上嘴唇区域的形状与第一上嘴唇区域的形状相匹配，变形处理后的第二下嘴唇区域的形状与第一下嘴唇区域的形状相匹配；将变形处理后的第二上嘴唇区域叠加到第一上嘴唇区域，并将变形处理后的第二下嘴唇区域叠加到第一下嘴唇区域。
[0007]可选地，该图像处理方法还可以包括：确定第二上嘴唇区域中与待处理视频帧的多个第一关键点分别对应的多个第二关键点，并确定第二下嘴唇区域中与待处理视频帧的多个第三关键点分别对应的多个第四关键点；多个第一关键点用于表征第一上嘴唇区域，多个第二关键点用于表征第二上嘴唇区域，多个第三关键点用于表征第一下嘴唇区域，多个第四关键点用于表征第二下嘴唇区域；上述“将变形处理后的第二上嘴唇区域叠加到第一上嘴唇区域，并将变形处理后的第二下嘴唇区域叠加到第一下嘴唇区域”具体包括：根据多个第一关键点以及多个第二关键点，将变形处理后的第二上嘴唇区域叠加到第一上嘴唇区域，并根据多个第三关键点以及多个第四关键点，将变形处理后的第二下嘴唇区域叠加到第一下嘴唇区域。
[0008]可选的，上述“根据多个第一关键点以及多个第二关键点，将变形处理后的第二上嘴唇区域叠加到第一上嘴唇区域，并根据多个第三关键点以及多个第四关键点，将变形处
理后的第二下嘴唇区域叠加到第一下嘴唇区域”包括：根据多个第一关键点与多个第二关键点之间的位置对应关系，将多个第二关键点分别叠加到对应的第一关键点上，以所述变形处理后的第二上嘴唇区域覆盖第一上嘴唇区域；根据多个第三关键点与多个第四关键点之间的位置对应关系，将多个第四关键分别叠加到对应的第三关键点上，以使得变形处理后的第二下嘴唇区域覆盖第一下嘴唇区域。
[0009]可选地，当叠加后的视频帧中的第一上嘴唇区域与第一下嘴唇区域之间存在重叠区域时，该方法还包括：对重叠区域进行颜色减淡处理。
[0010]可选地，该方法还包括：当第一上嘴唇区域完全覆盖第一下嘴唇区域时，删除第二下嘴唇区域，并将变形处理后的第二上嘴唇区域叠加到第一上嘴唇区域；当第一下嘴唇区域完全覆盖第一上嘴唇区域时，删除第二上嘴唇区域，并将变形处理后的第二下嘴唇区域叠加到第二嘴唇区域。
[0011]可选的，当待处理视频帧中的第一上嘴唇区域覆盖第一下嘴唇区域的部分区域，或第一下嘴唇区域覆盖第一上嘴唇区域的部分区域时，上述“确定所述待处理视频帧中的嘴唇区域的第一上嘴唇区域和第一下嘴唇区域”包括：确定被覆盖区域的第一唇线和第二唇线，第一唇线为覆盖嘴唇区域的、与被覆盖嘴唇区域衔接的唇线，第二唇线为被覆盖嘴唇区域未被遮挡的唇线；当第一唇线和第二唇线构成的封闭区域位于覆盖嘴唇区域上方时，将封闭区域作为第一上嘴唇区域，并将覆盖嘴唇区域作为第一下嘴唇区域；当第一唇线和第二唇线构成的封闭区域位于覆盖嘴唇区域下发时，将封闭区域作为第一下嘴唇区域，并将覆盖区域作为第一上嘴唇区域。
[0012]可选的，当第一上嘴唇区域覆盖第一下嘴唇区域的部分区域时，上述“对所述第二上嘴唇区域及所述第二下嘴唇区域进行变形处理”包括：对所述第二上嘴唇区域进行变形处理，以使得变形处理后的第二上嘴唇区域的形状与所述第一上嘴唇区域的形状相匹配，并对所述第二下嘴唇区域进行变形处理，以使得变形处理后的第二下嘴唇区域的形状与所述封闭区域的形状相匹配；上述“将所述变形处理后的第二上嘴唇区域叠加到所述第一上嘴唇区域，并将所述变形处理后的第二下嘴唇区域叠加到所述第一下嘴唇区域”包括：将所述第二上嘴唇区域叠加到所述第一上嘴唇区域，并将变形处理后的第二下嘴唇区域叠加到所述封闭区域；当第一下嘴唇区域覆盖第一上嘴唇区域的部分区域时，上述“对所述第二上嘴唇区域及所述第二下嘴唇区域进行变形处理”包括：对所述第二上嘴唇区域进行变形处理，以使得变形处理后的第二上嘴唇区域的形状与所述封闭区域的形状相匹配，并对所述第二下嘴唇区域进行变形处理，以使得变形处理后的第二下嘴唇区域的形状与所述第一下嘴唇区域的形状相匹配；上述“将所述变形处理后的第二上嘴唇区域叠加到所述第一上嘴唇区域，并将所述变形处理后的第二下嘴唇区域叠加到所述第一下嘴唇区域”包括：将所述第二上嘴唇区域叠加到所述封闭区域，并将变形处理后的第二下嘴唇区域叠加到所述第一下嘴唇区域。
[0013]根据本公开实施例的第二方面，提供一种图像处理装置，该装置可以包括：获取单元、确定单元、处理单元；获取单元，用于获取包括处于闭口状态的嘴唇区域的待处理视频帧；确定单元，用于确定待处理视频帧中的嘴唇区域的第一上嘴唇区域和第一下嘴唇区域；获取单元，还用于获取预设的、包括第二上嘴唇区域和第二下嘴唇区域的开口唇妆图像；处理单元，用于对第二上嘴唇区域及第二下嘴唇区域进行变形处理，变形处理后的第二上嘴
唇区域的形状与第一上嘴唇区域的形状相匹配，变形处理后的第二下嘴唇区域的形状与第一下嘴唇区域的形状相匹配；处理单元，还用于将变形处理后的第二上嘴唇区域叠加到第一上嘴唇区域，并将变形处理后的第二下嘴唇区域叠加到第一下嘴唇区域。
[0014]可选地，处理单元，还用于确定第二上嘴唇区域中与待处理视频帧的多个第一关键点分别对应的多个第二关键点，并确定第二下嘴唇区域中与待处理视频帧的多个第三关键点分别对应的多个第四关键点；多个第一关键点用于表征第一上嘴唇区域，多个第二关键点用于表征第二上嘴唇区域，多个第三关键点用于表征第一下嘴唇区域，多个第四关键点用于表征第二下嘴唇区域；处理单元，具体用于根据多个第一关键点以及多个第二关键点，将变形处理后的第二上嘴唇区域叠加到第一上嘴唇区域，并根据多个第三关键点以及多个第四关键点，将变本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：获取待处理视频帧，所述待处理视频帧包括嘴唇区域；所述嘴唇区域处于闭合状态；确定所述嘴唇区域的第一上嘴唇区域和第一下嘴唇区域；获取预设的开口唇妆图像，所述预设的开口唇妆图像包括第二上嘴唇区域和第二下嘴唇区域；对所述第二上嘴唇区域及所述第二下嘴唇区域进行变形处理；其中，变形处理后的所述第二上嘴唇区域的形状与所述第一上嘴唇区域的形状相匹配，变形处理后的所述第二下嘴唇区域的形状与所述第一下嘴唇区域的形状相匹配；将变形处理后的所述第二上嘴唇区域叠加到所述第一上嘴唇区域，并将变形处理后的所述第二下嘴唇区域叠加到所述第一下嘴唇区域，得到叠加后的视频帧。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述第二上嘴唇区域中与所述待处理视频帧的多个第一关键点分别对应的多个第二关键点，并确定所述第二下嘴唇区域中与所述待处理视频帧的多个第三关键点分别对应的多个第四关键点；所述多个第一关键点用于表征所述第一上嘴唇区域，所述多个第二关键点用于表征所述第二上嘴唇区域，所述多个第三关键点用于表征所述第一下嘴唇区域，所述多个第四关键点用于表征所述第二下嘴唇区域；所述将变形处理后的所述第二上嘴唇区域叠加到所述第一上嘴唇区域，并将变形处理后的所述第二下嘴唇区域叠加到所述第一下嘴唇区域，包括：根据所述多个第一关键点以及多个第二关键点，将变形处理后的所述第二上嘴唇区域叠加到所述第一上嘴唇区域，并根据所述多个第三关键点以及所述多个第四关键点，将变形处理后的所述第二下嘴唇区域叠加到所述第一下嘴唇区域。3.根据权利要求2所述的方法，其特征在于，所述根据多个第一关键点以及所述多个第二关键点，将变形处理后的所述第二上嘴唇区域叠加到所述第一上嘴唇区域，并根据所述多个第三关键点以及所述多个第四关键点，将变形处理后的所述第二下嘴唇区域叠加到所述第一下嘴唇区域，包括：根据所述多个第一关键点与所述多个第二关键点之间的位置对应关系，将所述多个第二关键点分别叠加到对应的第一关键点上，以使得变形处理后的所述第二上嘴唇区域覆盖所述第一上嘴唇区域；根据所述多个第三关键点与所述多个第四关键点之间的位置对应关系，将所述多个第四关键分别叠加到对应的第三关键点上，以使得变形处理后的所述第二下嘴唇区域覆盖所述第一下嘴唇区域。4.根据权利要求2所述的方法，其特征在于，当所述叠加后的视频帧中的第一上嘴唇区域与所述叠加后的视频帧中的第一下嘴唇区域之间存在重叠区域时，所述方法还包括：对所述重叠区域进行颜色减淡处理。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述方法还包括：当所述第一上嘴唇区域完全覆盖所述第一下嘴唇区域时，删除所述...

【专利技术属性】
技术研发人员：颜敏炜，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：