本公开关于一种图像特效的处理方法、装置、电子设备及存储介质，其中，所述方法包括：从待处理图像中提取得到目标对象的二维关键点信息；根据二维关键点信息、二维关键点信息在目标对象的三维模型中对应的三维关键点信息，将三维模型投影到待处理图像的目标区域图像上；对目标区域图像进行特效处理得到目标特效图像。本公开提取目标对象的二维关键点信息，根据二维关键点信息和三维关键点信息，从待处理图像中确定得到投影有三维模型的目标区域图像，提升了目标对象在待处理图像中的位置的识别准确度，进而对目标区域图像进行特效处理，从而避免目标特效图像中的目标对象与待处理图像中的目标对象错位的问题，提升了目标对象的特效效果。对象的特效效果。对象的特效效果。
【技术实现步骤摘要】
图像特效的处理方法、装置、电子设备和存储介质
[0001]本公开涉及图像处理
，尤其涉及一种图像特效的处理方法、装置、电子设备及存储介质。
技术介绍
[0002]虚拟美甲是短视频应用程序或者相机应用程序的一项新功能，虚拟美甲指对图像中的指甲进行美化处理。
[0003]相关技术中，目前的虚拟美甲方案通常是对图像进行分析，识别出指甲在图像中的大致区域，然后对指甲所在的大致区域进行重新着色、替换图案等美化处理，达到美甲的效果。但是，目前的虚拟美甲方案只能粗略地获取指甲的大概区域，导致美化后的指甲与真实的指甲存在错位的问题，美化效果不理想。
技术实现思路
[0004]本公开提供了一种图像特效的处理方法、装置、电子设备及存储介质，以至少解决相关技术中目标对象的特效效果不真实问题。本公开的技术方案如下：
[0005]根据本公开实施例的第一方面，提供了一种图像特效的处理方法，包括：获取包含目标对象的待处理图像；从所述待处理图像中提取得到所述目标对象的二维关键点信息；根据所述二维关键点信息，以及所述二维关键点信息在所述目标对象的三维模型中对应的三维关键点信息，将所述三维模型投影到所述目标对象在所述待处理图像的目标区域图像上；对所述目标区域图像进行特效处理得到目标特效图像。
[0006]可选地，所述根据所述二维关键点信息，以及所述二维关键点信息在所述目标对象的三维模型中对应的三维关键点信息，将所述三维模型投影到所述目标对象在所述待处理图像的目标区域图像上，包括：根据所述二维关键点信息和所述三维关键点信息计算所述待处理图像的相机外参矩阵；根据所述相机外参矩阵和相机内参矩阵将所述三维模型投影到所述目标对象在所述待处理图像的目标区域图像上。
[0007]可选地，所述从所述待处理图像中提取得到所述目标对象的二维关键点信息，包括：将所述待处理图像输入区域分割模型，得到所述目标区域图像，所述目标区域图像包含所述目标对象的最小外包矩形；将所述目标区域图像输入关键点回归模型，得到所述二维关键点信息。
[0008]可选地，所述将所述待处理图像输入区域分割模型，得到所述目标区域图像，包括：将所述待处理图像输入第一区域分割模型，得到第一目标区域图像；将所述第一目标区域图像输入第二区域分割模型，得到所述目标区域图像；其中，所述第一目标区域图像包含所述目标区域图像，所述第一目标区域图像包含第一对象的最小外包矩形，所述目标对象位于所述第一对象中。
[0009]可选地，所述将所述待处理图像输入区域分割模型，得到所述目标区域图像，包括：将所述待处理图像输入所述区域分割模型，得到包含所述最小外包矩形的目标区域初
始图像，对所述目标区域初始图像进行时序平滑处理得到所述目标区域图像。
[0010]可选地，所述将所述目标区域图像输入关键点回归模型，得到所述二维关键点信息，包括：将所述目标区域图像输入所述关键点回归模型，得到所述目标对象的二维初始关键点信息，对所述二维初始关键点信息进行光流稳定处理得到所述二维关键点信息。
[0011]可选地，在所述对所述目标区域图像进行特效处理得到目标特效图像之后，所述方法还包括：将所述待处理图像的所述目标对象替换为所述目标特效图像，得到最终效果图像。
[0012]可选地，在所述将所述待处理图像的所述目标对象替换为所述目标特效图像，得到最终效果图像之后，所述方法还包括：在所述待处理图像中提取出所述目标对象的掩膜区域图像；调整所述目标特效图像在所述最终效果图像中的位置，直至所述目标特效图像在所述最终效果图像中的位置与所述掩膜区域图像在所述待处理图像中的位置之间的距离小于预设的距离阈值。
[0013]根据本公开实施例的第二方面，提供了一种图像特效的处理装置，包括：获取模块，被配置为获取包含目标对象的待处理图像；提取模块，被配置为从所述待处理图像中提取得到所述目标对象的二维关键点信息；投影模块，被配置为根据所述二维关键点信息，以及所述二维关键点信息在所述目标对象的三维模型中对应的三维关键点信息，将所述三维模型投影到所述目标对象在所述待处理图像的目标区域图像上；特效模块，被配置为对所述目标区域图像进行特效处理得到目标特效图像。
[0014]可选地，所述投影模块，包括：外参矩阵计算模块，被配置为根据所述二维关键点信息和所述三维关键点信息计算所述待处理图像的相机外参矩阵；模型投影模块，被配置为根据所述相机外参矩阵和相机内参矩阵将所述三维模型投影到所述目标对象在所述待处理图像的目标区域图像上。
[0015]可选地，所述提取模块，包括：分割模块，被配置为将所述待处理图像输入区域分割模型，得到所述目标区域图像，所述目标区域图像包含所述目标对象的最小外包矩形；回归模块，被配置为将所述目标区域图像输入关键点回归模型，得到所述二维关键点信息。
[0016]可选地，所述分割模块，被配置为将所述待处理图像输入第一区域分割模型，得到第一目标区域图像；将所述第一目标区域图像输入第二区域分割模型，得到所述目标区域图像；其中，所述第一目标区域图像包含所述目标区域图像，所述第一目标区域图像包含第一对象的最小外包矩形，所述目标对象位于所述第一对象中。
[0017]可选地，所述分割模块，被配置为将所述待处理图像输入所述区域分割模型，得到包含所述最小外包矩形的目标区域初始图像，对所述目标区域初始图像进行时序平滑处理得到所述目标区域图像。
[0018]可选地，所述回归模块，被配置为将所述目标区域图像输入所述关键点回归模型，得到所述目标对象的二维初始关键点信息，对所述二维初始关键点信息进行光流稳定处理得到所述二维关键点信息。
[0019]可选地，所述装置还包括：替换模块，被配置为在所述特效模块对所述目标区域图像进行特效处理得到目标特效图像之后，将所述待处理图像的所述目标对象替换为所述目标特效图像，得到最终效果图像。
[0020]可选地，所述装置还包括：微调模块，被配置为在所述替换模块将所述待处理图像
的所述目标对象替换为所述目标特效图像，得到最终效果图像之后，在所述待处理图像中提取出所述目标对象的掩膜区域图像；调整所述目标特效图像在所述最终效果图像中的位置，直至所述目标特效图像在所述最终效果图像中的位置与所述掩膜区域图像在所述待处理图像中的位置之间的距离小于预设的距离阈值。
[0021]根据本公开实施例的第三方面，提供了一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如第一方面所述的图像特效的处理方法。
[0022]根据本公开实施例的第四方面，提供了一种存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述的图像特效的处理方法。
[0023]根据本公开实施例的第五方面，提供了一种计算机程序产品，包括可读性程序代码，所述可读性程序代码可由电子设备的处理器执行以完成上述第一方面所述的图像特效的处理方法。
[0024]本公本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像特效的处理方法，其特征在于，包括：获取包含目标对象的待处理图像；从所述待处理图像中提取得到所述目标对象的二维关键点信息；根据所述二维关键点信息，以及所述二维关键点信息在所述目标对象的三维模型中对应的三维关键点信息，将所述三维模型投影到所述目标对象在所述待处理图像的目标区域图像上；对所述目标区域图像进行特效处理得到目标特效图像。2.根据权利要求1所述的方法，其特征在于，所述根据所述二维关键点信息，以及所述二维关键点信息在所述目标对象的三维模型中对应的三维关键点信息，将所述三维模型投影到所述目标对象在所述待处理图像的目标区域图像上，包括：根据所述二维关键点信息和所述三维关键点信息计算所述待处理图像的相机外参矩阵；根据所述相机外参矩阵和相机内参矩阵将所述三维模型投影到所述目标对象在所述待处理图像的目标区域图像上。3.根据权利要求1所述的方法，其特征在于，所述从所述待处理图像中提取得到所述目标对象的二维关键点信息，包括：将所述待处理图像输入区域分割模型，得到所述目标区域图像，所述目标区域图像包含所述目标对象的最小外包矩形；将所述目标区域图像输入关键点回归模型，得到所述二维关键点信息。4.根据权利要求3所述的方法，其特征在于，所述将所述待处理图像输入区域分割模型，得到所述目标区域图像，包括：将所述待处理图像输入第一区域分割模型，得到第一目标区域图像；将所述第一目标区域图像输入第二区域分割模型，得到所述目标区域图像；其中，所述第一目标区域图像包含所述目标区域图像，所述第一目标区域图像包含第一对象的最小外包矩形，所述目标对象位于所述第一对象中。5.根据权利要求3所述的方法，其特征在于，所述将所...
【专利技术属性】
技术研发人员：申婷婷，赵松涛，郭益林，宋丛礼，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。