特效显示方法、装置、计算机设备及存储介质制造方法及图纸

本申请公开了一种特效显示方法、装置、计算机设备及存储介质，属于互联网技术领域。本申请实施例中，在人脸图像帧中显示特效时，若当前图像帧无法检测到人脸，基于之前图像帧所检测到的人脸关键点，对当前图像帧进行人脸关键点跟踪，就能够跟踪到当前图像帧的人脸关键点，提供了一种基于人脸关键点跟踪的特效显示方法，进而，在该图像帧对应的人脸关键点满足目标条件的情况下，基于人脸跟踪到的人脸关键点进行特效的显示，避免由于人脸检测失败而造成后续人脸特效突然消失或者变形的问题，确保了特效的持续显示。

【技术实现步骤摘要】
特效显示方法、装置、计算机设备及存储介质
本申请涉及互联网
，特别涉及一种特效显示方法、装置、计算机设备及存储介质。
技术介绍
随着互联网技术的不断发展，在拍摄或直播时使用特效已成为一种新的娱乐方式。用户可以使用人脸特效，如美颜特效、萌脸特效等，此时终端会在对应画面中为用户的脸部添加该人脸特效。目前，特效显示方法通常为：终端对采集到的图像帧进行人脸检测，得到图像帧的人脸检测结果，基于该人脸检测结果，在对应图像帧中为用户的脸部添加人脸特效。然而，在拍摄或直播过程中，由于用户的脸部可能不会一直正对终端，导致终端有时无法检测到用户的人脸，会出现人脸特效突然消失或者变形的情况。
技术实现思路
本申请实施例提供了一种特效显示方法、装置、计算机设备及存储介质，提供了一种基于人脸关键点跟踪的特效显示方法，避免由于人脸检测失败而造成后续人脸特效突然消失或者变形的问题。该技术方案如下：一方面，提供了一种特效显示方法，由终端执行，该方法包括：响应于对目标特效的显示指令，在第一图像帧的人脸位置上，显示目标特效，该人脸位置基于多个第一人脸关键点确定，该多个第一人脸关键点基于对该第一图像帧的人脸检测得到；响应于第二图像帧人脸检测失败，基于该多个第一人脸关键点，对该第二图像帧进行人脸关键点跟踪，得到多个第二人脸关键点，该第二图像帧为该第一图像帧之后的图像帧；响应于该多个第二人脸关键点满足目标条件，在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效。在一些实施例中，响应于该多个第二人脸关键点满足目标条件，在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效包括：对于该第二人脸关键点，获取该第一图像帧的第一图像特征和该第二图像帧的第二图像特征，该第一图像特征为该第二人脸关键点对应的第一人脸关键点关联区域的图像特征，该第二图像特征为该第二人脸关键点关联区域的图像特征；确定多个该第二人脸关键点的该第一图像特征与该第二图像特征之间的图像相似度；响应于多个该第二人脸关键点对应的图像相似度均达到第一阈值，在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效。在一些实施例中，确定多个该第二人脸关键点的该第一图像特征与该第二图像特征之间的图像相似度之后，该方法还包括：基于多个该第二人脸关键点对应的图像相似度，确定目标比例，该目标比例为图像相似度达到第一阈值的第二人脸关键点的数量占第二人脸关键点总数的比例；响应于该目标比例达到比例阈值，执行该在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效的步骤。在一些实施例中，响应于该多个第二人脸关键点满足目标条件，在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效包括：确定第一人脸轮廓和第二人脸轮廓之间的人脸相似度，该第一人脸轮廓为该多个第一人脸关键点对应的人脸轮廓，该第二人脸轮廓为该多个第二人脸关键点对应的第二人脸轮廓；响应于该人脸相似度达到第二阈值，在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效。在一些实施例中，确定该第一人脸轮廓和该第二人脸轮廓之间的人脸相似度之前，该方法还包括：分别将该多个第一人脸关键点和该多个第二人脸关键点的位置信息输入特征提取网络，通过该特征提取网络对人脸特征进行提取，得到该第一人脸轮廓的第一人脸特征和该第二人脸轮廓的第二人脸特征；基于该第一人脸特征和该第二人脸特征，执行该确定该第一人脸轮廓和该第二人脸轮廓之间的人脸相似度的步骤。在一些实施例中，基于该多个第一人脸关键点，对该第二图像帧进行人脸关键点跟踪，得到多个第二人脸关键点包括：将该多个第一人脸关键点输入人脸跟踪网络，通过该人脸跟踪网络对该第二图像帧进行人脸关键点跟踪，得到该多个第二人脸关键点。一方面，提供了一种特效显示装置，该装置包括：第一显示模块，用于响应于对目标特效的显示指令，在第一图像帧的人脸位置上，显示目标特效，该人脸位置基于多个第一人脸关键点确定，该多个第一人脸关键点基于对该第一图像帧的人脸检测得到；跟踪模块，用于响应于第二图像帧人脸检测失败，基于该多个第一人脸关键点，对该第二图像帧进行人脸关键点跟踪，得到多个第二人脸关键点，该第二图像帧为该第一图像帧之后的图像帧；第二显示模块，用于响应于该多个第二人脸关键点满足目标条件，在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效。在一些实施例中，该第二显示模块，包括：获取子模块，用于对于该第二人脸关键点，获取该第一图像帧的第一图像特征和该第二图像帧的第二图像特征，该第一图像特征为该第二人脸关键点对应的第一人脸关键点关联区域的图像特征，该第二图像特征为该第二人脸关键点关联区域的图像特征；确定子模块，用于确定多个该第二人脸关键点的该第一图像特征与该第二图像特征之间的图像相似度；显示子模块，用于响应于多个该第二人脸关键点对应的图像相似度均达到第一阈值，在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效。在一些实施例中，该确定子模块，还用于基于多个该第二人脸关键点对应的图像相似度，确定目标比例，该目标比例为图像相似度达到第一阈值的第二人脸关键点的数量占第二人脸关键点总数的比例；该显示子模块，还用于响应于该目标比例达到比例阈值，执行该在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效的步骤。在一些实施例中，该第二显示模块，包括：确定子模块，用于确定第一人脸轮廓和第二人脸轮廓之间的人脸相似度，该第一人脸轮廓为该多个第一人脸关键点对应的人脸轮廓，该第二人脸轮廓为该多个第二人脸关键点对应的第二人脸轮廓；显示子模块，用于响应于该人脸相似度达到第二阈值，在基于该多个第二人脸关键点所确定的人脸位置上，显示该目标特效。在一些实施例中，该装置还包括特征提取模块，用于分别将该多个第一人脸关键点和该多个第二人脸关键点的位置信息输入特征提取网络，通过该特征提取网络对人脸特征进行提取，得到该第一人脸轮廓的第一人脸特征和该第二人脸轮廓的第二人脸特征；该确定子模块，还用于基于该第一人脸特征和该第二人脸特征，执行该确定该第一人脸轮廓和该第二人脸轮廓之间的人脸相似度的步骤。在一些实施例中，该跟踪模块，用于：将该多个第一人脸关键点输入人脸跟踪网络，通过该人脸跟踪网络对该第二图像帧进行人脸关键点跟踪，得到该多个第二人脸关键点。一方面，提供了一种计算机设备，该计算机设备包括处理器和存储器，该存储器中存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现上述的特效显示方法。一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现上述的特效显示方法。一方面，提供了一种计算机程序产品，该计算机程序产品包括计算机程序代码，该计算机程序代码存储在计算机可读存储本文档来自技高网...

【技术保护点】
1.一种特效显示方法，其特征在于，由终端执行，所述方法包括：/n响应于对目标特效的显示指令，在第一图像帧的人脸位置上，显示目标特效，所述人脸位置基于多个第一人脸关键点确定，所述多个第一人脸关键点基于对所述第一图像帧的人脸检测得到；/n响应于第二图像帧人脸检测失败，基于所述多个第一人脸关键点，对所述第二图像帧进行人脸关键点跟踪，得到多个第二人脸关键点，所述第二图像帧为所述第一图像帧之后的图像帧；/n响应于所述多个第二人脸关键点满足目标条件，在基于所述多个第二人脸关键点所确定的人脸位置上，显示所述目标特效。/n

【技术特征摘要】
1.一种特效显示方法，其特征在于，由终端执行，所述方法包括：
响应于对目标特效的显示指令，在第一图像帧的人脸位置上，显示目标特效，所述人脸位置基于多个第一人脸关键点确定，所述多个第一人脸关键点基于对所述第一图像帧的人脸检测得到；
响应于第二图像帧人脸检测失败，基于所述多个第一人脸关键点，对所述第二图像帧进行人脸关键点跟踪，得到多个第二人脸关键点，所述第二图像帧为所述第一图像帧之后的图像帧；
响应于所述多个第二人脸关键点满足目标条件，在基于所述多个第二人脸关键点所确定的人脸位置上，显示所述目标特效。


2.根据权利要求1所述的方法，其特征在于，所述响应于所述多个第二人脸关键点满足目标条件，在基于所述多个第二人脸关键点所确定的人脸位置上，显示所述目标特效包括：
对于所述第二人脸关键点，获取所述第一图像帧的第一图像特征和所述第二图像帧的第二图像特征，所述第一图像特征为所述第二人脸关键点对应的第一人脸关键点关联区域的图像特征，所述第二图像特征为所述第二人脸关键点关联区域的图像特征；
确定多个所述第二人脸关键点的所述第一图像特征与所述第二图像特征之间的图像相似度；
响应于多个所述第二人脸关键点对应的图像相似度均达到第一阈值，在基于所述多个第二人脸关键点所确定的人脸位置上，显示所述目标特效。


3.根据权利要求2所述的方法，其特征在于，所述确定多个所述第二人脸关键点的所述第一图像特征与所述第二图像特征之间的图像相似度之后，所述方法还包括：
基于多个所述第二人脸关键点对应的图像相似度，确定目标比例，所述目标比例为图像相似度达到第一阈值的第二人脸关键点的数量占第二人脸关键点总数的比例；
响应于所述目标比例达到比例阈值，执行所述在基于所述多个第二人脸关键点所确定的人脸位置上，显示所述目标特效的步骤。


4.根据权利要求1所述的方法，其特征在于，所述响应于所述多个第二人脸关键点满足目标条件，在基于所述多个第二人脸关键点所确定的人脸位置上，显示所述目标特效包括：
确定第一人脸轮廓和第二人脸轮廓之间的人脸相似度，所述第一人脸轮廓为所述多个第一人脸关键点对应的人脸轮廓，所述第二人脸轮廓为所述多个第二人脸关键点对应的第二人脸轮廓；
响应于所述人脸相似度达到第二阈值，在基于所述多个第二人脸关键点所确定的人脸位置上，显示所述目标特效。


5.根据权利要求4所述的方法，其特征在于，所述确定所述第一人脸轮廓和所述第二人脸轮廓之间的人脸相似度之前，所述方法还包括：

【专利技术属性】
技术研发人员：陈盛福，
申请(专利权)人：广州繁星互娱信息科技有限公司，
类型：发明
国别省市：广东;44