一种人脸检测方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种人脸检测方法、装置、电子设备及存储介质。其中，人脸检测方法，应用于AR特效渲染场景，所述方法包括：获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。通过本方案可以提高AR特效的渲染效果和效率。

【技术实现步骤摘要】
一种人脸检测方法、装置、电子设备及存储介质
本申请涉及图像处理
，特别是涉及一种人脸检测方法、装置、电子设备及存储介质。
技术介绍
为了在移动端上实现基于人脸实现AR(AugmentedReality，增强现实)特效的场景，需要实时地从视频的每一帧图像中检测出所有人脸，再针对其中每个人脸单独进行分析并进一步渲染特效。现有技术中，在实际检测人脸过程中，不同移动端的硬件处理能力不同，实时地对每一帧图像进行人脸检测会增加移动端功耗；另外，由于人物经常处于运动状态，会导致图像中人脸丢失，此时无法进行渲染处理只能等到全局检测被触发后才能再次进行处理，而全局检测的计算量很大，造成AR特效渲染的卡顿和滞后。
技术实现思路
本申请实施例的目的在于提供一种人脸检测方法、装置、电子设备及存储介质，以提高AR特效的渲染效果和效率。具体技术方案如下：在本申请实施的第一方面，首先提供了一种人脸检测方法，应用于AR特效渲染场景，所述方法包括：获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。可选地，所述第二间隔随着选取视频帧的次数的增加而指数递增。可选地，所述第二间隔按照如下公式确定：Nx＝ax-1，其中，Nx为第二间隔；x为选取视频帧的次数，x≥1；a为大于1的常数。可选地，所述方法还包括：若对当前视频帧之后的视频帧进行人脸检测的检测结果中包含跟踪丢失的人脸，或者所述第二间隔所间隔的视频帧数大于目标帧数阈值时，停止对当前视频帧之后的视频帧进行人脸检测。可选地，所述目标帧数阈值的确定方式包括：判断所述第一间隔和所述第二间隔的视频帧数的大小，以两者中的最小数值为目标帧数阈值。可选地，所述当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果，包括：当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；当检测得到人脸之后，将检测到的人脸与跟踪丢失人脸进行相似度对比；如果对比结果大于预设阈值，则将检测到的人脸作为跟踪丢失人脸；否则，将检测得到的人脸作为新的人脸。可选地，所述按照所述第一间隔从目标视频中选取目标帧进行人脸检测，包括：采用第一线程，按照所述第一间隔从目标视频中选取目标帧进行人脸检测；所述按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，包括：采用第二线程，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；其中，所述第一线程和所述第二线程异步执行。在本申请实施的第二方面，还提供了一种人脸检测装置，应用于AR特效渲染场景，所述装置包括：间隔确定模块，用于获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；检测跟踪模块，用于按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；人脸抽检模块，用于在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。在本申请实施的第三方面，还提供了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现上述第一方面的方法步骤。在本申请实施的第四方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面的方法步骤。本申请实施例提供的人脸检测方法，在按照实时帧率确定的第一间隔选取视频的目标帧进行检测的同时，还对相间隔的目标帧之间的视频帧进行人脸跟踪识别。在人脸跟踪识别的过程中，如果跟踪丢失丢失人脸，则立即触发采用至少一次按照第二间隔检测的方式对该视频帧之后的视频帧进行人脸检测，且每次检测时所间隔的第二间隔随检测次数的增大而增大。通过该操作可以迅速得到检测到的视频帧的人脸检测结果，从而快速追寻丢失的人脸，显著减少了找回丢失人脸的时间，从而保证及时对检测到的人脸进行特效渲染，提高AR特效的渲染效果和效率。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。图1为本申请实施例提供的一种人脸检测方法的流程图；图2为本申请实施例提供的另一种人脸检测方法的流程图；图3为本申请实施例提供的一种人脸检测装置的结构示意图；图4为本申请实施例所提供的一种电子设备的结构示意图。具体实施方式下面结合本申请实施例中的附图，对本申请实施例的技术方案进行描述。为了提高AR特效的渲染效果和效率，本申请实施例提供一种人脸检测方法、装置、电子设备及存储介质。下面首先对本申请实施例提供的一种人脸检测方法进行介绍。本申请实施例提供的人脸检测方法，在得到视频帧的人脸检测结果后，可以基于人脸检测结果进行预定的特效渲染，因此该方法可以应用于AR特效渲染场景。该方法可以应用于电子设备。在具体应用中，该电子设备可以是智能手机、平板电脑等。具体的，本申请实施例的人脸检测方法的执行主体可以为运行于电子设备中的一种人脸检测装置。并且，该人脸检测方法所适用于的视频可以为实时视频，例如：用户直播过程中通过摄像头实时采集到的视频，或者，视频通话过程中实时采集到的视频；当然，该人脸检测方法所适用于的视频也可以为预先采集完成的视频，例如：电子设备本地保存的视频，或者从网络上下载的视频。本申请实施例提供的一种人脸检测方法，可以包括如下步骤：获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。本申请实施例提供的人脸检测方法，在按照实时帧率确定的第一间隔选取视频的目标帧进行检测的同时，还对相间隔的目标帧之间的视频帧进行人脸跟踪识别。在人脸跟踪识别的过程中，如果跟踪丢失丢失人脸，则立即触发采用至少一次按照第二间隔检测的方式对该视本文档来自技高网...

【技术保护点】
1.一种人脸检测方法，其特征在于，应用于AR特效渲染场景，所述方法包括：/n获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；/n按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；/n在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。/n

【技术特征摘要】
1.一种人脸检测方法，其特征在于，应用于AR特效渲染场景，所述方法包括：
获取移动设备上视频处理的实时帧率，并根据所述实时帧率动态地确定第一间隔；
按照所述第一间隔从目标视频中选取目标帧进行人脸检测，且对相间隔的目标帧之间的视频帧进行人脸跟踪识别；
在人脸跟踪识别过程中，当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果；其中，所述第二间隔随着选取视频帧的次数的增大而动态增大。


2.根据权利要求1所述的方法，其特征在于，所述第二间隔随着选取视频帧的次数的增加而指数递增。


3.根据权利要求2所述的方法，其特征在于，所述第二间隔按照如下公式确定：
Nx＝ax-1，
其中，Nx为第二间隔；x为选取视频帧的次数，x≥1；a为大于1的常数。


4.根据权利要求1至3任一所述的人脸检测方法，其特征在于，所述方法还包括：
若对当前视频帧之后的视频帧进行人脸检测的检测结果中包含跟踪丢失的人脸，或者所述第二间隔所间隔的视频帧数大于目标帧数阈值时，停止对当前视频帧之后的视频帧进行人脸检测。


5.根据权利要求4所述的人脸检测方法，其特征在于，所述目标帧数阈值的确定方式包括：
判断所述第一间隔和所述第二间隔的视频帧数的大小，以两者中的最小数值为目标帧数阈值。


6.根据权利要求1所述的人脸检测方法，其特征在于，所述当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测，得到人脸检测结果，包括：
当检测当前视频帧跟踪丢失人脸时，按照第二间隔从当前视频帧之后的视频帧中，选取视频帧进行人脸检测；
当检测得到人...

【专利技术属性】
技术研发人员：王顺利，
申请(专利权)人：北京奇艺世纪科技有限公司，
类型：发明
国别省市：北京;11