脸部检测方法、脸部图像渲染方法、装置及存储介质制造方法及图纸

本申请涉及一种脸部特征点检测方法、装置、计算机可读存储介质和计算机设备和脸部图像渲染方法、装置、计算机设备和存储介质，该方法包括：获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点检测模型输出的特征点定位信息和特征点遮挡状态信息；根据特征点定位信息和特征点遮挡状态信息确定待检测图像的特征点位置和对应的特征点遮挡状态。本申请提供的方案能够提高脸部特征点位置定位的准确性，而且能够提供全面的定位信息。

【技术实现步骤摘要】
脸部检测方法、脸部图像渲染方法、装置及存储介质
本申请涉及计算机
，特别是涉及一种脸部检测方法、装置、计算机设备和存储介质和脸部图像渲染方法、装置、计算机设备和存储介质。
技术介绍
随着计算机技术的发展，脸部识别与跟踪应用在各个领域，如安防领域、图片美容应用等。脸部特征点的检测是脸部识别与跟踪的重要步骤，在很多应用场景都可能出现脸部被遮挡的情况，如头发遮挡，手遮挡，或者脸部有部分在摄像头之外等。目前的脸部特征点检测技术当脸部被遮挡时，存在脸部特征点位置定位不准确和定位信息不全面的问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种脸部检测方法、装置、计算机设备和存储介质和脸部图像渲染方法、装置、计算机设备和存储介质，在检测被遮挡物遮挡的脸部特征点时，能够提高脸部特征点位置定位的准确性，而且能够提供全面的定位信息。一种脸部检测方法，包括：获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。一种脸部检测装置，该装置包括：待检测图像获取模块，用于获取待检测图像；待检测图像检测模块，用于将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；脸部特征点定位信息输出模块，用于获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；特征点遮挡状态信息输出模块，用于获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；脸部部位遮挡区域确定模块，用于根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现以下步骤：获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息；根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。一种脸部图像渲染方法，该方法包括：获取待检测图像；将待检测图像输入特征点检测模型；获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。一种脸部图像渲染装置，该装置包括：待检测图像获取模块，用于获取待检测图像；待检测图像检测模块，用于将待检测图像输入特征点检测模型；特征点检测模型输出模块，用于获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；遮挡区域和/或非遮挡区域确定模块，用于根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；遮挡区域和/或非遮挡区域渲染模块，用于在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该处理器执行所述程序时实现以下步骤：获取待检测图像；将待检测图像输入特征点检测模型；获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时，使得处理器执行以下步骤：获取待检测图像；将待检测图像输入特征点检测模型；获取特征点检测模型输出的脸部特征点定位信息和特征点遮挡状态信息；根据脸部特征点定位信息和特征点遮挡状态信息确定待检测图像中的脸部部位的遮挡区域和/或非遮挡区域；在待检测图像中为脸部部位的遮挡区域和/或非遮挡区域添加对应的渲染素材。上述脸部检测方法、装置、计算机可读存储介质和计算机设备和脸部图像渲染方法、装置、计算机设备和存储介质，终端获取待检测图像；将待检测图像输入特征点检测模型，特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取特征点定位网络输出的脸部特征点定位信息，脸部特征点定位信息包括待检测图像的脸部部位的各个特征点的位置信息；获取特征点遮挡状态判定网络输出的特征点遮挡状态信息，特征点遮挡状态信息包括各个特征点的遮挡状态信息，根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域。通过特征点检测模型的输出的特征点定位信息和特征点遮挡状态信息，不仅可得知待检测图像的各个脸部特征点的具体位置，而且还能够得知各个脸部特征点对应的遮挡状态，因此在检测被遮挡物遮挡的脸部特征点时，不仅能够提高脸部特征点位置定位的准确性，而且能够提供全面的定位信息。进一步地，可利用各个脸部特征点对应的遮挡状态信息和脸部特征点定位信息确定脸部部位的遮挡区域和/或非遮挡区域，进一步可对遮挡区域和非遮挡区域分别进行图像渲染，对被遮挡物遮挡的脸部特征点不进行图像渲染，能够提高图像渲染的准确度，且提升了图像渲染的渲染效果。附图说明图1为一个实施例中脸部检测方法的应用环境图；图2为另一个实施例中脸部检测方法的应用环境图；图3为一个实施例中脸部检测方法的流程示意图；图4A为一个实施例中根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域的示意图；图4B为另一个实施例中根据脸部特征点定位信息和特征点遮挡状态信息确定脸部部位的遮挡区域和/或非遮挡区域的示意图；图5A为一个实施例中特征点检测模型的网络结构示意图；图5B为一个实施例中特征点检测模型的网络结构示意图；图5C为一个实施例中特征点检测模型的网络结构示意图；图6为一个实施例中特征点检测模型的训练步骤的流程示意图；图7为另一个实施例中脸部检测方法的流程示意图；图8为又一个实施例中脸部检测方法的流程示意图；图9为一个实施例中脸部检测方法的原本文档来自技高网...

【技术保护点】
1.一种脸部检测方法，包括：获取待检测图像；将所述待检测图像输入特征点检测模型，所述特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取所述特征点定位网络输出的脸部特征点定位信息，所述脸部特征点定位信息包括所述待检测图像的脸部部位的各个特征点的位置信息；获取所述特征点遮挡状态判定网络输出的特征点遮挡状态信息，所述特征点遮挡状态信息包括所述各个特征点的遮挡状态信息；根据所述脸部特征点定位信息和所述特征点遮挡状态信息确定所述脸部部位的遮挡区域和/或非遮挡区域。

【技术特征摘要】
1.一种脸部检测方法，包括：获取待检测图像；将所述待检测图像输入特征点检测模型，所述特征点检测模型包括特征点定位网络和特征点遮挡状态判定网络；获取所述特征点定位网络输出的脸部特征点定位信息，所述脸部特征点定位信息包括所述待检测图像的脸部部位的各个特征点的位置信息；获取所述特征点遮挡状态判定网络输出的特征点遮挡状态信息，所述特征点遮挡状态信息包括所述各个特征点的遮挡状态信息；根据所述脸部特征点定位信息和所述特征点遮挡状态信息确定所述脸部部位的遮挡区域和/或非遮挡区域。2.根据权利要求1所述的方法，其特征在于，所述特征点检测模型包括公共网络、配准公共网络、人脸判定网络、特征点定位网络和特征点遮挡状态判定网络，所述将所述待检测图像输入特征点检测模型，包括：将所述待检测图像输入所述公共网络，提取出图像特征；将所述图像特征输入所述配准公共网络，计算出所述特征点定位网络和所述特征点遮挡状态判定网络对应的共享参数处理结果；将所述共享参数处理结果输入所述特征点定位网络，输出特征点定位信息；将所述共享参数处理结果输入所述特征点遮挡状态判定网络，输出特征点遮挡状态信息；将所述图像特征输入所述人脸判定网络，输出人脸置信度。3.根据权利要求2所述的方法，其特征在于，所述特征点检测模型的训练步骤包括：获取第一训练数据，所述第一训练数据包括人脸图像，所述人脸图像对应的标定的人脸特征点和各个人脸特征点对应的遮挡状态信息；根据所述第一训练数据，对所述公共网络、所述配准公共网络、所述特征点定位网络和所述特征点遮挡状态判定网络的模型参数进行训练，训练过程中保持所述人脸判定网络的模型参数不变，直到所述特征点定位网络的输出满足第一收敛条件，且所述特征点遮挡状态判定网络的输出满足第二收敛条件，得到已训练的所述公共网络、所述配准公共网络、所述特征点定位网络和所述特征点遮挡状态判定网络；获取第二训练数据，所述第二训练数据包括人脸图像和非人脸图像；根据所述第二训练数据，对所述人脸判定网络的模型参数进行训练，训练过程中保持所述公共网络、所述配准公共网络、所述特征点定位网络和所述特征点遮挡状态判定网络的模型参数不变，直到所述人脸判定网络的输出满足第三收敛条件，得到已训练的所述人脸判定网络；将所述已训练的所述公共网络、所述配准公共网络、所述人脸判定网络、所述特征点定位网络和所述特征点遮挡状态判定网络根据预设连接关系连接，得到已训练的所述特征点检测模型。4.根据权利要求1所述的方法，其特征在于，所述将所述待检测图像输入特征点检测模型之前，还包括：根据脸部检测算法检测所述待检测图像的脸部区域；所述将所述待检测图像输入特征点检测模型包括：将所述脸部区域对应的图像输入特征点检测模型。5.根据权利要求1所述的方法，其特征在于，所述特征点检测模型包括人脸判定网络，所述方法还包括：获取所述人脸判定网络输出的第一人脸置信度，当所述第一人脸置信度超过第一预设阈值时，获取所述待检测图像对应的下一帧图像；获取所述待检测图像对应的特征点位置，根据所述特征点位置确定所述下一帧图像对应的待检测区域；将所述待检测区域对应的第二目标图像作为待检测图像，进入所述将所述待检测图像输入特征点检测模型的步骤，直至所述人脸置信度未超过第一预设阈值，结束脸部特征点检测。6.根据权利要求5所述的方法，其特征在于，所述根据所述特征点位置确定所述下一帧图像对应的待检测区域之前，还包括：获取所述待检测图像对应的特征点位置对应的第一目标图像；将所述第一目标图像输入至所述特征点检测模型，得到所述人脸判定网络输出的第二人脸置信度；当所述第二人脸置信度超过预设准确度时，判定所述待检测图像对应的特征点位置准确，进入所述根据所述特征点位置确定所述下一帧图像对应的待检...

【专利技术属性】
技术研发人员：赵艳丹，曹玮剑，曹赟，汪铖杰，黄小明，梁小龙，黄飞跃，吴永坚，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44