【技术实现步骤摘要】
人脸跟踪方法、装置、电子设备及存储介质
[0001]本专利技术涉及视频分析
，尤其涉及一种融合深度信息的人脸跟踪方法、装置、电子设备及存储介质。
技术介绍
[0002]人脸检测是检测人脸在图像中所在的位置，人脸标定是输出眼睛、眉毛、鼻子、嘴巴等关键点的坐标。目前，在进行人脸跟踪时，一般是先采用人脸检测的方式检测出人脸的位置，并用矩形框标定出人脸得到人脸框，然后随人脸框的中心转动摄像头，以实现人脸跟踪。
[0003]在跟踪人脸的过程中，针对复杂的场景，例如戴黑色口罩场景、人脸急剧变换的场景(左侧脸到右侧脸、抬头变换到侧脸等场景)、后排乘客交换位置的场景，可能会出现矩形框框不准人脸的情况，从而导致跟踪的目标出错。因此，如何实现正确跟踪非常重要。
技术实现思路
[0004]本专利技术提供一种人脸跟踪方法、装置、电子设备及存储介质，用以解决现有技术中在复杂的场景下，导致跟踪的目标出错的问题。
[0005]第一方面，本专利技术提供一种人脸跟踪方法，所述方法包括：
[0006]获取视频帧序列中的当前帧，并获取所述当前帧的人脸关键点信息；
[0007]对所述当前帧的人脸关键点信息与上一帧的人脸关键点信息进行相似度计算，并确定所述相似度是否满足预设需求；
[0008]若确定所述相似度满足预设需求，则根据获取到的人脸区域深度信息确定需要跟踪的目标，其中，所述视频帧序列是从摄像设备获取到的，所述人脸区域深度信息表示所述当前帧的人脸区域的特征点到所述摄像设备的实际距离。>[0009]在本专利技术一实施例中，所述获取所述当前帧的人脸关键点信息的步骤包括：
[0010]将所述当前帧输入至人脸检测模型，输出人脸框信息；
[0011]将所述人脸框信息输入至人脸标定模型，输出所述当前帧的人脸关键点信息；
[0012]其中，所述人脸关键点信息包括关键点坐标、关键点坐标的置信度、关键点得分值、深度特征以及关键点的可见度的一种或多种组合。
[0013]在本专利技术一实施例中，所述确定所述相似度是否满足预设需求的步骤包括：
[0014]判断所述当前帧和上一帧的公共可见的人脸关键点的个数是否满足第一预设需求；
[0015]判断所述相似度的大小是否满足第二预设需求；
[0016]判断所述人脸关键点信息中的关键点坐标的置信度是否满足第三预设需求；
[0017]在均满足上述第一～第三预设需求的情况下，判断所述相似度满足预设需求。
[0018]在本专利技术一实施例中，所述方法还包括：
[0019]在不满足上述第一～第三预设需求中的任一预设需求时，通过所述当前帧的人脸
关键点坐标的置信度跟踪误差累积，以得到累积值；
[0020]判断所述累计值是否大于第一预设阈值；
[0021]若所述累积值大于第一预设阈值，则返回执行所述获取视频帧序列中的当前帧的步骤；
[0022]若所述累积值小于等于所述第一预设阈值，则判断所述相似度满足预设需求。
[0023]在本专利技术一实施例中，所述对所述当前帧的人脸关键点信息与上一帧的人脸关键点信息进行相似度计算的步骤包括：
[0024]根据所述当前帧的人脸关键点信息获取深度特征，以得到所述当前帧的特征向量；
[0025]将所述当前帧的特征向量和上一帧的特征向量进行点乘计算，得到相似值，并根据所述相似值的大小衡量所述当前帧和所述上一帧的人脸的相似度。
[0026]在本专利技术一实施例中，获取所述人脸区域深度信息的步骤包括：
[0027]获取摄像设备的基本参数和至少一个参考点的坐标，所述基本参数包括摄像设备的内参、外参和畸变参数，所述参考点是位于所述摄像设备附近且相对于所述摄像设备位置确定的点；
[0028]根据所述当前帧的人脸关键点信息、所述基本参数以及所述至少一个参考点的坐标，得到所述人脸区域深度信息对应的深度距离值。
[0029]在本专利技术一实施例中，所述根据获取到的人脸区域深度信息确定需要跟踪的目标的步骤包括：
[0030]判断所述人脸区域深度信息对应的深度距离值是否大于第二预设阈值；
[0031]若所述人脸区域深度信息对应的深度距离值大于所述第二预设阈值，则返回执行所述获取视频帧序列中的当前帧的步骤；
[0032]若所述人脸区域深度信息对应的深度距离值小于等于所述第二预设阈值，则根据所述人脸区域深度信息对应的深度距离值构建代价矩阵，并通过匈牙利匹配算法对所述代价矩阵进行求解，根据求解结果确定所述当前帧的人脸框对应的标识号，以确定需要跟踪的目标。
[0033]在本专利技术一实施例中，所述根据所述人脸区域深度信息对应的深度距离值构建代价矩阵，并通过匈牙利匹配算法对所述代价矩阵进行求解，根据求解结果确定所述当前帧的人脸框对应的标识号的步骤包括：
[0034]获取上一帧的人脸框及其对应的标识号，并获取当前帧的人脸框；
[0035]利用所述人脸区域深度信息对应的深度距离值构建所述代价矩阵，并根据上一帧的每个人脸框相对于当前帧的每个人脸框的相对深度距离值求最小值；
[0036]将上一帧的人脸框对应的标识号赋值给所述最小值对应的当前帧的人脸框，以确定所述当前帧的人脸框对应的标识号。
[0037]第二方面，本专利技术还提供一种人脸跟踪装置，所述装置包括：
[0038]检测模块，用于获取视频帧序列中的当前帧，并获取所述当前帧的人脸关键点信息；
[0039]计算模块，用于对所述当前帧的人脸关键点信息与上一帧的人脸关键点信息进行相似度计算，并确定所述相似度是否满足预设需求；
[0040]跟踪模块，用于在确定所述相似度满足预设需求时，则根据获取到的人脸区域深度信息确定需要跟踪的目标，其中，所述视频帧序列是从摄像设备获取到的，所述人脸区域深度信息表示所述当前帧的人脸区域的特征点到所述摄像设备的实际距离。
[0041]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述第一方面任一种所述人脸跟踪方法的步骤。
[0042]第四方面，本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述第一方面任一种所述人脸跟踪方法的步骤。
[0043]本专利技术提供的一种人脸跟踪方法、装置、电子设备及存储介质，通过基于神经网络模型检测出的人脸关键点信息后，引入相似度的计算，并根据该相似度的大小判断是否需要执行跟踪操作，并在需要执行跟踪操作的情况下又引入人脸区域深度信息，以基于该人脸区域深度信息进一步准确确定需要跟踪的目标。由于引入了相似度和人脸区域深度信息，使得本专利技术即使在复杂的场景下，也能实现正确跟踪。
附图说明
[0044]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种人脸跟踪方法，其特征在于，所述方法包括：获取视频帧序列中的当前帧，并获取所述当前帧的人脸关键点信息；对所述当前帧的人脸关键点信息与上一帧的人脸关键点信息进行相似度计算，并确定所述相似度是否满足预设需求；若确定所述相似度满足预设需求，则根据获取到的人脸区域深度信息确定需要跟踪的目标，其中，所述视频帧序列是从摄像设备获取到的，所述人脸区域深度信息表示所述当前帧的人脸区域的特征点到所述摄像设备的实际距离。2.根据权利要求1所述的人脸跟踪方法，其特征在于，所述获取所述当前帧的人脸关键点信息的步骤包括：将所述当前帧输入至人脸检测模型，输出人脸框信息；将所述人脸框信息输入至人脸标定模型，输出所述当前帧的人脸关键点信息；其中，所述人脸关键点信息包括关键点坐标、关键点坐标的置信度、关键点得分值、深度特征以及关键点的可见度的一种或多种组合。3.根据权利要求2所述的人脸跟踪方法，其特征在于，所述确定所述相似度是否满足预设需求的步骤包括：判断所述当前帧和上一帧的公共可见的人脸关键点的个数是否满足第一预设需求；判断所述相似度的大小是否满足第二预设需求；判断所述人脸关键点信息中的关键点坐标的置信度是否满足第三预设需求；在均满足上述第一～第三预设需求的情况下，判断所述相似度满足预设需求。4.根据权利要求3所述的人脸跟踪方法，其特征在于，所述方法还包括：在不满足上述第一～第三预设需求中的任一预设需求时，通过所述当前帧的人脸关键点坐标的置信度跟踪误差累积，以得到累积值；判断所述累计值是否大于第一预设阈值；若所述累积值大于第一预设阈值，则返回执行所述获取视频帧序列中的当前帧的步骤；若所述累积值小于等于所述第一预设阈值，则判断所述相似度满足预设需求。5.根据权利要求1
‑
4任一项所述的人脸跟踪方法，其特征在于，所述对所述当前帧的人脸关键点信息与上一帧的人脸关键点信息进行相似度计算的步骤包括：根据所述当前帧的人脸关键点信息获取深度特征，以得到所述当前帧的特征向量；将所述当前帧的特征向量和上一帧的特征向量进行点乘计算，得到相似值，并根据所述相似值的大小衡量所述当前帧和所述上一帧的人脸的相似度。6.根据权利要求1所述的人脸跟踪方法，其特征在于，获取所述人脸区域深度信息的步骤包括：获取摄像设备的基本参数和至少一个参考点的坐标，所述基本参数包括摄像设备的内参、外参和畸变参数，所述参...
【专利技术属性】
技术研发人员：张亚峰，李超龙，沙文，殷保才，
申请(专利权)人：科大讯飞股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。