一种人脸跟踪方法、装置和存储介质制造方法及图纸

本发明专利技术实施例公开了一种人脸跟踪方法、装置和存储介质；本发明专利技术实施例采用在接收到人脸跟踪指令时，从获取到的视频流数据中确定当前帧，检测当前帧中人脸的位置，以及获取当前帧中人脸的历史运动轨迹，然后，根据该历史运动轨迹预测当前帧中人脸的位置，根据该预测的位置与检测的位置计算该历史运动轨迹和当前帧中人脸的关联矩阵，再然后，根据该关联矩阵更新并保存历史运动轨迹，并返回执行从获取到的视频流数据中确定当前帧的步骤，直至人脸跟踪结束；该方案可以增强人脸轨迹的连续性，改善人脸跟踪效果。

【技术实现步骤摘要】
一种人脸跟踪方法、装置和存储介质
本专利技术涉及通信
，具体涉及一种人脸跟踪方法、装置和存储介质。
技术介绍
人脸跟踪，是对视频图像中人脸的轨迹进行追踪，并得到每个人在每一帧图像中的人脸坐标框位置和标识(ID，Identification)的一种技术。人脸跟踪在智能安防监控领域有着广泛的应用，通过准确的人脸跟踪，可以分析行人行为，比如打架、斗殴或盗窃等，进而使得安防人员可以及时作出反应。现有的人脸跟踪，一般会采用检测方法检测每一个帧图像中人脸的位置框，然后，采用相邻帧目标关联算法对每一帧的人脸进行关联，进而得到人脸的人脸轨迹。在对现有技术的研究和实践过程中，本专利技术的专利技术人发现，在现有方案中，当人脸被遮挡或者人脸姿态变化时，容易出现无法关联或关联错误，导致人脸轨迹中断，大大影响人脸跟踪效果。
技术实现思路
本专利技术实施例提供一种人脸跟踪方法、装置和存储介质，可以增强人脸轨迹的连续性，改善人脸跟踪效果。本专利技术实施例提供一种人脸跟踪方法，包括：在接收到人脸跟踪指令时，从获取到的视频流数据中确定当前帧；检测当前帧中人脸的位置，以及获取当前帧中人脸的历史运动轨迹；根据所述历史运动轨迹预测当前帧中人脸的位置，得到预测位置；根据所述预测位置与检测的位置计算所述历史运动轨迹和当前帧中人脸的关联矩阵；根据所述关联矩阵更新并保存历史运动轨迹，并返回执行从获取到的视频流数据中确定当前帧的步骤，直至人脸跟踪结束。相应的，本专利技术实施例还提供一种人脸跟踪装置，包括：确定单元，用于在接收到人脸跟踪指令时，从获取到的视频流数据中确定当前帧；检测单元，用于检测当前帧中人脸的位置；获取单元，用于获取当前帧中人脸的历史运动轨迹；预测单元，用于根据所述历史运动轨迹预测当前帧中人脸的位置，得到预测位置；计算单元，用于根据所述预测位置与检测的位置计算所述历史运动轨迹和当前帧中人脸的关联矩阵；更新单元，用于根据所述关联矩阵更新并保存历史运动轨迹，并触发确定单元执行从获取到的视频流数据中确定当前帧的操作，直至人脸跟踪结束。可选的，在一些实施例中，所述预测单元包括运算子单元和预测子单元，如下：所述运算子单元，可以用于采用预设算法计算所述历史运动轨迹上人脸的运动速度，得到轨迹速度；所述预测子单元，用于根据所述轨迹速度、以及历史运动轨迹预测当前帧中人脸的位置，得到预测位置。可选的，在一些实施例中，所述运算子单元单元，具体可以用于采用人脸配准算法计算所述历史运动轨迹上人脸的关键点信息，采用最小二乘法对所述关键点信息进行拟合，得到所述历史运动轨迹上人脸的运动速度向量，将所述运动速度向量作为轨迹速度。可选的，在一些实施例中，所述运算子单元，具体可以用于采用人脸配准算法计算所述历史运动轨迹上人脸的关键点信息，采用最小二乘法对所述关键点信息进行拟合，得到所述历史运动轨迹上人脸的运动速度向量，采用人脸姿态估计算法计算所述历史运动轨迹上最后一帧图像中人脸的三轴角度，根据所述三轴角度对所述运动速度向量进行调整，得到轨迹速度。可选的，在一些实施例中，所述运算子单元，具体可以用于根据所述三轴角度计算所述最后一帧图像中人脸的方向向量，计算所述运动速度向量和方向向量的加权平均值，得到轨迹速度。可选的，在一些实施例中，所述预测子单元，具体可以用于获取所述历史人脸轨迹上最后一帧图像中人脸的位置，根据所述轨迹速度、以及所述最后一帧图像中人脸的位置预测当前帧中人脸的位置，得到预测位置。可选的，在一些实施例中，所述预测子单元，具体可以用于计算当前帧与所述最后一帧之间的帧差，并计算所述帧差与所述轨迹速度之间的乘积，计算所述乘积与最后一帧图像中人脸的位置之间的和，得到预测位置。可选的，在一些实施例中，所述获取单元，具体可以用于确定是否存在当前帧中人脸的历史运动轨迹，若存在，则读取所述当前帧中人脸的历史运动轨迹，若不存在，则生成所述当前帧中人脸的历史运动轨迹。可选的，在一些实施例中，所述获取单元，具体可以用于从获取到的视频流数据中，获取以当前帧为起点，过去预设时间范围内的视频流数据段，检测所述视频流数据段中每一帧图像中人脸的位置，根据所述位置生成每一个人脸的运动轨迹，从生成的运动轨迹中选择当前帧中人脸的历史运动轨迹。可选的，在一些实施例中，所述计算单元，具体可以用于计算所述预测位置与检测的位置之间的重合度，根据所述重合度计算所述历史运动轨迹和当前帧中人脸的关联矩阵。可选的，在一些实施例中，所述计算单元，具体可以用于确定所述预测位置所在坐标框与检测的位置所在坐标框之间的交集面积、以及并集面积，根据所述交集面积和并集面积计算所述预测位置与检测的位置之间的重合度。此外，本专利技术实施例还提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本专利技术实施例所提供的任一种人脸跟踪方法中的步骤。本专利技术实施例采用在接收到人脸跟踪指令时，从获取到的视频流数据中确定当前帧，检测当前帧中人脸的位置，以及获取当前帧中人脸的历史运动轨迹，然后，根据该历史运动轨迹预测当前帧中人脸的位置，根据该预测的位置与检测的位置计算该历史运动轨迹和当前帧中人脸的关联矩阵，再然后，根据该关联矩阵更新并保存历史运动轨迹，并返回执行从获取到的视频流数据中确定当前帧的步骤，直至人脸跟踪结束；由于该方案可以根据历史运动轨迹与当前帧中人脸的关联矩阵，来对运动轨迹进行更新，因此，即便某些帧中的人脸被遮挡或者人脸姿态变化，运动轨迹也不会中断，也就是说，该方案可以增强人脸轨迹的连续性，进而改善人脸跟踪效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1a是本专利技术实施例提供的人脸跟踪方法的场景示意图；图1b是本专利技术实施例提供的人脸跟踪方法的流程图；图2a是本专利技术实施例提供的人脸跟踪方法的另一流程图；图2b是本专利技术实施例提供的人脸跟踪方法中的运动轨迹示例图；图3是本专利技术实施例提供的人脸跟踪装置的结构示意图；图4是本专利技术实施例提供的网络设备的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术实施例提供一种人脸跟踪方法、装置和存储介质。其中，人脸跟踪装置可以集成在网络设备中，该网络设备可以是终端或服务器等设备。例如，以该人脸跟踪装置集成在终端，如某监控室的监控设备中为例，参见图1a，当该监控设备接收到监控人员触发的人脸跟踪指令时，可以从采集到的视频流数据中确定当前帧，检测当前帧中人脸的位置，以及获取当前帧中人脸的历史运动轨迹，然后，根据该历史运动轨迹预测当前帧中人脸的位置，并根据该预测位置与之前检测的位置计算该历史运动轨迹和当前帧中人脸的关联矩阵，进而得到该历史运动轨迹与当前帧中人脸的关联关系，这样，即便当前帧中人脸的位置检测不准确或检测不出，也可以将“人脸运动轨迹”延伸至当前帧。此后，监控设备可以根据本文档来自技高网...

【技术保护点】
1.一种人脸跟踪方法，其特征在于，包括：在接收到人脸跟踪指令时，从获取到的视频流数据中确定当前帧；检测当前帧中人脸的位置，以及获取当前帧中人脸的历史运动轨迹；根据所述历史运动轨迹预测当前帧中人脸的位置，得到预测位置；根据所述预测位置与检测的位置计算所述历史运动轨迹和当前帧中人脸的关联矩阵；根据所述关联矩阵更新并保存历史运动轨迹，并返回执行从获取到的视频流数据中确定当前帧的步骤，直至人脸跟踪结束。

【技术特征摘要】
1.一种人脸跟踪方法，其特征在于，包括：在接收到人脸跟踪指令时，从获取到的视频流数据中确定当前帧；检测当前帧中人脸的位置，以及获取当前帧中人脸的历史运动轨迹；根据所述历史运动轨迹预测当前帧中人脸的位置，得到预测位置；根据所述预测位置与检测的位置计算所述历史运动轨迹和当前帧中人脸的关联矩阵；根据所述关联矩阵更新并保存历史运动轨迹，并返回执行从获取到的视频流数据中确定当前帧的步骤，直至人脸跟踪结束。2.根据权利要求1所述的方法，其特征在于，所述根据所述历史运动轨迹预测当前帧中人脸的位置，得到预测位置，包括：采用预设算法计算所述历史运动轨迹上人脸的运动速度，得到轨迹速度；根据所述轨迹速度、以及历史运动轨迹预测当前帧中人脸的位置，得到预测位置。3.根据权利要求2所述的方法，其特征在于，所述采用预设算法计算所述历史运动轨迹上人脸的运动速度，得到轨迹速度，包括：采用人脸配准算法计算所述历史运动轨迹上人脸的关键点信息；采用最小二乘法对所述关键点信息进行拟合，得到所述历史运动轨迹上人脸的运动速度向量，将所述运动速度向量作为轨迹速度。4.根据权利要求2所述的方法，其特征在于，所述采用预设算法计算所述历史运动轨迹上人脸的运动速度，得到轨迹速度，包括：采用人脸配准算法计算所述历史运动轨迹上人脸的关键点信息；采用最小二乘法对所述关键点信息进行拟合，得到所述历史运动轨迹上人脸的运动速度向量；采用人脸姿态估计算法计算所述历史运动轨迹上最后一帧图像中人脸的三轴角度；根据所述三轴角度对所述运动速度向量进行调整，得到轨迹速度。5.根据权利要求4所述的方法，其特征在于，所述根据所述三轴角度对所述运动速度向量进行调整，得到轨迹速度，包括：根据所述三轴角度计算所述最后一帧图像中人脸的方向向量；计算所述运动速度向量和方向向量的加权平均值，得到轨迹速度。6.根据权利要求2所述的方法，其特征在于，所述根据所述轨迹速度、以及历史运动轨迹预测当前帧中人脸的位置，得到预测位置，包括：获取所述历史人脸轨迹上最后一帧图像中人脸的位置；根据所述轨迹速度、以及所述最后一帧图像中人脸的位置预测当前帧中人脸的位置，得到预测位置。7.根据权利要求6所述的方法，其特征在于，所述根据所述轨迹速度、以及所述最后一帧图像中人脸的位置预测当前帧中人脸的位置，得到预测位置，包括：计算当前帧与所述最后一帧之间的帧差，并计算所述帧差与所述轨迹速度之间的乘积；计算所述乘积与最后一帧图像中人脸的位置之间的和，得到预测位置。8.根据权利要求1至7所述的方...

【专利技术属性】
技术研发人员：何长伟，汪铖杰，李季檩，彭瑾龙，王亚彪，赵艳丹，甘振业，吴永坚，黄飞跃，
申请(专利权)人：腾讯科技深圳有限公司，腾讯云计算北京有限责任公司，
类型：发明
国别省市：广东,44