一种人像实例跟踪方法、装置、设备及介质制造方法及图纸

本申请提供了一种人像实例跟踪方法、装置、设备及介质，在本申请中，若识别到不超过预设数量的第一图像帧中未分割出目标人像，则认为是在进行人像检测分割时漏检或漏分了人像，此时可以根据首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧中目标人像的第一位置信息预测在第一图像帧中目标人像的第二位置信息，并从第一图像帧中分割出目标人像，实现了即使在进行人像分割时设备故障，没有从包含目标人像的图像帧中分割出目标人像，也可以获取丢失的人像，得到了完整的人像实例跟踪结果，提高了人像实例跟踪的准确度。提高了人像实例跟踪的准确度。提高了人像实例跟踪的准确度。

【技术实现步骤摘要】
一种人像实例跟踪方法、装置、设备及介质


[0001]本申请涉及图像处理
，尤其涉及一种人像实例跟踪方法、装置、设备及介质。

技术介绍

[0002]随着技术的发展，用户对图像处理的技术要求越来越高，将视频中的背景替换为其他背景的手段也越来越多，其中，将视频中除人像外的背景替换为其他背景时，通常采用的方法为在视频中对人像进行跟踪，并分割出人像，再将分割出的人像应用于人像背景替换。
[0003]但是，在现有技术中，在对视频中的人像进行跟踪时，由于人像的检测分割和人像的跟踪是两个独立的过程。其中，人像分割的过程是通过模型确定人像所在的人像框，再从人像框中分割出人像。而人像跟踪的过程是通过模型确定人像所在的人像框，再根据相邻两帧图像帧中人像框的特征之间的相似度，确定待进行人像实例跟踪的目标人像，并确定包含该目标人像的图像帧。最终将从包含该目标人像的图像帧中分割出的目标人像，按照图像帧的采集时间排序，并将排序结果确定为人像实例跟踪结果。但是，在进行人像分割时，可能会由于设备故障，导致没有从包含目标人像的图像帧中分割出目标人像，导致最后得到的人像实例跟踪结果中出现人像丢失的情况，降低了人像实例跟踪的准确度。

技术实现思路

[0004]本申请提供了一种人像实例跟踪方法、装置、设备及介质，用以解决现有技术中在进行人像分割时设备故障，没有从包含目标人像的图像帧中分割出目标人像，导致得到的人像实例跟踪结果中出现人像丢失的情况，人像实例跟踪的准确度低的问题。
[0005]第一方面，本申请提供了一种人像实例跟踪方法，所述方法包括：
[0006]若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧；
[0007]根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息；
[0008]根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。
[0009]第二方面，本申请还提供了一种人像实例跟踪装置，所述装置包括：
[0010]获取模块，用于若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧；
[0011]预设模块，用于根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息；
[0012]人像分割模块，用于根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。
[0013]第三方面，本申请还提供了一种电子设备，所述电子设备至少包括处理器和存储器，所述处理器用于执行存储器中存储的计算机程序时实现上述任一所述的人像实例跟踪方法的步骤。
[0014]第四方面，本申请还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现上述任一所述的人像实例跟踪方法的步骤。
[0015]在本申请中，若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧，根据该第二图像帧中该目标人像对应的第一目标人像框的第一位置信息，预测在该第一图像帧中该目标人像对应的第二目标人像框的第二位置信息，根据该第二位置信息，从该第一图像帧中分割出该目标人像。在本申请中，若识别到不超过预设数量的第一图像帧中未分割出目标人像，则认为是在进行人像检测分割时漏检或漏分了人像，此时可以根据首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧中目标人像的第一位置信息预测在第一图像帧中目标人像的第二位置信息，并从第一图像帧中分割出目标人像，实现了即使在进行人像分割时设备故障，没有从包含目标人像的图像帧中分割出目标人像，也可以获取丢失的人像，得到了完整的人像实例跟踪结果，提高了人像实例跟踪的准确度。
附图说明
[0016]为了更清楚地说明本申请的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0017]图1为相关技术提供的人像实例跟踪过程的流程示意图；
[0018]图2为本申请一些实施例提供的一种人像实例跟踪过程示意图；
[0019]图3为本申请提供的人像实例跟踪装置的结构示意图；
[0020]图4为本申请提供的一种电子设备结构示意图。
具体实施方式
[0021]为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
[0022]图1为相关技术提供的人像实例跟踪过程的流程示意图，该过程包括：
[0023]S101：获取待进行人像实例跟踪的视频中的图像帧。
[0024]S102：将每个图像帧输入到编码器
‑
解码器中，接收该编码器
‑
解码器输出的该图像帧对应的特征图。
[0025]S103：将特征图输入到目标人像检测网络，确定目标人像对应的目标人像框。
[0026]S104：从图像帧中分割出置信度最高的人像框，并将分割出的人像框输入到人像分割模型中，人像分割模型对该人像框进行实例掩模生成，得到人像框对应的掩模图像，并通过语义分割网络从该掩膜图像中分割出人像。
[0027]S105：确定包含目标人像的图像帧。
[0028]S106：根据确定的包含目标人像的图像帧，以及该图像帧中分割出的目标人像，得到人像实例分割结果。
[0029]在进行人像实例跟踪时，通过获取待进行人像实例跟踪的视频中的每个图像帧，将每个图像帧输入到编码器和解码器中，确定图像帧对应的特征图。其中，编码器为一连串的卷积网络，该编码器至少包括卷积层，池化层和批规范化(Batch Normalization，BN)层，卷积层负责获取图像帧的局域特征，池化层对图像帧进行下采样并将尺度不变特征传送到下一层，而BN层对图像帧的分布归一化，即编码器对图像帧的低级局域像素值进行归类与分析，从而获得高阶语义信息，如“人像”等。解码器对缩小后的特征图进行上采样，然后对上采样后的特征图进行卷积处理，完善特征图中物体的几何形状，减少在编码器的池化层进行下采样时造成的细节损失，同时得到该图像帧对应与该图像帧大小相同的特征图。然后将该图像帧对应的特征图输入到人像检测模型，该模型例如可以为Mask或R
‑
CNN等，人像检测模型输出包含有人像框的图像帧，并输出该人像框对应的置信度。
[0030]从图像帧中分割出置信度最高的人像框，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人像实例跟踪方法，其特征在于，所述方法包括：若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之前采集到的第二预设数量的第二图像帧；根据所述第二图像帧中所述目标人像对应的第一目标人像框的第一位置信息，预测在所述第一图像帧中所述目标人像对应的第二目标人像框的第二位置信息；根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像。2.根据权利要求1所述的方法，其特征在于，所述预测在所述第一图像帧中所述目标人像对应的第二位置信息之后，所述方法还包括：获取在末张第一图像帧采集时间之后采集到的首张第三图像帧；确定所述第三图像帧中所述目标人像对应的第三目标人像框的第三位置信息和所述末张第一图像帧中的第二目标人像框的第二位置信息的偏差；若所述偏差超过预设的差值阈值，则根据所述偏差对所述不超过第一预设数量的第一图像帧中的第二位置信息进行调整。3.根据权利要求2所述的方法，其特征在于，所述根据所述偏差对不超过第一预设数量的第一图像帧中的第二位置信息进行调整包括：根据所述第一图像帧的数量，将所述偏差划分为对应数量的子偏差，其中所述子偏差的和为所述偏差；根据每个所述子偏差，对所述第一图像帧中的第二位置信息进行调整。4.根据权利要求1所述的方法，其特征在于，所述根据所述第二位置信息，从所述第一图像帧中分割出所述目标人像包括：根据所述第二位置信息，确定所述第一图像帧中的第二目标人像框；将所述第二目标人像框输入到训练好的人像分割模型中，分割出所述目标人像。5.一种人像实例跟踪装置，其特征在于，所述装置包括：获取模块，用于若识别到在不超过第一预设数量的第一图像帧中未分割出目标人像，则获取首张第一图像帧采集时间之...

【专利技术属性】
技术研发人员：高雪松，陈维强，孙萁浩，张振铎，顾庆涛，翟世平，
申请(专利权)人：海信集团控股股份有限公司，
类型：发明
国别省市：