图像处理方法、目标跟踪方法、装置和电子设备制造方法及图纸

本公开关于一种图像处理方法、目标跟踪方法、装置和电子设备，所述目标跟踪方法包括：确定是否需要基于数据增强进行目标跟踪；当确定需要基于数据增强进行目标跟踪时，基于对图像区域进行数据增强而得到的增强图像区域进行目标跟踪，并输出跟踪结果。同时，可以使用人工智能模型来执行上述目标跟踪方法和图像处理方法。方法。方法。

【技术实现步骤摘要】
图像处理方法、目标跟踪方法、装置和电子设备


[0001]本公开涉及视觉目标跟踪领域，尤其涉及一种基于混合数据增强的目标跟踪方法、装置和电子设备。

技术介绍

[0002]视觉目标跟踪技术是计算机视觉中各类任务的基本组成部分，其难点主要在于应对目标与背景上不断发生且未知的数据变化。通常在计算机视觉任务中，为了产生多样化的数据集与泛化性更强的算法，数据增强是常用的技巧之一，例如，如图1中所示的基于孪生网络的目标跟踪算法。然而，如图1的(a)所示，基于孪生网络的目标跟踪算法在训练阶段只对模板图像和搜索区域简单地进行了粗糙的数据增强，增强方式的单一化使模型缺少泛化性，因而使得模型对推理阶段遇到的未知数据变化或漂移后的数据分布无能为力，而如图1的(b)所示，孪生区域推荐网络在推理阶段并未对输入图像进行数据增强，使其进一步丧失了将漂移后的数据分布拉回与训练数据分布相匹配的可能，此外，当使用期望校准误差(Expected Calibration Error，ECE)来评估现有模型时发现，由目标跟踪算法输出的置信分数无法准确地评价算法的不确定性(uncertainty)而会产生过度自信(overconfident)的预测。除了图1中所示的基于孪生网络的目标跟踪算法之外，其他的类似目标跟踪算法也存在同样的问题，例如DiMP跟踪算法。因此，现有视觉目标跟踪技术对数据增强的轻视很大程度上使其无法获得足够的鲁棒性和令人满意的跟踪结果。
[0003]此外，数据分布漂移会导致后续图像处理性能恶化的问题，例如在目标跟踪任务中目标丢失的概率增大、在图像分类任务中分类的准确度降低等问题。
[0004]为了解决上述问题，现有方法常常在训练数据集上更多地堆叠数据增强的种类与程度，意在增加模型的鲁棒性，使其能够泛化地对抗推理阶段数据分布的漂移。但是这对以上问题的改善效果是非常有限的。鉴于此，需要更好的图像处理以及目标跟踪的技术。

技术实现思路

[0005]本公开提供一种目标跟踪方法、装置、电子设备及存储介质，以至少解决相关技术中的以上多个问题。
[0006]根据本公开实施例的第一方面，提供了一种目标跟踪方法，包括：确定是否需要基于数据增强进行目标跟踪；当确定需要基于数据增强进行目标跟踪时，基于对图像区域进行数据增强而得到的增强图像区域进行目标跟踪，并输出跟踪结果。
[0007]可选地，所述目标跟踪方法还包括：当确定不需要基于数据增强进行目标跟踪时，将基于所述图像区域进行目标跟踪而得到的第一原始跟踪结果作为所述跟踪结果输出。
[0008]可选地，确定是否需要基于数据增强进行目标跟踪的步骤包括：基于所述图像区域进行目标跟踪来获得第一原始跟踪结果；根据第一原始跟踪结果来确定是否需要基于数据增强进行目标跟踪。
[0009]可选地，第一原始跟踪结果包括跟踪目标的第一原始预测位置以及对应的第一原
始置信分数，根据第一原始跟踪结果确定是否需要基于数据增强进行目标跟踪的步骤包括：根据第一原始置信分数来确定是否需要基于数据增强进行目标跟踪。
[0010]可选地，根据第一原始置信分数来确定是否需要基于数据增强进行目标跟踪的步骤包括：当第一原始置信分数位于第一预定区间内时，确定需要基于数据增强进行目标跟踪。
[0011]可选地，基于对所述图像区域进行数据增强而得到的增强图像区域进行目标跟踪的步骤包括：基于N个增强图像区域进行目标跟踪来获得N个跟踪结果，其中，所述N个增强图像区域是利用N种数据增强处理方式分别对所述图像区域进行数据增强而获得的，其中，N是大于或等于1的正整数；将所述N个跟踪结果中的最佳跟踪结果确定为第一增强跟踪结果。
[0012]可选地，输出所述跟踪结果的步骤包括：如果第一增强跟踪结果中的第一增强置信分数处于第二预定区间内，则将第一增强跟踪结果作为所述跟踪结果输出；如果第一增强跟踪结果中的第一增强置信分数处于所述第二预定区间外，则将第一原始跟踪结果作为所述跟踪结果输出。
[0013]可选地，所述图像区域是一帧图像内的包括跟踪目标的模板图像区域，或者是一帧图像内的图像搜索区域。
[0014]可选地，当所述图像区域是位于第t帧图像中的第一搜索区域，并且第一增强跟踪结果作为所述跟踪结果被输出时，所述目标跟踪方法还包括：基于第t+1帧图像中的第二搜索区域进行目标跟踪来获得与第二搜索区域对应的第二原始跟踪结果，其中，t是大于或等于1的正整数；通过与第一增强跟踪结果对应的数据增强处理方式对第二搜索区域进行数据增强；基于增强的第二搜索区域进行目标跟踪来确定与第二搜索区域对应的第二增强跟踪结果；从第二原始跟踪结果和第二增强跟踪结果中，确定与第二搜索区域对应的最终跟踪结果。
[0015]可选地，所述目标跟踪方法还包括：如果第二增强跟踪结果被确定为与第二搜索区域对应的最终跟踪结果，则通过与第一增强跟踪结果对应的数据增强处理方式对第t+2帧图像中的第三搜索区域进行数据增强，并基于增强的第三搜索区域进行目标跟踪来确定与第三搜索区域对应的第三增强跟踪结果作为与第三搜索区域对应的最终跟踪结果；以及如果第二原始跟踪结果被确定为与第二搜索区域对应的最终跟踪结果，则基于原始的第三搜索区域进行目标跟踪来确定与第三图像搜索区域对应的最终跟踪结果。
[0016]可选地，当所述图像区域是所述模板图像区域，并且与第t帧图像中的第一搜索区域对应的第一增强跟踪结果作为所述跟踪结果被输出时，所述目标跟踪方法还包括：基于第t+1帧图像中的第二搜索区域以及所述模板图像区域进行目标跟踪来确定与第二搜索区域对应的第二原始跟踪结果，其中，t是大于或等于1的正整数；基于第二搜索区域以及增强模板图像区域进行目标跟踪来确定与第二搜索区域对应的第二增强跟踪结果，其中，所述增强模板图像区域是通过与第一增强跟踪结果对应的数据增强处理方式对所述模板图像区域进行数据增强而得到的；从第二原始跟踪结果和第二增强跟踪结果中确定与第二搜索区域对应的最终跟踪结果。
[0017]可选地，所述目标跟踪方法还包括：如果第二原始跟踪结果被确定为与第二搜索区域对应的最终跟踪结果，则基于第t+2帧图像中的第三搜索区域以及所述模板图像区域
进行目标跟踪来确定与第三搜索区域对应的最终跟踪结果；如果第二增强跟踪结果被确定为与第二搜索区域对应的最终跟踪结果，则基于第三搜索区域以及所述增强模板图像区域进行目标跟踪来确定与第三搜索区域对应的最终跟踪结果。
[0018]可选地，所述N个增强图像区域是通过以下操作利用所述N种数据增强处理方式分别对所述图像区域进行数据增强来获得的：对于每一种数据增强处理方式，利用至少一个增强链对所述图像区域进行增强处理来获得对应的增强图像区域。
[0019]可选地，利用所述至少一个增强链对所述图像区域进行增强处理来获得所述对应的增强图像区域的步骤包括：利用所述至少一个增强链中的每一个增强链对所述图像区域进行增强处理；并对所述至少一个增强链的输出结果进行随机参数下的加权组合来获得所述对应的增强图像区域。
[0020本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种目标跟踪方法，包括：确定是否需要基于数据增强进行目标跟踪；当确定需要基于数据增强进行目标跟踪时，基于对图像区域进行数据增强而得到的增强图像区域进行目标跟踪，并输出跟踪结果。2.如权利要求1所述的目标跟踪方法，还包括：当确定不需要基于数据增强进行目标跟踪时，将基于所述图像区域进行目标跟踪而得到的第一原始跟踪结果作为所述跟踪结果输出。3.如权利要求1所述的目标跟踪方法，其中，确定是否需要基于数据增强进行目标跟踪的步骤包括：基于所述图像区域进行目标跟踪来获得第一原始跟踪结果；根据第一原始跟踪结果来确定是否需要基于数据增强进行目标跟踪。4.如权利要求3所述的目标跟踪方法，其中，第一原始跟踪结果包括跟踪目标的第一原始预测位置以及对应的第一原始置信分数，根据第一原始跟踪结果确定是否需要基于数据增强进行目标跟踪的步骤包括：根据第一原始置信分数来确定是否需要基于数据增强进行目标跟踪。5.如权利要求4所述的目标跟踪方法，其中，根据第一原始置信分数来确定是否需要基于数据增强进行目标跟踪的步骤包括：当第一原始置信分数位于第一预定区间内时，确定需要基于数据增强进行目标跟踪。6.如权利要求1所述的目标跟踪方法，其中，基于对所述图像区域进行数据增强而得到的增强图像区域进行目标跟踪的步骤包括：基于N个增强图像区域进行目标跟踪来获得N个跟踪结果，其中，所述N个增强图像区域是利用N种数据增强处理方式分别对所述图像区域进行数据增强而获得的，其中，N是大于或等于1的正整数；将所述N个跟踪结果中的最佳跟踪结果确定为第一增强跟踪结果。7.如权利要求6所述的目标跟踪方法，其中，输出所述跟踪结果的步骤包括：如果第一增强跟踪结果中的第一增强置信分数处于第二预定区间内，则将第一增强跟踪结果作为所述跟踪结果输出；如果第一增强跟踪结果中的第一增强置信分数处于所述第二预定区间外，则将第一原始跟踪结果作为所述跟踪结果输出。8.如权利要求7所述的目标跟踪方法，其中，所述图像区域是一帧图像内的包括跟踪目标的模板图像区域，或者是一帧图像内的搜索区域。9.如权利要求8所述的目标跟踪方法，其中，当所述图像区域是位于第t帧图像中的第一搜索区域，并且第一增强跟踪结果作为所述跟踪结果被输出时，所述目标跟踪方法还包括：基于第t+1帧图像中的第二搜索区域进行目标跟踪来获得与第二搜索区域对应的第二原始跟踪结果，其中，t是大于或等于1的正整数；通过与第一增强跟踪结果对应的数据增强处理方式对第二搜索区域进行数据增强；基于增强的第二搜索区域进行目标跟踪来确定与第二搜索区域对应的第二增强跟踪结果；
从第二原始跟踪结果和第二增强跟踪结果中，确定与第二搜索区域对应的最终跟踪结果。10.如权利要求9所述的目标跟踪方法，还包括：如果第二增强跟踪结果被确定为与第二搜索区域对应的最终跟踪结果，则通过与第一增强跟踪结果对应的数据增强处理方式对第t+2帧图像中的第三搜索区域进行数据增强，并基于增强的第三搜索区域进行目标跟踪来确定与第三搜索区域对应的第三增强跟踪结果作为与第三搜索区域对应的最终跟踪结果；以及如果第二原始跟踪结果被确定为与第二搜索区域对应的最终跟踪结果，则基于原始的第三搜索区域进行目标跟踪来确定与第三图像搜索区域对应的最终跟踪结果。11.如权利要求8所述的目标跟踪方法，其中，当所述图像区域是所述模板图像区域，并且与第t帧图像中的第一搜索区域对应的第一增强跟踪结果作为所述跟踪结果被输出...

【专利技术属性】
技术研发人员：潘思杨，俞佳茜，陈一伟，朴昶范，李贤庭，王强，俞炳仁，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：