一种图像中关键点的处理方法和相关装置制造方法及图纸

本申请实施例公开了一种图像中关键点的处理方法和相关装置，应用于视频、云技术、人工智能、智慧交通、辅助驾驶等各种场景，方法包括：从第N

【技术实现步骤摘要】
一种图像中关键点的处理方法和相关装置


[0001]本申请涉及数据处理领域，特别是涉及一种图像中关键点的处理方法和相关装置。

技术介绍

[0002]随着视频技术的快速发展，视频的连续图像中关键点的稳定性尤为重要；例如，视频中应用增强现实(Augmented Reality，AR)技术时，连续图像中关键点的稳定性影响AR呈现的美感和真实度。
[0003]相关技术中，一般通过深度学习模型输出图像中关键点的预测位置信息，但深度学习模型在训练时并不考虑图像的时序性，导致输出的连续图像中关键点发生抖动；为了使得输出的连续图像中关键点较为稳定，通常利用前一帧图像中关键点的预测位置信息对当前帧图像中关键点的预测位置信息进行时序平滑。
[0004]然而，上述时序平滑方式中前一帧图像中关键点的预测位置信息的权重较大时，时序平滑后倾向于前一帧图像中关键点的预测位置信息，导致连续图像中关键点发生延迟；反之，前一帧图像中关键点的预测位置信息的权重较小，时序平滑后倾向于当前帧图像中关键点的预测位置信息，导致连续图像中关键点发生抖动。即，上述时序平滑方式对连续图像中关键点的平滑效果较差，不适应于连续图像中关键点的稳定性要求较高的场景。

技术实现思路

[0005]为了解决上述技术问题，本申请提供了一种图像中关键点的处理方法和相关装置，能够有效避免连续图像中关键点发生延迟或抖动，从而提高连续图像中关键点的平滑效果，以适应于连续图像中关键点的稳定性要求较高的场景。
[0006]本申请实施例公开了如下技术方案：r/>[0007]一方面，本申请提供一种图像中关键点的处理方法，所述方法包括：
[0008]获取第N
‑
1帧图像中目标关键点所属的第一区域图像，N为大于等于2的整数；
[0009]获取第N帧图像中所述目标关键点所属的第二区域图像；所述第二区域图像在所述第N帧图像中的位置对应所述第一区域图像在所述第N
‑
1帧图像中的位置；
[0010]对所述第一区域图像和所述第二区域图像中所述目标关键点进行光流处理，确定所述目标关键点的预测位置偏置信息；
[0011]利用所述预测位置偏置信息对所述第N
‑
1帧图像中所述目标关键点的第一预测位置信息进行补偿，获得所述目标关键点的补偿预测位置信息；
[0012]基于所述补偿预测位置信息和所述第N帧图像中所述目标关键点的第二预测位置信息进行时序平滑，获得所述第N帧图像中所述目标关键点的平滑预测位置信息。
[0013]另一方面，本申请提供一种图像中关键点的处理装置，所述装置包括：获取单元、确定单元、补偿单元和平滑单元；
[0014]所述获取单元，用于获取第N
‑
1帧图像中目标关键点所属的第一区域图像，N为大
于等于2的整数；
[0015]所述获取单元，还用于获取第N帧图像中所述目标关键点所属的第二区域图像；所述第二区域图像在所述第N帧图像中的位置对应所述第一区域图像在所述第N
‑
1帧图像中的位置；
[0016]所述确定单元，用于对所述第一区域图像和所述第二区域图像中所述目标关键点进行光流处理，确定所述目标关键点的预测位置偏置信息；
[0017]所述补偿单元，用于利用所述预测位置偏置信息对所述第N
‑
1帧图像中所述目标关键点的第一预测位置信息进行补偿，获得所述目标关键点的补偿预测位置信息；
[0018]所述平滑单元，用于基于所述补偿预测位置信息和所述第N帧图像中所述目标关键点的第二预测位置信息进行时序平滑，获得所述第N帧图像中所述目标关键点的平滑预测位置信息。
[0019]另一方面，本申请提供一种用于图像中关键点的处理的计算机设备，所述计算机设备包括处理器以及存储器：
[0020]所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
[0021]所述处理器用于根据所述程序代码中的指令执行上述方面所述的图像中关键点的处理方法。
[0022]另一方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质用于存储计算机程序，所述计算机程序用于执行上述方面所述的图像中关键点的处理方法。
[0023]另一方面，本申请实施例提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令；当所述计算机程序或指令被处理器执行时，执行上述方面所述的图像中关键点的处理方法。
[0024]由上述技术方案可以看出，从第N
‑
1帧图像中获取目标关键点所属的第一区域图像，N为大于等于2的整数；从第N帧图像中获取目标关键点所属的第二区域图像，第二区域图像在第N帧图像中的位置对应第一区域图像在第N
‑
1帧图像中的位置；分析目标关键点在第一区域图像和第二区域图像之间的光流，确定目标关键点的预测位置偏置信息；通过预测位置偏置信息补偿第N
‑
1帧图像中目标关键点的第一预测位置信息，得到目标关键点的补偿预测位置信息；利用补偿预测位置信息对第N帧图像中目标关键点的第二预测位置信息进行时序平滑，得到第N帧图像中目标关键点的平滑预测位置信息。可见，通过第一区域图像和第二区域图像中目标关键点的预测位置偏置信息，补偿第N
‑
1帧图像中目标关键点的第一预测位置信息，得到更接近于第N帧图像中目标关键点的第二预测位置信息的补偿预测位置信息，并以此对第二预测位置信息进行时序平滑，降低时序平滑结果的倾向性。基于此，该方式能够有效避免连续图像中关键点发生延迟或抖动，从而提高连续图像中关键点的平滑效果，以适应于连续图像中关键点的稳定性要求较高的场景。
附图说明
[0025]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0026]图1为本申请实施例提供的一种图像中关键点的处理方法的应用场景示意图；
[0027]图2为本申请实施例提供的一种图像中关键点的处理方法的流程示意图；
[0028]图3为本申请实施例提供的一种第一区域图像和第二区域图像的示意图；
[0029]图4为本申请实施例提供的一种结合具体应用场景的图像中关键点的处理方法的具体流程示意图；
[0030]图5为本申请实施例提供的一种视频中连续人脸图像进行美妆的场景示意图；
[0031]图6为本申请实施例提供的一种图像中关键点的处理装置的示意图；
[0032]图7为本申请实施例提供的一种终端设备的结构示意图；
[0033]图8为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
[0034]下面结合附图，对本申请的实施例进行描述。
[0035]目前，视频中本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像中关键点的处理方法，其特征在于，所述方法包括：获取第N
‑
1帧图像中目标关键点所属的第一区域图像，N为大于等于2的整数；获取第N帧图像中所述目标关键点所属的第二区域图像；所述第二区域图像在所述第N帧图像中的位置对应所述第一区域图像在所述第N
‑
1帧图像中的位置；对所述第一区域图像和所述第二区域图像中所述目标关键点进行光流处理，确定所述目标关键点的预测位置偏置信息；利用所述预测位置偏置信息对所述第N
‑
1帧图像中所述目标关键点的第一预测位置信息进行补偿，获得所述目标关键点的补偿预测位置信息；基于所述补偿预测位置信息和所述第N帧图像中所述目标关键点的第二预测位置信息进行时序平滑，获得所述第N帧图像中所述目标关键点的平滑预测位置信息。2.根据权利要求1所述方法，其特征在于，所述基于所述补偿预测位置信息和所述第N帧图像中所述目标关键点的第二预测位置信息进行时序平滑，获得所述第N帧图像中所述目标关键点的平滑预测位置信息，包括：基于所述第一预测位置信息、所述第二预测位置信息和所述预测位置偏置信息，确定所述补偿预测位置信息对应的第一权重；基于所述第一权重，确定所述第二预测位置信息对应的第二权重；基于所述第一权重、所述补偿预测位置信息、所述第二权重和所述第二预测位置信息进行时序平滑，获得所述平滑预测位置信息。3.根据权利要求2所述方法，其特征在于，所述基于所述第一预测位置信息、所述第二预测位置信息和所述预测位置偏置信息、确定所述补偿预测位置信息对应的第一权重，包括：基于所述第一预测位置信息和所述第二预测位置信息，获得所述目标关键点的预测位置差值信息；基于所述预测位置差值信息、所述预测位置偏置信息和预设参数，确定所述第一权重。4.根据权利要求1所述方法，其特征在于，所述对所述第一区域图像和所述第二区域图像中所述目标关键点进行光流处理，确定所述目标关键点的预测位置偏置信息，包括：对所述第一区域图像和所述第二区域图像中所述目标关键点进行光流处理，获得所述目标关键点的光流矢量；所述光流矢量表示所述目标关键点的瞬时速度；基于所述光流矢量确定所述预测位置偏置信息。5.根据权利要求4所述方法，其特征在于，所述第一区域图像和所述第二区域图像均包括所述目标关键点和所述目标关键点的周围像素点；所述对所述第一区域图像和所述第二区域图像中所述目标关键点进行光流处理，获得所述目标关键点的光流矢量，包括：对所述第一区域图像和所述第二区域图像中所述目标关键点进行光流处理，确定所述光流矢量与基于所述目标关键点的图像梯度之间的第一关系式；基于所述第一关系式，确定所述光流矢量与基于所述周围像素点的图像梯度之间的第二关系式；求解所述第一关系式和所述第二关系式，获得所述光流矢量。6.根据权利要求5所述方法，其特征在于，所述周围像素点包括所述目标关键点的相邻像素点；所述基于所述第一关系式，确定所述光流矢量与基于所述周围像素点的图像梯度
之间的第二关系式，包括：基于所述第一关系式，确定所述光流矢量与基于所述相邻像素点的图像梯度之间的第二关系式。7.根据权利要求4
‑
6任意一项所述方法，其特征在于，所述光流矢量包括所述目标关键点在x轴方向的第一瞬时速度分...

【专利技术属性】
技术研发人员：康洋，孙冲，付灿苗，李琛，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：