一种图像数据处理方法和相关装置制造方法及图纸

本发明专利技术实施例公开了一种图像数据处理方法和相关装置，该方法包括：获取第一时刻包含目标对象的第一图像帧，并从第一图像帧中获取多个第一角点的第一位置信息；获取第二时刻包含目标对象的第二图像帧，并在第二图像帧中获取多个第二角点的第二位置信息；将多个第二角点变换到第一图像帧，并在第一图像帧中确定所变换得到的多个第三角点的第三位置信息；根据多个第一角点的第一位置信息和多个第三角点的第三位置信息，确定目标变换矩阵，并根据目标变化矩阵确定目标对象在第二图像帧中的图像区域。采用本发明专利技术，可以提升对目标对象进行追踪的准确度。

An Image Data Processing Method and Related Device

【技术实现步骤摘要】
一种图像数据处理方法和相关装置
本专利技术涉及互联网
，尤其涉及一种图像数据处理方法和相关装置。
技术介绍
目前的目标对象跟踪(例如人脸跟踪)方案主要是使用通用的跟踪算法，比如，核相关滤波算法(KernelCorrelationFilter，KCF)和追踪学习检测(Tracking-Learning-Detection、TLD)算法，在利用这些跟踪算法对人脸进行追踪的过程中，均需要对目标检测器进行不断的训练，以根据训练好的目标检测器去检测下一帧中的预测位置中是否存在人脸，以实现对人脸的追踪。然而由于人脸的运动较为灵活，且运动的自由度很大(比如，可以灵活地向左转动或向右转动)，比如，当人脸中的部分区域因运动而被遮挡时，将无法对该人脸进行跟踪，进而存在跟丢人脸的现象。此外，由于在通过这些跟踪算法对人脸的进行跟踪的过程中，随着时间的累计，将存在追踪误差的累计，进而使得基于上述跟踪算法所得到的跟踪区域(即人脸框)将产生较大的偏移，即无法准确地与实际脸部所在的区域进行贴合，进而降低了人脸跟踪的准确性。
技术实现思路
本专利技术实施例提供一种图像数据处理方法和相关装置，可以提升目标对象追踪的准确度。本专利技术实施例一方面提供了一种图像数据处理方法，包括：获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息；获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息；将所述多个第二角点变换到所述第一图像帧，并在所述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，并根据所述目标变换矩阵确定所述目标对象在所述第二图像帧中的图像区域。其中，所述获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息，包括：获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域；从第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息。其中，所述目标对象包括人脸；所述获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域，包括：获取第一时刻包含所述人脸的第一图像帧，并在所述第一图像帧中确定所述人脸对应的脸部区域；基于神经网络模型从所述脸部区域中确定与所述人脸相关联的人脸关键点，并根据所述人脸关键点在所述脸部区域中的位置信息，确定所述人脸在所述第一图像帧中的第一图像区域。其中，所述从所述第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息，包括：将所述第一图像区域均匀划分为M个子区域，其中，M为大于等于2的自然数；在所述M个子区域中的每个子区域内分别提取N个第一角点，得到M×N个第一角点，其中，N为大于等于3的自然数；在所述第一图像帧中确定所述M×N个第一角点中每个第一角点的第一位置信息。其中，所述获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息，包括：获取第二时刻包含所述目标对象的第二图像帧，并基于所述每个第一角点的第一位置信息，将所述每个第一角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二角点的第二位置信息，所述第二时刻为所述第一时刻的下一时刻。其中，所述将所述多个第二角点变换到所述第一图像帧，包括：基于所述多个角点中每个第一角点的第一位置信息，和所述多个第二角点中每个第二角点的第二位置信息，得到多个映射参量，其中，所述多个映射参量中一个映射参量基于一个第一角点的第一位置信息和一个第二角点的第二位置信息得到；根据所述多个映射参量生成与所述多个第一角点对应的变换矩阵，并获取所述变换矩阵对应的逆矩阵，并将所述逆矩阵确定为第一变换矩阵；根据所述第一变换矩阵和所述每个第二角点的第二位置信息，将所述每个第二角点变换到所述第一图像帧。其中，所述根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，包括：确定所述多个第一角点中每个第一角点对应的第三角点，其中，任一第一角点对应的第三角点基于所述任一第一角点映射得到的第二角点确定；根据所述每个第一角点的第一位置信息和每个第三角点的第三位置信息，去除所述第一图像区域中的坏点；所述坏点为所述多个第一角点中的一个或者多个第一角点，所述一个或者多个第一角点中任一第一角点的第一位置信息与所述任一第一角点对应的第三角点的第三位置信息不匹配；在所述第一图像区域中，将去除所述坏点之后所剩余的第一角点确定为多个第一更新角点；所述多个第一更新角点中的一个更新角点基于去除所述坏点之后所剩余的第一角点中的一个第一角点确定；根据每个第一更新角点的第一位置信息，将所述每个第一更新角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二更新角点的第二更新位置信息；根据所述每个第一更新角点的第一位置信息和每个第二更新角点的第二更新位置信息，生成目标变换矩阵。其中，所述方法还包括：统计去除所述第一图像区域中的坏点的次数，若统计到的所述次数大于或者等于次数阈值，则执行在所述第一图像区域中，将去除所述坏点之后所剩余的第一角点，确定为多个第一更新角点的步骤。其中，所述根据所述每个第一角点的第一位置信息和所述每个第三角点的第三位置信息，去除所述第一图像区域中的坏点，包括：根据所述每个第一角点的第一位置信息，和每个第三角点的第三位置信息，得到多个位置误差；所述多个位置误差中的任一位置误差基于任一第一角点的第一位置信息和所述任一第一角点对应的第三角点的第三位置信息确定；计算所述多个位置误差之和；若所述多个位置误差之和大于误差阈值，则去除所述第一图像区域中的一个或者多个第一角点。其中，所述方法还包括：若所述多个位置误差之和小于或者等于误差阈值，则将与所述多个第一角点对应的变换矩阵确定为目标变换矩阵。本专利技术实施例一方面提供了一种图像数据处理装置，包括：第一位置确定模块，用于获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息；第二位置确定模块，用于获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息；角点变换模块，用于将所述多个第二角点变换到所述第一图像帧；第三位置确定模块，用于在所述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；目标矩阵生成模块，用于根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵；区域确定模块，用于根据所述目标变换矩阵确定所述目标对象在所述第二图像帧中的图像区域。其中，所述第一位置确定模块包括：第一区域确定单元，用于获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域；第一位置确定单元，用于从第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息。其中，所述目标对象包括人脸；所述第一区域确定单元，包括：脸部区域确定子单元，用于获取第一时刻包含所述人脸的第一图像帧，并在所述第一图像帧中确定所述人脸对本文档来自技高网...

【技术保护点】
1.一种图像数据处理方法，其特征在于，包括：获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息；获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息；将所述多个第二角点变换到所述第一图像帧，并在所述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，并根据所述目标变换矩阵确定所述目标对象在所述第二图像帧中的图像区域。

【技术特征摘要】
1.一种图像数据处理方法，其特征在于，包括：获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息；获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息；将所述多个第二角点变换到所述第一图像帧，并在所述第一图像帧中确定所变换得到的多个第三角点的第三位置信息；根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，并根据所述目标变换矩阵确定所述目标对象在所述第二图像帧中的图像区域。2.根据权利要求1所述的方法，其特征在于，所述获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中获取多个第一角点的第一位置信息，包括：获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域；从第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息。3.根据权利要求2所述的方法，其特征在于，所述目标对象包括人脸；所述获取第一时刻包含目标对象的第一图像帧，并从所述第一图像帧中确定与所述目标对象相关联的第一图像区域，包括：获取第一时刻包含所述人脸的第一图像帧，并在所述第一图像帧中确定所述人脸对应的脸部区域；基于神经网络模型从所述脸部区域中确定与所述人脸相关联的人脸关键点，并根据所述人脸关键点在所述脸部区域中的位置信息，确定所述人脸在所述第一图像帧中的第一图像区域。4.根据权利要求2所述的方法，其特征在于，所述从所述第一图像区域中确定多个第一角点，并在所述第一图像帧中确定每个第一角点的第一位置信息，包括：将所述第一图像区域均匀划分为M个子区域，其中，M为大于等于2的自然数；在所述M个子区域中的每个子区域内分别提取N个第一角点，得到M×N个第一角点，其中，N为大于等于3的自然数；在所述第一图像帧中确定所述M×N个第一角点中每个第一角点的第一位置信息。5.根据权利要求4所述的方法，其特征在于，所述获取第二时刻包含所述目标对象的第二图像帧，并在所述第二图像帧中获取多个第二角点的第二位置信息，包括：获取第二时刻包含所述目标对象的第二图像帧，并基于所述每个第一角点的第一位置信息，将所述每个第一角点映射到所述第二图像帧，并在所述第二图像帧中确定所映射得到的多个第二角点的第二位置信息，所述第二时刻为所述第一时刻的下一时刻。6.根据权利要求1所述的方法，其特征在于，所述将所述多个第二角点变换到所述第一图像帧，包括：基于所述多个第一角点中每个第一角点的第一位置信息，和所述多个第二角点中每个第二角点的第二位置信息，得到多个映射参量，其中，所述多个映射参量中一个映射参量基于一个第一角点的第一位置信息和一个第二角点的第二位置信息得到；根据所述多个映射参量生成与所述多个第一角点对应的变换矩阵，并获取所述变换矩阵对应的逆矩阵，并将所述逆矩阵确定为第一变换矩阵；根据所述第一变换矩阵和所述每个第二角点的第二位置信息，将所述每个第二角点变换到所述第一图像帧。7.根据权利要求6所述的方法，其特征在于，所述根据所述多个第一角点的第一位置信息和所述多个第三角点的第三位置信息，确定目标变换矩阵，包括：确定所述多个第一角点中每个第一角点对应的第三角点，其中，任一第一角点对应的第三角点基于所述任一第一角点映射得到的第二角点确定；根据所述每个第一角点的第一位置信息和每个第三角点的第三位置信息，去除所述第一图像区域中的坏点；所述坏点为所述多个第一角点中的一个或者多个第一角点，所述一个或者多个第一角点中任一第一角点的第一位...

【专利技术属性】
技术研发人员：郑克松，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44