物体位置信息的确定方法、装置、电子设备及存储介质制造方法及图纸

本公开提供了一种物体位置信息的确定方法、装置、电子设备及存储介质。所述确定方法包括：将第一视频帧输入特征点位置预测模型，得到在所述第一视频帧中目标物体的各个特征点的第一位置信息；根据在第二视频帧中所述各个特征点的目标位置信息进行帧间特征点跟踪，得到在所述第一视频帧中所述各个特征点的第二位置信息；对在所述第一视频帧中所述各个特征点的第一位置信息和所述各个特征点的第二位置信息进行融合处理，得到在所述第一视频帧中所述各个特征点的目标位置信息；其中，所述第一视频帧为当前处理的视频帧，所述第二视频帧为所述第一视频帧的前一视频帧。为所述第一视频帧的前一视频帧。为所述第一视频帧的前一视频帧。

【技术实现步骤摘要】
物体位置信息的确定方法、装置、电子设备及存储介质


[0001]本公开总体说来涉及数据处理
，更具体地讲，涉及一种物体位置信息的确定方法、装置、电子设备及存储介质。

技术介绍

[0002]在增强现实(Augmented Reality，AR)领域、混合现实(Mixed Reality，MR)领域，需要在电子设备(例如，移动通信终端)的视频流中实时识别跟踪某个特定物体，以便更好地使用电子设备将虚拟物体与现实场景中的特定物体进行交互。例如，手部虚拟交互特效、脚部虚拟穿鞋特效等等。
[0003]目前已有的确定在视频帧中特定物体的位置信息的方法，无法兼顾鲁棒性、准确性和帧间稳定性，物体位置信息的确定效果不佳。

技术实现思路

[0004]本公开的示例性实施例在于提供一种物体位置信息的确定方法、装置、电子设备及存储介质，能够兼顾鲁棒性、准确性和帧间稳定性，提高了物体位置信息的确定效果。
[0005]根据本公开实施例的第一方面，提供一种物体位置信息的确定方法，所述确定方法包括：将第一视频帧输入特征点位置预测模型，得到在所述第一视频帧中目标物体的各个特征点的第一位置信息；根据在第二视频帧中所述各个特征点的目标位置信息进行帧间特征点跟踪，得到在所述第一视频帧中所述各个特征点的第二位置信息；对在所述第一视频帧中所述各个特征点的第一位置信息和所述各个特征点的第二位置信息进行融合处理，得到在所述第一视频帧中所述各个特征点的目标位置信息；其中，所述第一视频帧为当前处理的视频帧，所述第二视频帧为所述第一视频帧的前一视频帧。
[0006]可选地，所述对在所述第一视频帧中所述各个特征点的第一位置信息和所述各个特征点的第二位置信息进行融合处理，得到在所述第一视频帧中所述各个特征点的目标位置信息的步骤包括：确定在所述第一视频帧中所述目标物体的每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重；对在所述第一视频帧中所述每个特征点的第一位置信息和所述每个特征点的第二位置信息进行加权求和，得到在所述第一视频帧中所述每个特征点的目标位置信息，其中，所述每个特征点的第一位置信息的加权系数为所述第一权重，所述每个特征点的第二位置信息的加权系数为所述第二权重。
[0007]可选地，所述确定在所述第一视频帧中所述目标物体的每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重的步骤包括：基于在所述第一视频帧中每个特征点的第一位置信息的置信度和所述每个特征点的第二位置信息的置信度，确定所述每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重。
[0008]可选地，所述确定在所述第一视频帧中所述目标物体的每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重的步骤包括：基于在所述第一
视频帧中每个特征点的第二位置信息所表征的位置与所述每个特征点的第一位置信息所表征的位置之间的距离，确定所述每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重。
[0009]可选地，所述基于在所述第一视频帧中每个特征点的第一位置信息的置信度和所述每个特征点的第二位置信息的置信度，确定所述每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重的步骤包括：基于在所述第一视频帧中每个特征点的第一位置信息的置信度和所述每个特征点的第二位置信息的置信度，确定所述每个特征点的第二位置信息的第二权重；基于所述每个特征点的第二位置信息的第二权重，确定所述每个特征点的第一位置信息的第一权重，其中，所述每个特征点的第二位置信息的第二权重和所述每个特征点的第一位置信息的第一权重之和为1。
[0010]可选地，所述基于在所述第一视频帧中每个特征点的第二位置信息所表征的位置与所述每个特征点的第一位置信息所表征的位置之间的距离，确定所述每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重的步骤包括：基于在所述第一视频帧中每个特征点的第二位置信息所表征的位置与所述每个特征点的第一位置信息所表征的位置之间的像素距离，确定所述每个特征点的第二位置信息的第二权重；基于所述每个特征点的第二位置信息的第二权重，确定所述每个特征点的第一位置信息的第一权重，其中，所述每个特征点的第二位置信息的第二权重和所述每个特征点的第一位置信息的第一权重之和为1。
[0011]可选地，所述确定方法还包括：根据在所述第一视频帧中所述各个特征点的目标位置信息，确定所述目标物体的位姿。
[0012]可选地，所述根据在所述第一视频帧中所述各个特征点的目标位置信息，确定所述目标物体的位姿的步骤包括：将拍摄所述第二视频帧时刻物体坐标系相对于相机坐标系的位姿作为优化变量的初始值，其中，所述物体坐标系为预先构建的所述目标物体的物体坐标系；按照所述优化变量，将所述物体坐标系下的所述目标物体的三维特征点投影到所述第一视频帧，得到所述各个特征点的投影位置信息；构建所述各个特征点的投影位置信息与投影观测信息的误差项，其中，所述投影观测信息为在所述第一视频帧中所述各个特征点的目标位置信息；根据所述误差项通过非线性优化方法求解得到所述优化变量的最优值，并将所述最优值作为拍摄所述第一视频帧时刻所述物体坐标系相对于相机坐标系的位姿。
[0013]可选地，在所述第一视频帧为视频的首帧视频帧的情况下，所述确定方法还包括：将在所述第一视频帧中所述各个特征点的第一位置信息，确定为在所述第一视频帧中所述各个特征点的目标位置信息；根据在所述第一视频帧中所述各个特征点的目标位置信息和物体坐标系下的所述目标物体的三维特征点的位置信息，确定拍摄所述第一视频帧时刻所述物体坐标系相对于相机坐标系的位姿；其中，所述物体坐标系为预先构建的所述目标物体的物体坐标系。
[0014]可选地，所述确定方法还包括：根据在所述第一视频帧中所述各个特征点的目标位置信息，对所述目标物体进行三维重建，得到所述目标物体的三维模型。
[0015]可选地，所述根据在所述第一视频帧中所述各个特征点的目标位置信息，对所述目标物体进行三维重建，得到所述目标物体的三维模型的步骤包括：根据在所述第一视频
帧中所述各个特征点的目标位置信息，对所述目标物体的三维点云数据进行恢复；基于恢复的三维点云数据，对所述目标物体进行网格重建，得到所述目标物体的三维模型。
[0016]根据本公开实施例的第二方面，提供一种物体位置信息的确定装置，所述确定装置包括：预测单元，被配置为将第一视频帧输入特征点位置预测模型，得到在所述第一视频帧中目标物体的各个特征点的第一位置信息；跟踪单元，被配置为根据在第二视频帧中所述各个特征点的目标位置信息进行帧间特征点跟踪，得到在所述第一视频帧中所述各个特征点的第二位置信息；融合单元，被配置为对在所述第一视频帧中所述各个特征点的第一位置信息和所述各个特征点的第二位置信息进行融合处理，得到在所述第一视频帧中所述各个特征点的目标位置信息；其中，所述第一视频帧为当前处理的视频帧，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体位置信息的确定方法，其特征在于，所述确定方法包括：将第一视频帧输入特征点位置预测模型，得到在所述第一视频帧中目标物体的各个特征点的第一位置信息；根据在第二视频帧中所述各个特征点的目标位置信息进行帧间特征点跟踪，得到在所述第一视频帧中所述各个特征点的第二位置信息；对在所述第一视频帧中所述各个特征点的第一位置信息和所述各个特征点的第二位置信息进行融合处理，得到在所述第一视频帧中所述各个特征点的目标位置信息；其中，所述第一视频帧为当前处理的视频帧，所述第二视频帧为所述第一视频帧的前一视频帧。2.根据权利要求1所述的确定方法，其特征在于，所述对在所述第一视频帧中所述各个特征点的第一位置信息和所述各个特征点的第二位置信息进行融合处理，得到在所述第一视频帧中所述各个特征点的目标位置信息的步骤包括：确定在所述第一视频帧中所述目标物体的每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重；对在所述第一视频帧中所述每个特征点的第一位置信息和所述每个特征点的第二位置信息进行加权求和，得到在所述第一视频帧中所述每个特征点的目标位置信息，其中，所述每个特征点的第一位置信息的加权系数为所述第一权重，所述每个特征点的第二位置信息的加权系数为所述第二权重。3.根据权利要求2所述的确定方法，其特征在于，所述确定在所述第一视频帧中所述目标物体的每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重的步骤包括：基于在所述第一视频帧中每个特征点的第一位置信息的置信度和所述每个特征点的第二位置信息的置信度，确定所述每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重。4.根据权利要求2所述的确定方法，其特征在于，所述确定在所述第一视频帧中所述目标物体的每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重的步骤包括：基于在所述第一视频帧中每个特征点的第二位置信息所表征的位置与所述每个特征点的第一位置信息所表征的位置之间的距离，确定所述每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重。5.根据权利要求3所述的确定方法，其特征在于，所述基于在所述第一视频帧中每个特征点的第一位置信息的置信度和所述每个特征点的第二位置信息的置信度，确定所述每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重的步骤包括：基于在所述第一视频帧中每个特征点的第一位置信息的置信度和所述每个特征点的第二位置信息的置信度，确定所述每个特征点的第二位置信息的第二权重；基于所述每个特征点的第二位置信息的第二权重，确定所述每个特征点的第一位置信息的第一权重，其中，所述每个特征点的第二位置信息的第二权重和所述每个特征点的第一位置信息的第一权重之和为1。
6.根据权利要求4所述的确定方法，其特征在于，所述基于在所述第一视频帧中每个特征点的第二位置信息所表征的位置与所述每个特征点的第一位置信息所表征的位置之间的距离，确定所述每个特征点的第一位置信息的第一权重和所述每个特征点的第二位置信息的第二权重的步骤包括：基于在所述第一视频帧中每个特征点的第二位置信息所表征的位置与所述每个特征点的第一位置信息所表征的位置之间的像素距离，确定所述每个特征点的第二位置信息的第二权重；基于所述每个特征点的第二位置信息的第二权重，确定所述每个特征点的第一位置信...

【专利技术属性】
技术研发人员：李笑寒，郭小燕，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：