物体三维位置检测方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种物体三维位置检测方法、装置、电子设备及存储介质。其中，该方法包括：确定目标视频中每个视频帧对应的物体三维信息，所述目标视频包含至少一个物体；对所述目标视频中所有视频帧对应的物体三维信息进行聚类；根据每个聚类关联的视频帧，对所述目标视频对应的所有聚类进行筛选，得到所述目标视频对应的目标聚类；根据每个目标聚类对应的物体三维信息，确定每个目标聚类对应的物体的初始三维位置；根据相机姿态、每个目标聚类对应的物体三维信息和每个目标聚类对应的物体的初始三维位置，确定每个目标聚类对应的物体的目标三维位置。根据本公开的方案，可以实现更加精确的物体三维位置信息的检测。的物体三维位置信息的检测。的物体三维位置信息的检测。

【技术实现步骤摘要】
物体三维位置检测方法、装置、电子设备及存储介质


[0001]本公开涉及计算机视觉
，尤其涉及一种物体三维位置检测方法、装置、电子设备及存储介质。

技术介绍

[0002]随着混合现实(Mixed Reality，MR)技术的日益发展，可以在现实场景呈现虚拟场景信息，以在现实世界、虚拟世界和用户之间搭起一个交互反馈的信息回路，以增强用户体验的真实感。
[0003]目前，依靠视觉信息进行三维重建是多种混合现实应用的基础，比如对室内环境中常见的物体进行三维重建。进一步地，可以根据重建物体的三维位置信息对图像或视频叠加特效，以丰富图像或视频的呈现效果。
[0004]因此，亟需一种能够准确的获取物体的三维位置信息的方案。

技术实现思路

[0005]本公开提供一种物体三维位置检测方法、装置、电子设备及存储介质，以通过提供一种鲁棒性能更佳、应用范围更广的物体三维位置检测方案，达到实现更加精确的物体位置信息检测的目的。本公开的技术方案如下：
[0006]根据本公开实施例的第一方面，提供一种物体三维位置检测方法，包括：本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物体三维位置检测方法，其特征在于，包括：确定目标视频中每个视频帧对应的物体三维信息，所述目标视频包含至少一个物体；对所述目标视频中所有视频帧对应的物体三维信息进行聚类；根据每个聚类关联的视频帧，对所述目标视频对应的所有聚类进行筛选，得到所述目标视频对应的目标聚类；根据每个目标聚类对应的物体三维信息，确定每个目标聚类对应的物体的初始三维位置；根据相机姿态、每个目标聚类对应的物体三维信息和每个目标聚类对应的物体的初始三维位置，确定每个目标聚类对应的物体的目标三维位置。2.根据权利要求1所述的物体三维位置检测方法，其特征在于，所述确定目标视频中每个视频帧对应的物体三维信息，包括：确定所述目标视频中每个视频帧对应的相机姿态；对所述目标视频中每个视频帧分别进行物体检测，得到每个视频帧对应的物体检测结果；根据每个视频帧对应的相机姿态和物体检测结果，得到每个视频帧对应的物体三维信息。3.根据权利要求2所述的物体三维位置检测方法，其特征在于，每个视频帧对应的物体检测结果包括每个物体的物理尺寸、每个物体相对相机的姿态和每个物体的特征向量；其中，所述根据每个视频帧对应的相机姿态和物体检测结果，得到每个视频帧对应的物体三维信息，包括：根据每个物体的物理尺寸、每个物体相对相机的姿态和每个视频帧对应的相机姿态，将每个物体投影到世界坐标系，得到每个物体对应的三维包围盒；根据每个物体的特征向量在预设物体模型库中进行检索，得到每个物体对应的三维模型；将每个视频帧中每个物体对应的三维包围盒和三维模型作为每个视频帧对应的所述物体三维信息。4.根据权利要求3所述的物体三维位置检测方法，其特征在于，所述根据每个目标聚类对应的物体三维信息，确定每个目标聚类对应的物体的初始三维位置，包括：根据每个目标聚类内的三维包围盒的尺寸和物体相对相机的姿态，确定每个目标聚类对应的物体的初始三维位置。5.根据权利要求3所述的物体三维位置检测方法，其特征在于，每个视频帧对应的物体检测结果还包括每个物体的第一分割掩码；其中，所述根据相机姿态、每个目标聚类对应的物体三维信息和每个目标聚类对应的物体的初始三维位置，确定每个目标聚类对应的物体的目标三维位置，包括：根据相机姿态和每个目标聚类对应的物体的初始三维位置，将每个目标聚类对应的物体的三维模型投影到每个目标聚类对应的视频帧上，得到每个目标聚类对应的物体的第二分割掩码；根据每个物体的第一分割掩码...

【专利技术属性】
技术研发人员：姜秀宝，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：