一种3D空间定位方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术提供一种3D空间定位方法、装置及计算机可读存储介质，方法包括：根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围；根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流；将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标。本发明专利技术中通过深度学习算法识别并定位视频流中出现的物体，再通过计算机视觉算法为场景构建3D稀疏点云，匹配识别的物体，计算出精度达到毫米级的物体在三维空间中的位置。

【技术实现步骤摘要】
一种3D空间定位方法、装置及计算机可读存储介质
本专利技术涉及空间定位
，尤其涉及一种3D空间定位方法、装置及计算机可读存储介质。
技术介绍
目前DeepLearning(深度学习)，可以识别并定位图片/视频中出现的常见物体。在AR(AugmentedReality，即增强现实技术)中需要对场景中出现的物体进行识别，但是仅仅识别2D图片/视频的位置是不够的，需要确定物体在3D空间的位置，才能精准的对物体进行空间定位。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足之处，本专利技术的目的在于提供一种3D空间定位方法、装置及计算机可读存储介质，旨在解决现有技术中对场景中出现的物体进行识别，仅仅识别2D图片/视频的位置，无法精确确定物体在3D空间的位置的问题。为了达到上述目的，本专利技术采取了以下技术方案：一种3D空间定位方法，其中，所述方法包括以下步骤：根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围；根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流；将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标。所述3D空间定位方法，其中，所述根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围的步骤，包括：获取多帧图片流或视频流；根据深度学习算法对多帧图片流或视频流中所出现的待定位物体进行识别，得到待定位物体的二维坐标范围。所述3D空间定位方法，其中，所述根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流的步骤，包括：根据同步定位与建图算法识别视频中待定位物体的特征点；根据视频拍摄角度获取特征点的三维空间定位信息；根据待定位物体的特征点、及对应的三维空间定位信息，获取视频中待定位物体的稀疏点云。所述3D空间定位方法，其中，所述将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标的步骤，包括：将待定位物体的二维坐标范围对应的直角坐标系带入待定位物体的稀疏点云；在带入稀疏点云后的直角坐标中，获取与待定位物体的二维坐标范围对应的稀疏点云空间坐标；根据待定位物体稀疏点云空间坐标，得到待定位物体的三维坐标。所述3D空间定位方法，其中，所述同步定位与建图算法为扩展卡尔曼滤波法、或无迹卡尔曼滤波法。一种3D空间定位装置，其中，所述3D空间定位装置包括处理器、存储器及通信总线；所述通信总线用于实现处理器和存储器之间的连接通信；所述处理器用于执行存储器中存储的3D空间定位程序，以实现以下步骤：根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围；根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流；将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标。所述3D空间定位装置，其中，所述根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围的步骤，包括：获取多帧图片流或视频流；根据深度学习算法对多帧图片流或视频流中所出现的待定位物体进行识别，得到待定位物体的二维坐标范围。所述3D空间定位装置，其中，所述根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流的步骤，包括：根据同步定位与建图算法识别视频中待定位物体的特征点；根据视频拍摄角度获取特征点的三维空间定位信息；根据待定位物体的特征点、及对应的三维空间定位信息，获取视频中待定位物体的稀疏点云。所述3D空间定位装置，其中，所述将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标的步骤，包括：将待定位物体的二维坐标范围对应的直角坐标系带入待定位物体的稀疏点云；在带入稀疏点云后的直角坐标中，获取与待定位物体的二维坐标范围对应的稀疏点云空间坐标；根据待定位物体稀疏点云空间坐标，得到待定位物体的三维坐标。一种计算机可读存储介质，其中，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现所述3D空间定位方法的步骤。本专利技术提供的3D空间定位方法、装置及计算机可读存储介质，方法包括：根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围；根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流；将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标。本专利技术中通过深度学习算法识别并定位视频流中出现的物体，再通过计算机视觉算法为场景构建3D稀疏点云，匹配识别的物体，计算出精度达到毫米级的物体在三维空间中的位置。附图说明图1为本专利技术所述的3D空间定位方法较佳实施例的流程图。图2为本专利技术所述的3D空间定位方法中步骤S100的流程图。图3为本专利技术所述的3D空间定位方法中步骤S200的流程图。图4为本专利技术所述的3D空间定位方法中步骤S300的流程图。图5a为本专利技术所述的3D空间定位方法的具体实施例中待定位物体的二维坐标范围的示意图。图5b为本专利技术所述的3D空间定位方法的具体实施例中待定位物体的稀疏点云的示意图。图5c为本专利技术所述的3D空间定位方法的具体实施例中待定位物体的三维坐标的示意图。具体实施方式本专利技术提供一种3D空间定位方法、装置及计算机可读存储介质，为使本专利技术的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，是本专利技术所述的3D空间定位方法较佳实施例的流程图。如图1所示，所述的3D空间定位方法，包括以下步骤：步骤S100、根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围；步骤S200、根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流；步骤S300、将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标。本实施例中，通过深度学习算法识别并定位图片流或视频流中出现的物体(即待定位物体)的二维坐标范围。如图5a所示，通过深度学习算法可识别到图片流或视频流中(x1,y1)-(x4,y3)范围内物体为桌子，(x2,y2)-(x3,y4)范围内物体为杯子。若此时只是知道待定位物体的二维坐标范围，是不足以应用到增强现实的技术中以实现对待定位物体的空间定位。由于摄像机拍摄待定位物体时，随着视频拍摄角度的移动，可以识别待定位物体上的特征点(多个特征点组成稀疏点云)，并同时对待定位物体上的特征点进行空间定位。最后，将待定位物体的稀疏点云对应的坐标系与定位物体的二维坐标系(即平面直角坐标系，X-Y直角坐标系)进行结合，将稀疏点云带入X-Y坐标系，即可准确得到物体在三维空间中的位置。优选的，如图2所示，所述步骤S100包括：步骤S101、获取多帧图片流或视频流；步骤S102、根据深度学习算法对多帧图片流或视频流中所出现的待定位物体进行识别，得到待定位物体的二维坐标范围。优选的，如图3所示，所述步骤S200包括：步骤S201、根据同步定位与建图算法识别视频中待定位物体的特征点；步骤S202、根据视频拍摄角度获取特征点的三维空间定位信息；步骤S203、根据待定位物体的特征点、及对应的本文档来自技高网...

【技术保护点】
一种3D空间定位方法，其特征在于，所述方法包括以下步骤：根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围；根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流；将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标。

【技术特征摘要】
1.一种3D空间定位方法，其特征在于，所述方法包括以下步骤：根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围；根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流；将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标。2.根据权利要求1所述3D空间定位方法，其特征在于，所述根据深度学习算法识别图片流或视频流中待定位物体的二维坐标范围的步骤，包括：获取多帧图片流或视频流；根据深度学习算法对多帧图片流或视频流中所出现的待定位物体进行识别，得到待定位物体的二维坐标范围。3.根据权利要求1所述3D空间定位方法，其特征在于，所述根据同步定位与建图算法获取视频中待定位物体的稀疏点云；其中，视频为图片流或视频流的步骤，包括：根据同步定位与建图算法识别视频中待定位物体的特征点；根据视频拍摄角度获取特征点的三维空间定位信息；根据待定位物体的特征点、及对应的三维空间定位信息，获取视频中待定位物体的稀疏点云。4.根据权利要求3所述3D空间定位方法，其特征在于，所述将待定位物体的稀疏点云带入待定位物体的二维坐标范围，得到待定位物体的三维坐标的步骤，包括：将待定位物体的二维坐标范围对应的直角坐标系带入待定位物体的稀疏点云；在带入稀疏点云后的直角坐标中，获取与待定位物体的二维坐标范围对应的稀疏点云空间坐标；根据待定位物体稀疏点云空间坐标，得到待定位物体的三维坐标。5.根据权利要求1所述3D空间定位方法，其特征在于，所述同步定位与建图算法为扩展卡尔曼滤波法、或无迹卡尔曼滤波法。6.一种3D空间定位装置，其特征在于，所述3D空间定位装置包括处理器、存储器及通信总线；所述通信总线用于实现处...

【专利技术属性】
技术研发人员：李泽昊，孙鑫，
申请(专利权)人：幻视信息科技深圳有限公司，
类型：发明
国别省市：广东,44