【技术实现步骤摘要】
【国外来华专利技术】障碍物检测及重识别方法、装置、可移动平台及存储介质
[0001]本申请涉及物体识别
，具体而言，涉及一种障碍物检测及重识别方法、装置、可移动平台及存储介质。
技术介绍
[0002]在自动驾驶、无人机自动飞行以及机器人导航等领域，对于障碍物的识别是使可移动平台安全可靠工作的关键因素之一。通常，会利用安装在可移动平台上的各式各样的传感器(如毫米波雷达、激光雷达、摄像头或者卫星导航元件等)，在可移动平移动过程中来感知周围的环境，收集感知数据，基于感知数据进行障碍物(静态或动态物体)的辨识、侦测与追踪，预测可能发生的危险，从而保证可移动平台进行安全可靠地工作。
[0003]其中，在基于感知数据进行障碍物的辨识的过程中，在传感器有多个的情况下，其感知的范围可能有所重合，可能会感知到同一障碍物，因此还需要将多个传感器所感知的同一障碍物进行关联，即目标重识别的过程。
[0004]相关技术中，通常将障碍物检测和障碍物重识别过程分成两个过程独立进行处理，首先基于传感器获取的感知数据进行障碍物的检测，比如基于从感知数据中提...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种障碍物检测及重识别方法，其特征在于，包括：获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型；根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。3.根据权利要求1所述的方法，其特征在于，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。4.根据权利要求3所述的方法，其特征在于，所述图像与所述三维网格模型的投影关系基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。5.根据权利要求3所述的方法，其特征在于，所述基于每张所述图像生成一个或多个第一二维锚点，包括：对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点。6.根据权利要求1所述的方法，其特征在于，所述获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，包括：获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。7.根据权利要求1所述的方法，其特征在于，所述特征信息包括二维特征信息和/或三维特征信息。8.根据权利要求1所述的方法，其特征在于，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：
基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。9.根据权利要求8所述的方法，其特征在于，所述从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息，包括：对所述图像进行特征提取，获取所述图像的二维特征信息；根据各个所述第二二维锚点从所述图像的二维特征信息获取各个所述第二二维锚点指示的位置处的二维特征信息。10.根据权利要求1所述的方法，其特征在于，所述至少两个拍摄装置为具有深度采集功能的装置。11.根据权利要求10所述的方法，其特征在于，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：根据所述图像以及对应的深度信息进行三维重建，获取三维模型；从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。12.根据权利要求11所述的方法，其特征在于，所述从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息，包括：对所述三维模型进行特征提取，获取所述三维模型的三维特征信息；根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。13.根据权利要求1所述的方法，其特征在于，所述根据所述特征信息进行障碍物检测，获得障碍物检测信息，包括：将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。14.根据权利要求1所述的方法，其特征在于，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。15.根据权利要求1所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。16.根据权利要求1所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。17.根据权利要求16所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果，包括：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
18.根据权利要求1所述的方法，其特征在于，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。19.根据权利要求1所述的方法，其特征在于，还包括：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述障碍物检测信息和所述重识别结果。20.根据权利要求1或19所述的方法，其特征在于，还包括：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。21.根据权利要求1所述的方法，其特征在于，由至少两个拍摄装置分别采集的所述至少两张图像具有预设的重叠率。22.根据权利要求1所述的方法，其特征在于，所述可移动平台的位置信息由设置于所述可移动平台上的卫星定位器获得。23.根据权利要求1所述的方法，其特征在于，所述三维网格模型基于所述可移动平台的位置信息以及预置的网格参数生成；所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状。24.一种障碍物检测及重识别方法，其特征在于，包括：获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。25.根据权利要求24所述的方法，其特征在于，所述从所述三维网格模型中确定一个或多个三维锚点，包括：根据历史数据统计所述三维网格模型中的各个位置存在障碍物的概率，以确定所述一个或多个三维锚点。26.根据权利要求25所述的方法，其特征在于，所述三维锚点指示所述三维网格模型中存在障碍物的概率大于预设阈值的位置。27.根据权利要求24所述的方法，其特征在于，所述从所述三维网格模型中确定一个或多个三维锚点，包括：根据所述可移动平台的属性信息和/或障碍物的属性信息，从所述三维网格模型中确定一个或多个三维锚点。28.根据权利要求27所述的方法，其特征在于，所述可移动平台的属性信息包括以下一种或多种：所述可移动平台的移动方式、类别、尺寸以及所述拍摄装置在所述可移动平台上的安装位置；和/或，所述障碍物的属性信息包括以下一种或多种：障碍物的类别、尺寸以及形状。
29.根据权利要求24所述的方法，其特征在于，所述从所述三维网格模型中确定一个或多个三维锚点，包括：根据所述三维网格模型中的各个位置确定对应的三维锚点。30.根据权利要求24所述的方法，其特征在于，所述从所述三维网格模型中确定一个或多个三维锚点，包括：根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点。31.根据权利要求30所述的方法，其特征在于，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。32.根据权利要求30所述的方法，其特征在于，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。33.根据权利要求30所述的方法，其特征在于，所述获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，包括：获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。34.根据权利要求24所述的方法，其特征在于，所述特征信息包括二维特征信息和/或三维特征信息。35.根据权利要求24所述的方法，其特征在于，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。36.根据权利要求24所述的方法，其特征在于，所述至少两个拍摄装置为具有深度采集功能的装置。37.根据权利要求36所述的方法，其特征在于，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：根据所述图像以及对应的深度信息进行三维重建，获取三维模型；从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。
38.根据权利要求24所述的方法，其特征在于，所述根据所述特征信息进行障碍物检测，获得障碍物检测信息，包括：将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。39.根据权利要求24所述的方法，其特征在于，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。40.根据权利要求24所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。41.根据权利要求24所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。42.根据权利要求41所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果，包括：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。43.根据权利要求24所述的方法，其特征在于，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。44.根据权利要求24所述的方法，其特征在于，还包括：在所述可移动平台...
【专利技术属性】
技术研发人员：徐斌，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。