动态环境混合视觉系统的动态物检测和静态地图重建方法技术方案

本发明专利技术提出动态环境混合视觉系统的动态物检测和静态地图重建方法，包括以下步骤；步骤S1：进行外参标定，获取全景相机和三维激光两传感器之间的坐标变换参数；步骤S2：将第t帧点云作为特征点投射到第t帧图像上，获取特征点的像素运动向量，并估算因小车运动而引起的特征点的人工运动向量来进行背景运动补偿，从而获得点云中动态点；步骤S3：对当前帧点云进行簇分割；步骤S4：利用点云数据中每个点索引唯一特性，结合动态点检测结果与分割结果，通过簇中动态点的占比进行判断，提取出动态物体；步骤S5：利用八叉树地图工具和该帧下的激光雷达里程计，对静态地图进行重建；本发明专利技术可鲁棒地、更为完整地进行动态物体提取和静态三维地图重建。

【技术实现步骤摘要】
动态环境混合视觉系统的动态物检测和静态地图重建方法
本专利技术涉及动态物体检测和三维地图重建
，尤其是动态环境混合视觉系统的动态物检测和静态地图重建方法。
技术介绍
近年来，机器人技术得到蓬勃发展，其在定位和导航中的应用越来越广，因此，三维地图重建技术已经成为计算机视觉领域的研究热点之一。虽然室内或者室外环境下的三维地图可以通过深度摄像机和激光雷达等视觉传感器来获取，由于映射环境中存在移动物体，三维地图重建仍然是一项具有挑战性的工作。动态物体将会在地图上留下一系列“痕迹”，这将会形成不理想的特征从而影响机器人的对自身位置的判断和增加了导航的难度。静态环境(视觉传感器处于静止状态)下的动态目标检测研究已经取得了很好的研究成果，许多著名的方法已经被提出来，例如帧差法、背景提取法和光流法等，它们在运动检测中都表现出一定的成效，但是机器人在运动过程中对周围环境的移动目标检测仍然是一个具有挑战的任务。由于机器人的自我运动，基于图像的方法如背景提取法无法获得稳定的背景模型来进一步完成目标检测，光流法因无法进一步区分前景运动和背景运动而失效；基本文档来自技高网...

【技术保护点】
1.动态环境混合视觉系统的动态物检测和静态地图重建方法，所述混合视觉系统包括以移动物体承载的全景相机和三维激光雷达，其特征在于：所述方法包括以下步骤；/n步骤S1：对混合视觉系统进行外参标定，获取全景相机和三维激光两传感器之间的坐标变换参数，作为混合视觉系统的外参数；/n步骤S2：将第t帧点云作为特征点投射到第t帧图像上，利用光流算法获取特征点的像素运动向量，并估算因小车自我运动而引起的特征点的人工运动向量来进行背景运动补偿，从而获得点云中动态点；/n步骤S3：利用改进的划区域欧几里得聚类算法，对当前帧点云进行簇分割；/n步骤S4：利用点云数据中每个点索引唯一特性，结合动态点检测结果与点云欧几...

【技术特征摘要】
1.动态环境混合视觉系统的动态物检测和静态地图重建方法，所述混合视觉系统包括以移动物体承载的全景相机和三维激光雷达，其特征在于：所述方法包括以下步骤；
步骤S1：对混合视觉系统进行外参标定，获取全景相机和三维激光两传感器之间的坐标变换参数，作为混合视觉系统的外参数；
步骤S2：将第t帧点云作为特征点投射到第t帧图像上，利用光流算法获取特征点的像素运动向量，并估算因小车自我运动而引起的特征点的人工运动向量来进行背景运动补偿，从而获得点云中动态点；
步骤S3：利用改进的划区域欧几里得聚类算法，对当前帧点云进行簇分割；
步骤S4：利用点云数据中每个点索引唯一特性，结合动态点检测结果与点云欧几里得分割结果，通过簇中动态点的占比对动态簇进行判断，从而提取出动态物体；
步骤S5：利用八叉树地图工具和该帧下的激光雷达里程计，对静态地图进行重建。


2.根据权利要求1所述的动态环境混合视觉系统的动态物检测和静态地图重建方法，其特征在于：所述移动物体为移动小车平台；所述全景相机的相机坐标系中，相机坐标与拍摄图像坐标一致，全景相机无须相机内参标定；所述步骤S1包括；
步骤S1.1：将全景相机和三维激光雷达固定在移动小车平台上面，确保两者的相对位置不变；
步骤S1.2：调整棋盘格位置使其在全景相机传感器和三维激光雷达传感器中均可成像，并且成像位置位于图像的中层区域处；分别拍摄两幅棋盘格图像，之后利用PnP和Levenberg-Marquardt优化方法完成混合视觉系统外参标定，获得激光到相机的外参数矩阵[Rl2c,Tl2c]，下标l2c表示激光雷达到相机的坐标变换。


3.根据权利要求2所述的动态环境混合视觉系统的动态物检测和静态地图重建方法，其特征在于：所述步骤S2包括；
步骤S2.1：利用RANSAC算法进行第t帧点云地面过滤，过滤后的点云在激光雷达下的坐标为pl＝[xl,yl,zl]T，其对应在相机坐标系下的坐标为pc＝[xc,yc,zc]T，其在第t帧图像上像素点坐标为pi＝[u,v]T，图像的高度为H，宽度为W,其中上标l、c和i分别表示了激光雷达坐标系、相机坐标系和图像坐标系，则从激光雷达坐标pl转换到图像坐标pi的公式如下为：
pc＝[Rl2c,Tl2c]pl公式一






其中int(·)函数表示取整，arctan2(·)函数是将arctan(·)反正切函数的值域从扩展到(-π,π)；
步骤S2.2：步骤S2.1中将点云数据投射到对应图像上作为特征点，利用光流算法，计算得特征点的像素运动向量vf；
步骤S2.3：进行人工运动向量vo的估计；方法是先利用loam算法从点云数据中估计移动小车的里程计，经过转换后得帧间里程计Ot:t+1，再将去除地面点的第t帧点云数据pt乘上帧间里程计获得新的点云数据p′t，最后分别将数据p′t和pt投射到图像上获取的像素值，其相减的结果作为人工运动向量vo；公式如下所示：
Ot:t+1＝Ot+1:1-1Ot:1公式四
p′t＝Ot:t+1pt公式五
vo＝T(p′t)-T(pt)公式六
其中Ot:1和Ot+1:1分别是第t帧到第一帧的里程计和第t+1帧到第一帧的里程计，T(·)表示点云数据到图像的投射函数；
步骤S2.4：进行点云数据中动态点检测；方法为，假设人工运动向量的核心为该帧点云数据所有点都是静态的，同时图像静态背景光流表示着移动小车的运动状态，因此由光流法估计的像素运动向量vf与人工运动向量vo在运动区域上两者有着明显的差异、在静态区域上两者相似；
进一步对移动物体的运动情况进行分析，设移动物体的运动情况可以归结为两类：第一类为移动物体的运动方向与小车运动方向平行且反向，此时像素运动向量vf与人工运动向量vo之间的夹角约为0，且其两...

【专利技术属性】
技术研发人员：何炳蔚，胡誉生，邓清康，张立伟，林立雄，陈彦杰，
申请(专利权)人：福州大学，
类型：发明
国别省市：福建;35