【技术实现步骤摘要】
本专利技术涉及三维重建技术邻域，具体来说，涉及一种基于多视觉动态环境重建和测量方法及系统。
技术介绍
1、双目相机双目相机是一种可以同时获取左右两个视角图像的相机，它能够模拟人类双眼视觉的方式，从而实现对物体的深度感知和三维重建。双目相机通常由两个成像模块、同步器和数据处理单元组成。
2、双目相机的工作原理是通过两个相机同时拍摄同一场景，然后将两幅图像进行匹配，从而得到物体的深度信息。在拍摄过程中，双目相机需要保持左右两个相机的视点位置和朝向一致，这通常需要使用机械结构和校准算法来实现。
3、双目相机的应用非常广泛，例如自动驾驶、机器人视觉、医疗影像、虚拟现实等领域。在自动驾驶领域，双目相机可以用于识别道路标志、车道线和障碍物等，从而实现车辆的自主导航。在机器人视觉领域，双目相机可以用于机器人的定位、三维重建和环境感知等任务。在医疗影像领域，双目相机可以用于人体器官的三维重建和手术导航等。在虚拟现实领域，双目相机可以用于创建逼真的虚拟场景和人机交互等。
4、基于图像序列的三维重建是一种利用多张图像序列来恢复场景中三维几何结构的方法。该方法需要多张图像中的特征点或者对应点，以及相机的内外参数，通过三角化计算得到场景中物体的三维坐标。
5、基于图像序列的三维重建通常分为以下几个步骤：
6、1.相机标定：通过拍摄已知几何形状的标定板，计算相机的内外参数，包括相机的内部参数(如焦距、主点位置等)和外部参数(如相机的位置和朝向等)。
7、2.特征提取与匹配：通过在多张
8、3.相机姿态估计：利用多张图像中的对应点，通过求解相机的位置和朝向，计算出相机在三维空间中的姿态。
9、4.三角化计算：利用多张图像中的对应点，通过三角化计算得到场景中物体的三维坐标。
10、5.点云融合：将多张图像中得到的点云进行融合，得到更完整的三维模型。
11、基于图像序列的三维重建可以应用于许多领域，如计算机视觉、虚拟现实、医学影像等。它可以用于三维建模、物体识别、姿态估计、运动分析和场景重建等任务。
技术实现思路
1、本专利技术的目的在于提供一种一种基于多视觉动态环境重建和测量方法及系统，能够为基于图像序列重建提供较好的匹配的精度，提升动态环境下的定位精度，同时获得较高的建模质量。
2、本专利技术的目的是通过以下技术方案来实现的：一种基于多视觉动态环境重建和测量方法，该方法包括：
3、(1)基于双目惯导拍摄图像序列，估算图像序列中两两匹配的特征在三维空间点中的坐标；
4、(2)基于步骤(1)获得三维离散点云，把离散的点云放入重建的点云序列中，得到被重建目标的三维点云，进行稀疏重建和稠密重建；
5、(3)通过双目相机得到双目图像，通过左右目图像的重合部分进行自身的位姿估计，将包含左右目特征点的图像基于神经网络进行疑似的动态物分割，并判断是否是动态点，如果是则滤除对应区域的特征点；
6、(4)完成动态点去除后进行双目惯导视觉slam定位，基于sfm恢复出的相机位姿和orb-slam3关键帧的相机位姿相对应的关系进行尺寸估计，求解尺度因子，sfm中的每个点都乘上s，得到与orb相同尺度的相机坐标点云；
7、(5)完成点云的尺寸恢复后进行基于pca的点云粗匹配，然后基于icp迭代最近点算法，实现点云精匹配，估计旋转矩阵和平移矩阵，并和尺寸因子组成变换矩阵，将稠密点云与这个变换矩阵做变换，得到恢复尺寸和位姿的稠密点云；
8、(6)完成尺寸和位姿恢复后，对于所有测量点的稠密点云，建立黑白区域间隔组成的靶标，对稠密重建中靶标点云区域，通过颜色聚类出点云中心，以该中心代表图像的靶标中心进行点云测量。
9、进一步地，步骤(1)中，利用三角测量估算出特征在三维空间点中的坐标，具体为：利用两两图像中同一特征点的变化从而判断特征点距离相机光心的距离，两幅具有相同特征点的图像中，将一幅图像上的特征点与该图像的相机光心相连接，另一幅图像也进行相同的操作，在三维世界中相交于一点，该点就是被测物体表面的特征点，进而得到特征在三维空间点中的坐标。
10、进一步地，若真实的三维世界的特征点与估算的三维世界的特征点存在重投影误差，则采用集束调整法，通过利用求解出来的三维空间点坐标和计算出来的相机矩阵进行二次投影，调整参数，最小化重投影误差，使得三维空间点上特征点所发射出来的光线能通过成像平面并交于光心。
11、进一步地，步骤(2)中，稀疏重建采用增量式sfm重建方法，稠密重建时，将稀疏重建时估算的相机坐标和重建的图像序列作为输入，通过pmvs重建带有颜色信息的稠密点云，pmvs重建时，将图像分为大小β×β的图片小块ci(x,y)，i表示是第i张图片，x,y代表图像小块的下标，每个图片小块都与一个面片p对应，通过初始化特征匹配、面片扩散和面片过滤三部分实现pmvs重建。
12、进一步地，初始化特征匹配具体过程为：将三维坐标点按照距离相机中心的远近进行排序，并以这些点为面片中心重建稀疏三维面片，再以这些面片作为种子面片，通过一对匹配的特征点建立面片的中心点和指向相机光心的单位向量，计算面片法线与面片到光线之间夹角，当夹角小于预设值时，加入到图像存在面片的集合中，如果图像集合中的元素大于预先所设定的阈值，把满足条件的图片小块加入到面片集合中。
13、进一步地，面片扩散具体为：在一个种子面片的像素区域邻域中遍历，在图像像素区域生成所需的面片；之后与初始化特征匹配的过程相同，设定阈值，减小由误差生成的错误面片，把满足阈值的生成的面片保存到对应的面片集合中。
14、进一步地，面片过滤具体过程为：对于得到的两个面片集合，基于可视一致性过滤由于遮挡导致重建面片不连续的面片集合，滤除异常面片；最后比较面片邻域内的面片个数和面片在图像投影像素区域的个数之间的关系，若邻域面片个数比上图像投影像素区域的值小于阈值，则滤除该面片。
15、进一步地，步骤(4)中，通过sfm的相机坐标和orb-slam3的相机坐标计算尺度时，并不是两两完全匹配，需要多次计算尺度因子，求得两个系统的相机坐标差最小时的尺度因子，sfm中的每个点都乘上尺度因子，得到与orb相同尺度的相机坐标点云。
16、进一步地，步骤(6)中，提取靶标中心部分的白色点云处点的坐标，通过ransac拟合该点所在的平面，并计算该点所在平面10cm范围内白色点云的聚类中心，该中心即为靶标中心；点云点与点距离测量方法为选取点云靶标的两个中心点p1、p2，通过公式计算p1 p2之间的距离；点云中点与面之间的距离测量方法，通过选点方法选取点，选面方法为点击平面上的一个点，通过ransac拟合平面方程，得到被测点坐标p(x0,y0,z0)和平面方程ax+by+cz+d＝0后，两者之间的距离通过点到平面距离公式进行计算；本文档来自技高网...
【技术保护点】
1.一种基于多视觉动态环境重建和测量方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种基于多视觉动态环境重建和测量方法，其特征在于，步骤(1)中，利用三角测量估算出特征在三维空间点中的坐标，具体为：利用两两图像中同一特征点的变化从而判断特征点距离相机光心的距离，两幅具有相同特征点的图像中，将一幅图像上的特征点与该图像的相机光心相连接，另一幅图像也进行相同的操作，在三维世界中相交于一点，该点就是被测物体表面的特征点，进而得到特征在三维空间点中的坐标。
3.根据权利要求2所述的一种基于多视觉动态环境重建和测量方法，其特征在于，若真实的三维世界的特征点与估算的三维世界的特征点存在重投影误差，则采用集束调整法，通过利用求解出来的三维空间点坐标和计算出来的相机矩阵进行二次投影，调整参数，最小化重投影误差，使得三维空间点上特征点所发射出来的光线能通过成像平面并交于光心。
4.根据权利要求1所述的一种基于多视觉动态环境重建和测量方法，其特征在于，步骤(2)中，稀疏重建采用增量式SfM重建方法，稠密重建时，将稀疏重建时估算的相机坐标和重建的图像序列作
5.根据权利要求4所述的一种基于多视觉动态环境重建和测量方法，其特征在于，初始化特征匹配具体过程为：将三维坐标点按照距离相机中心的远近进行排序，并以这些点为面片中心重建稀疏三维面片，再以这些面片作为种子面片，通过一对匹配的特征点建立面片的中心点和指向相机光心的单位向量，计算面片法线与面片到光线之间夹角，当夹角小于预设值时，加入到图像存在面片的集合中，如果图像集合中的元素大于预先所设定的阈值，把满足条件的图片小块加入到面片集合中。
6.根据权利要求5所述的一种基于多视觉动态环境重建和测量方法，其特征在于，面片扩散具体为：在一个种子面片的像素区域邻域中遍历，在图像像素区域生成所需的面片；之后与初始化特征匹配的过程相同，设定阈值，减小由误差生成的错误面片，把满足阈值的生成的面片保存到对应的面片集合中。
7.根据权利要求6所述的一种基于多视觉动态环境重建和测量方法，其特征在于，面片过滤具体过程为：对于得到的两个面片集合，基于可视一致性过滤由于遮挡导致重建面片不连续的面片集合，滤除异常面片；最后比较面片邻域内的面片个数和面片在图像投影像素区域的个数之间的关系，若邻域面片个数比上图像投影像素区域的值小于阈值，则滤除该面片。
8.根据权利要求1所述的一种基于多视觉动态环境重建和测量方法，其特征在于，步骤(4)中，通过SfM的相机坐标和ORB-SLAM3的相机坐标计算尺度时，并不是两两完全匹配，需要多次计算尺度因子，求得两个系统的相机坐标差最小时的尺度因子，SfM中的每个点都乘上尺度因子，得到与ORB相同尺度的相机坐标点云。
9.根据权利要求1所述的一种基于多视觉动态环境重建和测量方法，其特征在于，步骤(6)中，提取靶标中心部分的白色点云处点的坐标，通过RANSAC拟合该点所在的平面，并计算该点所在平面10cm范围内白色点云的聚类中心，该中心即为靶标中心；点云点与点距离测量方法为选取点云靶标的两个中心点P1、P2，通过公式计算P1 P2之间的距离；点云中点与面之间的距离测量方法，通过选点方法选取点，选面方法为点击平面上的一个点，通过RANSAC拟合平面方程，得到被测点坐标P(x0,y0,z0)和平面方程Ax+By+Cz+D＝0后，两者之间的距离通过点到平面距离公式进行计算；点云面与面之间的距离公式简化一个平面上的点P到另一个平面的距离；面与面之间的角度则是通过计算两个平面的方程，再计算两个平面的法向量，计算两个法向量之间的夹角。
10.一种实现权利要求1-9任一项所述方法的基于多视觉动态环境重建和测量系统，其特征在于，该系统包括：特征匹配单元、点云重建单元、特征点滤除单元、点云尺寸恢复单元、点云变换单元和点云测量单元；
...【技术特征摘要】
1.一种基于多视觉动态环境重建和测量方法，其特征在于，该方法包括：
2.根据权利要求1所述的一种基于多视觉动态环境重建和测量方法，其特征在于，步骤(1)中，利用三角测量估算出特征在三维空间点中的坐标，具体为：利用两两图像中同一特征点的变化从而判断特征点距离相机光心的距离，两幅具有相同特征点的图像中，将一幅图像上的特征点与该图像的相机光心相连接，另一幅图像也进行相同的操作，在三维世界中相交于一点，该点就是被测物体表面的特征点，进而得到特征在三维空间点中的坐标。
3.根据权利要求2所述的一种基于多视觉动态环境重建和测量方法，其特征在于，若真实的三维世界的特征点与估算的三维世界的特征点存在重投影误差，则采用集束调整法，通过利用求解出来的三维空间点坐标和计算出来的相机矩阵进行二次投影，调整参数，最小化重投影误差，使得三维空间点上特征点所发射出来的光线能通过成像平面并交于光心。
4.根据权利要求1所述的一种基于多视觉动态环境重建和测量方法，其特征在于，步骤(2)中，稀疏重建采用增量式sfm重建方法，稠密重建时，将稀疏重建时估算的相机坐标和重建的图像序列作为输入，通过pmvs重建带有颜色信息的稠密点云，pmvs重建时，将图像分为大小β×β的图片小块ci(x,y)，i表示是第i张图片，x,y代表图像小块的下标，每个图片小块都与一个面片p对应，通过初始化特征匹配、面片扩散和面片过滤三部分实现pmvs重建。
5.根据权利要求4所述的一种基于多视觉动态环境重建和测量方法，其特征在于，初始化特征匹配具体过程为：将三维坐标点按照距离相机中心的远近进行排序，并以这些点为面片中心重建稀疏三维面片，再以这些面片作为种子面片，通过一对匹配的特征点建立面片的中心点和指向相机光心的单位向量，计算面片法线与面片到光线之间夹角，当夹角小于预设值时，加入到图像存在面片的集合中，如果图像集合中的元素大于预先所设定的阈值，把满足条件的图片小块加入到面片集合中。
6.根据权利要求5所述的一种基于多视觉动态环境重建和测量方法，其特征在于，面...
【专利技术属性】
技术研发人员：陈旭雯，梁冬泰，张翔，祖洪飞，
申请(专利权)人：浙江谱麦科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。