基于一组点云传感器的实时动态三维建模方法及系统技术方案

本发明专利技术公开了一个基于一组点云传感器的实时动态三维建模方法及系统。该系统在区域中部署一组搭载点云传感器且可移动的数据采集端，从不同视角扫描区域的三维结构信息，并无线传输到聚合服务器；聚合服务器将来自不同视角的点云序列实时聚合到统一的坐标系下，形成动态点云模型。本发明专利技术设计了数据采集端的高效预处理范式，与聚合服务器的多视角点云实时聚合算法。具体地，数据采集端利用视觉惯性里程计与位姿插值估计帧间位姿变化，并利用基于深度图的离群点检测算法剔除离群点，在位交叉预编码后，由编码算法生成流数据；聚合服务器接收并解码流数据，重建出扫描点云序列，利用基于点云配准与位姿增量的实时多视角点云聚合算法构建全局点云序列。算法构建全局点云序列。算法构建全局点云序列。

【技术实现步骤摘要】
基于一组点云传感器的实时动态三维建模方法及系统


[0001]本申请涉及一种动态三维建模系统，具体是一种基于一组点云传感器的实时动态三维建模方法及系统。

技术介绍

[0002]计算机的三维建模技术是利用算法分析现实对象的二维图像或三维扫描数据，从而建立该对象的数字三维模型的方法，通常包括数据采集、点云构建、模型渲染等步骤。根据建模结果的不同，三维建模技术可以分为静态建模与动态建模。
[0003]目前的动态三维建模方法大致可分为两类，一是基于若干固定的点云传感器的动态场景建模技术，二是基于若干固定或移动的点云传感器的人体动作捕捉技术。这些方法或是要求点云传感器的位姿固定，间接限制了建模场景的选取与系统的可扩展性，或是依赖于对于人体或其他特定建模对象的先验知识，而无法应对复杂的建模场景。因此，现有方法均不具备对于大规模场景的动态三维建模能力。
[0004]经过对现有技术的检索发现，中国专利文献号CN115205489A公开日20221018，公开了一种大场景下的三维重建方法，包括：通过RGB图像采集设备获取重建目标的图像数据，并进行预处理；对图像进行检索和匹配，并计算每张图像的特征点，同时对特征点进行匹配；计算每张图像对应的相机位姿；根据图像和对应相机位姿获得场景的稠密点云中间模型；对三维点云模型进行后处理，最终得到三维重建网格模型。但该现有技术与本专利技术相比，仅能实现静态的模型构建，并且需要较长的后处理时间，难以满足紧急任务的需求。

技术实现思路

[0005]针对现有技术存在的上述不足，本专利技术提出一种基于一组点云传感器的实时动态三维建模方法及系统，基于全局相对位姿估计与增量估计的思路，结合点云配准算法与视觉惯性里程计算法，并且解决无线链路下的点云数据实时传输问题，实现多个可移动点云传感器的信息聚合及动态场景的三维建模。
[0006]本专利技术是通过以下技术方案实现的：
[0007]本专利技术涉及一种基于一组点云传感器的实时动态三维建模方法，多台可移动的点云传感器从不同视角获取区域场景的三维结构数据，使用一种快速离群点去除方法处理后，再利用编码传输将数据发往聚合服务器；聚合服务器获得来自多个视角的扫描点云与位姿变化数据，利用一种基于点云配准与位姿增量估计的算法将其实时聚合到统一坐标系下，形成区域的全局动态点云模型，并实时更新到显示窗口。
[0008]本专利技术还涉及一种实现上述方法的系统，包括多个数据采集端与一个聚合服务器。
[0009]所述的数据采集端可以自由移动，由点云传感器(机械式激光雷达、Flash式固态激光雷达或深度相机)、集成式可见光相机、集成式惯性测量单元、数据传输模块与移动计算机组成，其中：点云传感器利用飞行时间法(ToF)测量环境的三维结构，得到包含局部三
维信息的深度图；可见光相机记录场景的RGB图像；惯性测量单元输出自身的惯性测量数据(加速度与角速度)；移动计算机收集上述数据，根据RGB图像与惯性测量数据，利用视觉惯性里程计与位姿插值方法估计点云传感器的帧间位姿变化，并利用快速离群点去除方法与位交叉的预编码处理深度图；数据传输模块将深度图序列、RGB图像序列与位姿变化数据序列通过编码传输发送到聚合服务器。
[0010]所述的聚合服务器包括数据接收模块、点云构建模块、全局点云聚合模块与显示模块，其中：数据接收模块接收并解码来自多个数据采集端的流数据，得到相应的深度图序列、RGB图像序列与位姿变化数据序列；点云构建模块根据提前标定的点云传感器内部参数，将深度图序列与RGB图像序列转换为扫描点云序列；全局点云聚合模块利用基于点云配准与位姿增量估计的实时聚合算法，将不同视角的扫描点云序列实时地聚合为唯一的全局点云序列；显示模块则将全局点云序列显示在聚合服务器的屏幕窗口中，形成全局动态点云模型。技术效果
[0011]本专利技术所揭示的从未被公开的技术手段包括：一种基于深度图的快速点云离群点检测算法；一种位交叉的预编码方法，用于将深度图处理为视频编码算法可处理的8比特图像格式；一种基于点云配准与位姿增量的实时多视角点云聚合算法。
[0012]上述技术手段所带来的从未被公开的技术效果是：数据采集端的所得到的深度图序列、RGB图像序列与位姿变化数据序列能够实时传输到聚合服务器，且聚合服务器能够实时地将不同视角的扫描点云聚合为唯一的全局点云模型。
附图说明
[0013]图1为本专利技术流程图；
[0014]图2为基于深度图的离群点去除算法示例图；
[0015]图3为位交叉的深度图预编码示意图；
[0016]图4为全局点云聚合示例图。
具体实施方式
[0017]如图1所示，为本实施例涉及的一种基于一组点云传感器的实时动态三维建模方法，具体包括：
[0018]步骤1)数据采集端的部署与数据采集。在建模区域内部署多个数据采集端，围绕其中所设置的兴趣点运动，并扫描获取场景的三维结构。在每个数据采集端上，移动计算机从点云传感器、可见光相机与惯性测量单元分别获取相应的传感数据。
[0019]步骤2)数据采集端的基于视觉惯性里程计与插值方法的位姿估计，具体包括：
[0020]2.1)移动计算机将所获取的RGB图像序列与惯性测量数据序列输入到视觉惯性里程计模块。所述的视觉惯性里程计仅计算并输出其中的关键RGB帧的运动估计结果，包括：位置向量p、速度向量v及姿态四元数q。不同的视觉惯性里程计算法有着不同的关键帧选取策略，但通常两个相邻关键帧之间只会相隔较短的时间。
[0021]2.2)利用插值方法计算相邻关键帧之间其他图像帧的位姿数据，具体为：
[0022]设相邻关键帧的时间戳分别为T
i
与T
i+1
，需要计算的非关键帧的时间戳为t(T
i
＜t
＜T
i+1
)。
[0023]2.2.1)利用三次埃尔米特插值法，基于相邻关键帧的位置与速度计算非关键帧的位置向量p(t)，具体包括：
[0024]设视觉惯性里程计模块输出的关键帧位置向量为p
i
与p
i+1
，速度向量为v
i
与v
i+1
。首先计算插值基函数与则非关键帧的位置向量为p(t)＝α0(t)
·
p
i
+α1(t)
·
p
i+1
+β0(t)
·
v
i
+β1(t)
·
v
i+1
，其中t满足T
i
＜t＜T
i+1
。
[0025]2.2.2)利用四元数的球面线性插值法，基于相邻关键帧的姿态计算非关键帧的姿态估计q(t)，具体包括：
[0026]设视觉惯性里程计模块输出的关键帧姿态四元数为q
i
与q
i+1
。若姿态四元数为则对应的旋转矩阵为可得两个关键帧的四元数所对应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于一组点云传感器的实时动态三维建模方法及系统，其特征在于，所述方法包括：在建模区域内，部署一组搭载点云传感器且可移动的数据采集端，分别从不同视角持续扫描环境的三维信息，即深度图序列；每个数据采集端同时利用集成式可见光相机拍摄场景的RGB图像，并采集集成式惯性测量单元的惯性测量数据，用于基于视觉惯性里程计与插值方法的位姿变化估计；数据采集端的移动计算平台使用基于深度图的快速点云离群点去除算法实时处理每个深度图，并利用位交叉的深度图预编码方法对其进行处理，将其转换为硬件编码算法可接受的8比特灰度图像；数据采集端通过无线链路，将编码后的深度流数据、RGB流数据、位姿变化数据实时传输到一台聚合服务器；聚合服务器从深度流与中解码得到深度图序列与RGB图像序列，利用预先标定的点云传感器内参重建出扫描点云序列，并且拥有有每帧扫描点云的位姿变化估计；聚合服务器利用时间戳对齐来自不同数据采集端的点云序列，得到点云集序列，每个点云集内为来自不同数据采集端的时刻相近的扫描点云；对于这个点云集序列，聚合服务器利用基于点云配准与位姿增量的实时多视角点云聚合算法构建全局点云序列；聚合服务器得到每个点云集内所有点云的相对位姿，即可将这些点云转换到统一的坐标系下，形成该时刻的场景的全局点云；利用点云集序列构建的一系列全局点云，能够以动态点云模型的形式呈现给使用者。2.根据权利要求1所述的方法，其特征在于，所述的基于视觉惯性里程计与插值方法的位姿变化估计，包括：数据采集端将RGB图像帧序列惯性测量数据输入到视觉惯性里程计模块中，得到关键RGB帧的位姿估计；对于非关键RGB图像帧的位姿，基于其前后关键帧的位姿估计结果，利用插值方法计算得到，其中，使用三次埃尔米特插值计算位置向量，并使用球面线性插值计算姿态四元数；通过对齐RGB图像与扫描点云的时间戳，可以得到扫描点云...

【专利技术属性】
技术研发人员：郑臻哲，王靖楠，吴帆，陈贵海，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：