一种带尺度测量的VR图生成方法及数据采集装置制造方法及图纸

本发明专利技术涉及一种带尺度测量的VR图生成方法及数据采集装置，该方法包括步骤：S1、使用数据采集装置采集VR全景图、三维激光点集合，使得VR全景图的每个角度的像素都能找到对应的三维激光点；S2、生成局部点云地图；S3、根据VR全景图、局部点云地图，生成可进行尺度测量的深度图。本发明专利技术设计出一套轻便的数据采集装置，可操作性强；实现点云数据与VR全景图的融合；实现了VR全景图中尺度的测量。

【技术实现步骤摘要】
一种带尺度测量的VR图生成方法及数据采集装置
本专利技术涉及VR
，尤其涉及一种带尺度测量的VR图生成方法及数据采集装置。
技术介绍
近些年VR技术发展迅猛，在房地产行业它被用于在线看房，在刑侦行业它被用于案发场景的还原，在游戏行业用于增加游戏的真实感等等。但由于VR是基于全景相机来采集，缺乏环境的尺度信息，使得该技术在上述的某些行业的应用受到了很大的制约，特别是对刑侦行业。在刑侦行业，案发现场的还原是破案的关键，当前通过VR技术虽然能获取案发现场的场景信息，但无法获取尺度信息，因此对于像脚印的大小、脚印之间的距离、血迹的大小、凶器距离目标物体多远等关键的破案信息都无法有效获取，必须通过人力去测量，费时费力，而且保留的数据多，容易出现纰漏，如果后续有新人来接替先前案例，继续探索下去，对于这些数据的查找与整理也是个不小的任务。再比如在房地产行业，客户在线看房的时候，只能看到环境的场景信息，无法有效的获取每个房间、每扇窗等的尺度信息，导致客户不能真实的了解房源信息。现有的VR技术主要用于获取环境的场景信息，不带尺度信息。因此在刑侦、房地产等行业不能提供全面的环境信息，导致VR技术的使用受到了很大的限制。
技术实现思路
本专利技术正是针对上述缺点，设计了一种基于数据采集装置，在获取环境的VR全景信息的同时获取环境的三维尺度信息，然后将VR全景信息与三维尺度信息结合，实现尺度VR全景图的生成和对全景图中物体尺度的测量。为实现上述目的，本专利技术的具体技术方案如下：首先本专利技术设计一种数据采集装置，其包括：全景VR相机、三维激光雷达、三角支架、转台、步进电机，所述全景VR相机设置在三角支架顶部，所述转台上搭载三维激光雷达设置在三角支架上，该转台由步进电机驱动。本专利技术基于上述数据采集装置，提供一种带尺度测量的VR图生成方法，包括如下步骤：S1、使用数据采集装置采集VR全景图、三维激光点集合，使得VR全景图的每个角度的像素都能找到对应的三维激光点；S2、生成局部点云地图；S3、根据VR全景图、局部点云地图，生成可进行尺度测量的深度图。进一步地，所述步骤S1中，使得VR全景图的每个角度的像素都能找到对应的三维激光点的方法如下：选定步进电机的速度和确定步进电机旋转时间，其中：步进电机速度计算公式如下：vM＝360÷W÷fl(1)式中W为VR全景图的水平方向像素，f1为三维雷达的更新频率；通过此公式可有效保证三维激光雷达转过的角度对应的全景图像素都能找到对应的三维激光点；步进电机旋转角度计算公式如下：tM＞360/vm(2)式中tM为电机旋转持续时间，该时间可有效保证三维雷达旋转超过360度，从而保证VR全景图的每个角度的像素都能找到对应的三维激光点。优选地，所述步骤S2生成局部点云地图的方法如下：S21、将第一帧转角θ0作为参考角度，将此时转台的位姿设置为固定坐标系，位姿设置为固定坐标系，也即局部点云地图的坐标系原点，后续所有点云都是基于这个参考坐标系拼接到局部点云地图中；S22、进行当前帧点云与转角帧时间戳的对齐，以保证转角和当前帧点云同时获取；S23、根据当前转角与参考转角之间的关系确定当前雷达帧与固定坐标系之间的转换关系，如下公式所示：式中θt为当前转角帧转角，Tt为当前雷达帧与固定坐标系之间的旋转矩阵；在获取到旋转矩阵之后，将当前点云帧转换到固定坐标系下，转换方法如下：(pfxpfypfz)T＝Tt*(pxpypz)T(4)式中(pfx,pfy,pfz)为转换后在固定坐标系下的点的坐标，(px,py,pz)为当前雷达坐标系下点的坐标；S24、根据步骤S23中公式(4)的转换关系可将所有当前雷达帧点云转换到固定坐标系下，然后再将转换后的当前帧点云直接按位置关系拼接到已有的局部点云地图中，最后再循环上述过程，直到电机停止旋转，至此完成完整的局部点云地图。优选地，所述步骤S22中，进行当前帧点云与转角帧时间戳的对齐的具体方法如下：首先将转角容器内的转角帧时间戳与当前雷达帧时间戳进行比较，找出第一个大于当前雷达帧的的转角帧作为当前转角帧，然后再将当前转角帧和当前转角帧上一帧的时间戳与当前雷达帧的时间戳进行比较，选择靠近当前雷达帧的转角帧作为最后使用的当前转角帧。优选地，所述步骤S3中根据VR全景图、局部点云地图，生成可进行尺度测量的深度图像的方法如下：S31、获取局部点云地图坐标与球形VR全景图坐标的映射；S32、获取球形VR全景图坐标与深度图坐标的映射；S33、依据S31、S32间接获取局部点云地图坐标与深度图像坐标之间的映射关系，进行深度图像中深度的附着。进一步地，所述步骤S31中获取局部点云地图坐标与球形VR全景图坐标的映射的方法如下：S311、将点云从步骤S22中固定坐标系转换到相机坐标系下，转换公式如下：(pcxpcypcz)T＝cTf*(pfxpfypfz)T(5)式中(pcx,pcy,pcz)为在相机坐标系下的点，cTf为固定坐标系到相机坐标系的旋转矩阵，该矩阵可直接通过尺子量取固定坐标系和相机坐标系之间的位置关系获得；S312、计算点云中的点在经纬度坐标系下的经纬度，计算公式如下：θlongitude＝atan2(py，px)(6)θlongitude,θlatitude分别为点云在球形经纬度坐标系的经度和纬度。优选地，所述步骤S32中，获取球形VR全景图坐标与深度图坐标的映射的方法如下：S321、球形VR全景图是以经纬度等间隔的划分像素，因此可以将球形全景图展开成二维平面图像，水平方向以等经度间隔划分，竖直方向以等纬度划分。映射关系如下：(cxcy)T(θlongitute÷dlongθlatitude÷dlati)T(8)式中(cx,cy)为二维平面图像的像素坐标，(θlong,θlati)分别为经度方向和纬度方向像素经度。优选地，所述步骤S33中，进行深度图像中深度的附着的方法如下：计算局部点云地图中每个点的深度，计算公式如下：式中r即为所求的深度，将每个点通过上式计算深度并附着到深度图像的每个像素上，实现深度图像点云的附着。优选地，步骤S3中，生成可进行尺度测量的深度图后，对其进行尺度测量的方法如下：S341、像素坐标和深度的获取：点击VR全景图中的两个点，通过公式(8)映射到深度图像中的两个像素坐标，再根据这两个像素坐标读取附着在深度图中这两个像素的深度值；S342、点云的还原：首先根据像素坐标映射到经纬度坐标，如下：(θ′longituteθ′latitude)T＝(c′x*dlongc′y*dlati)T(10)式中(θ’longitude,θ’latitude)为映射的经纬度，(c’x,c’y)为步本文档来自技高网...

【技术保护点】
1.一种数据采集装置，其特征在于，其包括：全景VR相机、三维激光雷达、三角支架、转台、步进电机，所述全景VR相机设置在三角支架顶部，所述转台上搭载三维激光雷达设置在三角支架上，该转台由步进电机驱动。/n

【技术特征摘要】
1.一种数据采集装置，其特征在于，其包括：全景VR相机、三维激光雷达、三角支架、转台、步进电机，所述全景VR相机设置在三角支架顶部，所述转台上搭载三维激光雷达设置在三角支架上，该转台由步进电机驱动。


2.一种带尺度测量的VR图生成方法，其特征在于，包括如下步骤：
S1、使用权利要求1所述的数据采集装置采集VR全景图、三维激光点集合，使得VR全景图的每个角度的像素都能找到对应的三维激光点；
S2、生成局部点云地图；
S3、根据VR全景图、局部点云地图，生成可进行尺度测量的深度图。


3.根据权利要求2所述的带尺度测量的VR图生成方法，其特征在于，所述步骤S1中，使得VR全景图的每个角度的像素都能找到对应的三维激光点的方法如下：
选定步进电机的速度和确定步进电机旋转时间，其中：
步进电机速度计算公式如下：
vM＝360÷W÷fl(1)
式中W为VR全景图的水平方向像素，f1为三维雷达的更新频率；通过此公式可有效保证三维激光雷达转过的角度对应的全景图像素都能找到对应的三维激光点；
步进电机旋转角度计算公式如下：
tM＞360/vm(2)
式中tM为电机旋转持续时间，该时间可有效保证三维雷达旋转超过360度，从而保证VR全景图的每个角度的像素都能找到对应的三维激光点。


4.根据权利要求3所述的带尺度测量的VR图生成方法，其特征在于，所述步骤S2生成局部点云地图的方法如下：
S21、将第一帧转角θ0作为参考角度，将此时转台的位姿设置为固定坐标系，位姿设置为固定坐标系，也即局部点云地图的坐标系原点，后续所有点云都是基于这个参考坐标系拼接到局部点云地图中；
S22、进行当前帧点云与转角帧时间戳的对齐，以保证转角和当前帧点云同时获取；
S23、根据当前转角与参考转角之间的关系确定当前雷达帧与固定坐标系之间的转换关系，如下公式所示：



式中θt为当前转角帧转角，Tt为当前雷达帧与固定坐标系之间的旋转矩阵；
在获取到旋转矩阵之后，将当前点云帧转换到固定坐标系下，转换方法如下：
(pfxpfypfz)T＝Tt*(pxpypz)T(4)
式中(pfx,pfy,pfz)为转换后在固定坐标系下的点的坐标，(px,py,pz)为当前雷达坐标系下点的坐标；
S24、根据步骤S23中公式(4)的转换关系可将所有当前雷达帧点云转换到固定坐标系下，然后再将转换后的当前帧点云直接按位置关系拼接到已有的局部点云地图中，最后再循环上述过程，直到电机停止旋转，至此完成完整的局部点云地图。


5.根据权利要求4所述的带尺度测量的VR图生成方法，其特征在于，所述步骤S22中，进行当前帧点云与转角帧时间戳的对齐的具体方法如下：
首先将转角容器内的转角帧时间戳与当前雷达帧时间戳进行比较，找出第一个大于当前雷达帧的的转角帧作为当前转角帧，然后再将当前转角帧和当前转角帧上一帧的时间戳与当前雷达帧的时间戳进行比较，选择靠近当前雷达帧的转角帧作为最后使用的当前转角帧。


6.根据权利要求5所述的带尺度测量的VR图生成方法，其特征在于，所述步骤S3中根据VR全景图、局部点云地图，生成可进行尺度测量的深度图像的方法如下：
S31、获取局部点云地图坐标与球形VR全景图...

【专利技术属性】
技术研发人员：陈诺，洪涛，卢雄辉，欧阳若愚，
申请(专利权)人：深圳无境智能机器人有限公司，
类型：发明
国别省市：广东;44