一种在全景环视系统中实现视图随动的方法、装置及介质制造方法及图纸

本发明专利技术提供了一种在全景环视系统中实现视图随动的方法、装置及介质，其能够实现3D视图随方向盘实时转角进行转动的效果，辅助用户观察车周是否有障碍物，对全景环视系统的摄像头进行标定，获摄像头的内外参数；构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。

【技术实现步骤摘要】
一种在全景环视系统中实现视图随动的方法、装置及介质
本专利技术涉及一种辅助驾驶和图像处理领域，特别涉及一种在全景环视系统中实现视图随动的方法、装置及介质。
技术介绍
随着中国经济的蓬勃发展以及人民生活水平的日益提升,汽车如同几年前的手机一样走进了千家万户。虽然近年来国内交通事故数量逐年下降,但是汽车数量的不断增加也给交通安全的保障带来了不小的挑战。除了交通法规的完善以及人们交通安全意识的提升,各类驾驶辅助系统也在一定程度上降低了交通事故的发生几率。其中，全景环视系统是使用最广泛的辅助驾驶技术之一，它可以让驾驶员对汽车四周情况一目了然。现有的全景环视系统功能较为单一，其只能简单反应当前时刻汽车四周的景象，并不能支持在汽车四周的景象的全景图选择视角，进行特定视角下的3D视图的展示，同时也不能根据当前的行驶状况，同步调整3D视图的角度，不利于驾驶员观察一些细节的环境情况，难以观察车辆周围是否有障碍物；同时也不能根据当前的行驶状况，预测汽车运行时将要路过的区域。
技术实现思路
针对上述问题，本专利技术提供了一种在全景环视系统中实现视图随动的方法、装置及介质，其能够实现3D视图随方向盘实时转角进行转动的效果，辅助用户观察车周是否有障碍物。其技术方案是这样的：一种在全景环视系统中实现视图随动的方法，其特征在于，包括以下步骤：步骤1：对全景环视系统的摄像头进行标定，获摄像头的内外参数；步骤2：构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；步骤3：根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。进一步的，还包括以下步骤：步骤4：获取车辆的转弯角度，结合转弯角度和车辆的参数信息计算得到车辆的轨迹线起点的转弯半径和初始转弯角度；步骤5：计算轨迹线上点在世界坐标系下的坐标；步骤6：根据3D视图中像素和实际距离的比例关系，计算轨迹线上点在3D视图上的图像坐标；步骤7：根据轨迹线上点的图像坐标，在3D视图上绘制轨迹线。进一步的，还包括以下步骤：步骤8：当方向盘的转角度发生变化时，根据变化后的方向盘的旋转角度，重复执行步骤3至步骤7，更新3D视图和轨迹线。进一步的，在步骤1中，实时采集全景环视系统的前、后、左、右视摄像头所摄图像，对采集到的图像进行标定，获取前、后、左、右视摄像头的内外参数，获取摄像头的内参包括相机焦距、畸变参数、变换矩阵；获取摄像头的外参包括摄像头的坐标位置以及以光轴为中心的旋转角、横向摆角、纵向俯仰角度。进一步的，在步骤2中，构建的3D投影模型为碗模型，碗模型包括多层椭圆，根据椭圆方程，可以计算出每层椭圆上的世界坐标(x,y,z)，世界坐标系以汽车中心向地面的投影为原点，平面内向右为X轴正方向，平面内向上为Y轴正方向，垂直于X轴和Y轴所在平面竖直向上为Z轴正方向，同一层椭圆上点的z坐标是一样的，具体公式表示为：z＝(c×h2)/d其中，a，b是每层椭圆的长短半径，是角度，取值范围为0°-360°，H为非地面椭圆层的层数，c，d是经验设定参数；采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图。进一步的，在步骤3中，具体包括以下步骤：对应3D全景图中能够选取的视角，设定能够获得3D视图的相机坐标，相机坐标根据经验调试得到；在3D全景图选择视角，得到对应的3D视图；设定视角参数，视角参数包括视角瞄准方向的参考点坐标，表示为(objx，objy，objz)，设定方向盘转角α，方向盘转角α与视角参数的关系表示为：其中，e取决于初始视角，f取决于视图的可视范围；根据方向盘转角α与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。在步骤4中，获取的车辆的参数信息包括车辆的长度、宽度、前悬、后悬、轴距，通过如下公式计算轨迹线起点的转弯半径：R＝轴距/tan(θ)LH＝前悬+轴距+D1LW＝R+VW/2+D2LR＝sqrt(LH·LH+LW·LW)其中，R为车辆转弯半径，θ为车辆的转弯角度；LH为轨迹线起点到转弯原点的纵向距离，D1轨迹线起点到车身的纵向盲区距离；LW为轨迹线起点到转弯原点的横向距离，VL为车辆长度，VW为车辆宽度，D2为轨迹线起点到车身的横向盲区距离；LR为轨迹线起点的转弯半径；通过如下公式计算初始转弯角度：Lθ＝asin(LH/LR)其中，Lθ为轨迹线起点的转弯初始角度，asin为计算反正弦的函数。进一步的，在步骤5中，计算轨迹线上点在世界坐标系下的坐标具体如下：在以汽车转弯原点为原点，轨迹线起点的转弯半径LR为半径的圆弧上，进行坐标点的密集采样，以得到轨迹线上除轨迹线起点以外的点到转弯原点的距离，通过如下公式表示：Lθ’＝Lθ+k·ΔθLH’＝LR·sin(Lθ’)LW’＝LR·cos(Lθ’)其中，Lθ’为轨迹线上除轨迹线起点以外的点的转弯角度，Lθ为轨迹线起点的转弯初始角度，Δθ为角度增量步长，k表示第k个采样点，k为自然数；LH’为轨迹线上除轨迹线起点以外的点到转弯原点的纵向距离，LW’为轨迹线上除轨迹线起点以外的点到转弯原点的横向距离；轨迹线的每个采样点，其在世界坐标系下的坐标(X,Y,Z)计算公式如下：X＝R-LW’Y＝LH’-(前悬+轴距-VL/2)Z＝0其中，LH’为轨迹线上除轨迹线起点以外的点到转弯原点的纵向距离，LW’为轨迹线上除轨迹线起点以外的点到转弯原点的横向距离，VL为车辆长度，R为车辆转弯半径。进一步的，步骤6具体包括以下步骤：建立3D视图的图像坐标系，以3D视图的左上第一个像素为原点，建立包括V轴和U轴的坐标系，平面内向下为U轴正方向，平面内向右为V轴正方向；轨迹线上的采样点在3D视图中的图像坐标(U,V)按照如下公式计算：U＝H/2-Y/Y_ratioV＝W/2+X/X_ratio其中，W，H分别为3D视图的宽和高，单位为像素，X_ratio,Y_ratio分别为横向和纵向上像素和实际距离的比例关系，单位为毫米/像素。一种在全景环视系统中实现视图随动的装置，其特征在于，其包括：包括处理器、存储器以及程序；所述程序存储在所述存储器中，所述处理器调用存储器存储的程序，以执行上述的在全景环视系统中实现视图随动的方法。一种计本文档来自技高网...

【技术保护点】
1.一种在全景环视系统中实现视图随动的方法，其特征在于，包括以下步骤：/n步骤1：对全景环视系统的摄像头进行标定，获摄像头的内外参数；/n步骤2：构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；/n步骤3：根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。/n

【技术特征摘要】
1.一种在全景环视系统中实现视图随动的方法，其特征在于，包括以下步骤：
步骤1：对全景环视系统的摄像头进行标定，获摄像头的内外参数；
步骤2：构建3D投影模型，获得构建3D投影模型的模型点在世界坐标系下的世界坐标，采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的原图的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图；
步骤3：根据所选视角获得对应的3D视图，设定视角参数，建立方向盘的转角与视角参数的关系，使得所选视角下的3D视图能够根据方向盘转动而转动。


2.根据权利要求1所述的一种在全景环视系统中实现视图随动的方法，其特征在于，还包括以下步骤：
步骤4：获取车辆的转弯角度，结合转弯角度和车辆的参数信息计算得到车辆的轨迹线起点的转弯半径和初始转弯角度；
步骤5：计算轨迹线上点在世界坐标系下的坐标；
步骤6：根据3D视图中像素和实际距离的比例关系，计算轨迹线上点在3D视图上的图像坐标；
步骤7：根据轨迹线上点的图像坐标，在3D视图上绘制轨迹线；
步骤8：当方向盘的转角度发生变化时，根据变化后的方向盘的旋转角度，重复执行步骤3至步骤7，更新3D视图和轨迹线。


3.根据权利要求1所述的一种在全景环视系统中实现视图随动的方法，其特征在于：在步骤1中，实时采集全景环视系统的前、后、左、右视摄像头所摄图像，对采集到的图像进行标定，获取前、后、左、右视摄像头的内外参数，获取摄像头的内参包括相机焦距、畸变参数、变换矩阵；获取摄像头的外参包括摄像头的坐标位置以及以光轴为中心的旋转角、横向摆角、纵向俯仰角度。


4.根据权利要求3所述的一种在全景环视系统中实现视图随动的方法，其特征在于：在步骤2中，构建的3D投影模型为碗模型，碗模型包括多层椭圆，根据椭圆方程，可以计算出每层椭圆上的世界坐标(x,y,z)，世界坐标系以汽车中心向地面的投影为原点，平面内向右为X轴正方向，平面内向上为Y轴正方向，垂直于X轴和Y轴所在平面竖直向上为Z轴正方向，同一层椭圆上点的z坐标是一样的，具体公式表示为：






z＝(c×h2)/d
其中，a，b是每层椭圆的长短半径，是角度，取值范围为0°-360°，H为非地面椭圆层的层数，c，d是经验设定参数；
采集全景环视系统的摄像头所摄图像，通过得到的全景环视系统的摄像头的内外参数计算所摄图像的世界坐标，使用纹理贴图将全景环视系统摄像头所摄图像贴到3D投影模型上，拼接后得到3D全景图。


5.根据权利要求4所述的一种在全景环视系统中实现视图随动的方法，其特征在于：在步骤3中，具体包括以下步骤：
对应3D全景图中能够选取的视角，设定能够获得3D视图的相机坐标，相机坐标根据经验调试得到；
在3D全景图选择视角，得到对应的3D视图；
设定视角参数，视角参数包括视角瞄准方向的参考点坐标，表示为(objx，objy，objz)，设定方向盘转角α，方向盘转角α与视角参数的关系表示为：






其中，e取决于初始视角，f取决于视图的可视范围；
根据方向盘转角α与视...

【专利技术属性】
技术研发人员：赵津津，候欢欢，张会朋，曹建收，
申请(专利权)人：北京茵沃汽车科技有限公司，
类型：发明
国别省市：北京;11