一种水上交通环境中雷达点云与影像数据的融合方法技术

本发明专利技术涉及多传感器融合技术领域，公开了一种水上交通环境中雷达点云与影像数据的融合方法。首先，对影像数据进行预处理，包括将相机采集到的影像数据，生成对应的二值化影像数据；通过高斯滤波算法进行降噪处理；利用最大类间方差法进行影像分割；通过Canny算法进行边缘提取；然后，对点云数据进行格式转换和3DTiles金字塔空间结构切片；最后，通过提取影像数据特征明显的角点以及对应的点云数据角点，构建匹配目标函数，并利用最小二乘法求解目标函数，得到融合矩阵，同时利用设计的自反馈调节，可以减小相较于标定算法所带来的误差，使融合结果更加精确。通过可视化的方式，将融合结果呈现出来，获得目标的三维完备信息。

【技术实现步骤摘要】
一种水上交通环境中雷达点云与影像数据的融合方法
本专利技术涉及多传感器融合
，具体涉及一种水上交通环境中雷达点云与影像数据的融合方法。
技术介绍
对于水面船舶的研究，近年来逐渐被重视。激光雷达、遥感卫星、电子海图、视频传感器等是船舶环境感知系统的主要元素。在船舶环境感知方面，主要有三类感知方法：雷达感知、视觉感知、声呐感知。雷达能够探测长远距离物体，拥有测距能力，可以全天候工作，但是分辨率比较低，并且在水上由于环境复杂多变，检测准确率比较低；视觉感知分辨率比较高，可以获取到物体丰富的特征，只能近距离探测，并且无测距能力，实时性较差；声呐感知主要是用来探测水下的物体，在水面上的应用相对较少。因而对于水上近距离航行环境研究，激光雷达和相机的融合是一个重要的研究方向。近年来，随着科技不断进步，尽管单一传感器的技术也越来越发达，但是对于海上环境的复杂情况，单个传感器的作用有限，所获取到的数据会因为环境影响造成较大的误差，不能保证船舶在航行时的安全。针对该问题，目前采用的方法是：利用电子海图或者其他的船载设备并结合驾驶员的经验来进行目标判别。但是，这种方式通常借助单一传感器来收集信息，将会导致信息的不完备，从而影响驾驶员目标判别的准确性，不能及时作出应对措施，导致海上交通事故的发生，造成严重的损失。与单一的传感器相比，多传感器融合能够增加目标判别的准确性，同时减少数据歧义。多传感器在探测时，对于空间范围以及数据类型，都有了一定的扩展，因而获取的目标物体信息更加丰富，特征更加多样，描述更加全面，因此成为当今研究发展的一个趋势。
技术实现思路
针对上述问题本专利技术提供了一种水上交通环境中雷达点云与影像数据的融合方法。为了达到上述目的，本专利技术采用了下列技术方案：本专利技术提供一种水上交通环境中雷达点云与影像数据的融合方法，包括以下步骤：步骤1，图像数据预处理：包括将相机采集到的影像数据，生成对应的二值化影像数据；通过高斯滤波算法进行降噪处理；为凸显目标区域，利用最大类间方差法进行影像分割；通过Canny算法进行边缘提取；步骤2，点云数据生成与组织：为了满足数据融合平台的数据传输以及渲染的效率，对点云数据进行格式转换和3DTiles金字塔空间结构切片；步骤3，影像像素地理位置标定：通过已知的影像分辨率大小和对应地理空间中的经纬度范围，利用线性插值方法计算影像像素的经纬度位置；步骤4，基于最小二乘方法，构建匹配目标函数并求解融合矩阵；步骤5，自反馈调整点云模型和影像的角度误差：由于最小二乘方法的计算误差属性，经过融合矩阵变换的点云数据和影像数据仍存在融合误差。进而为了达到更精确的融合效果，通过比较点云数据轴线向量和对应影像边线向量所构成的夹角与设定阈值的大小，迭代式构造匹配矩阵，进行自反馈调节，减小误差；步骤6，融合结果可视化：将最终的融合结果通过三维可视化平台Cesium展示，获得融合结果的可视化。进一步，所述步骤1中二值化影像数据生成的过程为：利用加权平均的方法对影像进行灰度化处理，所述加权平均方法计算如下：Gray(i,j)＝Wr*R(i,j)+Wg*G(i,j)+Wb*B(i,j)(1)式中，Wr，Wg，Wb分别为三个通道的权重，R(i,j)，G(i,j)，B(i,j)分别为影像像素点(i,j)的R、G、B三通道的颜色值，根据重要相关程度不同，赋予不同的权值；所述步骤1中高斯滤波降噪处理的过程为：采用均值为0的二维高斯滤波器，卷积窗口大小为(2K+1)*(2K+1)，其中(2K+1)为高斯核径向值；K为可调节参数，取值为非零正整数。将待处理图像与模板进行迭代卷积，遍历整幅图像，从而实现对整幅图像的加权平均，模板中某位置(i，j)处的像素值为：其中，σ为方差待调参数，f(i,j)为像素点(i,j)处的像素值。所述步骤1中利用最大类间方差法进行影像分割的具体过程为：采用最大类间方差法区分后景和前景，设影像的灰度级为I，I的取值范围为1～255。T为分割前景和后景的灰度值，该值将图像区分为前景[1,2,3,...,T]和后景[T+1,...,I]，确定T值的计算方法如下：前景概率：前景平均灰度：后景概率：后景平均灰度：影像全局灰度均值为：f(T)＝p1*(μ1-μ)2+p2*(μ2-μ)2。其中，表示各灰度值i的概率，ni表示灰度值为i的像素点数，W表示影像总像素点数，f(T)为类间方差，当该值最大时，此时的T为最佳阈值。所述步骤1中通过Canny算法进行边缘提取的步骤包括：步骤5.1，计算梯度幅值和方向，求像素点的局部最大值，其中梯度的模长为：方向为：θ＝atan2(Lx,Ly)(4)式中，Lx，Ly代表的是水平和垂直两个方向的差分，θ的取值为[-π,π]；步骤5.2，通过比较像素点灰度值和设定的强、弱边缘阈值的大小，确定是否为边缘，若梯度值大于强边缘阈值，则认为该像素点是强边缘点，将该像素点识别为边缘信息；若梯度值在强边缘阈值和弱边缘阈值之间，则认为该像素点是弱边缘点，保留该像素点；若梯度值小于弱边缘阈值，则抑制该像素点。进一步，所述步骤2中对点云数据进行3DTiles金字塔空间结构切片具体包括以下步骤：步骤2.1，确定深度参数d和复杂度n：d表示切分的最大层数，n表示单个瓦片的最小复杂度；步骤2.2，当切分层数超过d或者单个瓦片复杂度小于n时，切分停止；步骤2.3，计算包含所有的几何体的包围盒，然后将包围盒等分成4或8个子包围盒；步骤2.4，利用上述切分步骤，对每一个子包围盒进行切分，切片结束后，按照瓦片集数据tileset.json和瓦片数据的格式存储在文件系统中。进一步，所述步骤3中利用线性插值方法计算影像像素的经纬度位置的步骤如下：步骤3.1，根据实验数据中心点进行位置区域定位；步骤3.2，根据定位的范围，计算影像数据所在的经度差K，纬度差L；影像数据的分辨率为h×w，即影像的高度h，宽度w；设选取的像素坐标为(u,v)，(α0,β0)为分别为瓦片起始点(0,0)经度和纬度，则像素坐标和对应的经纬度关系为进一步，所述步骤4的具体过程为：步骤4.1，选取经过步骤1影像数据处理和步骤3位置标定后得到影像二值化数据角点，得到3行N列的矩阵A；步骤4.2，选取N组点云数据角点，得到2行N列的矩阵B；步骤4.3，根据矩阵A和矩阵B建立匹配目标函数，式中，{εij|i∈(1,2),j∈(1,...,N)}为随机误差，{(xri,yri,zri)|i∈(1,...,N)}为点云数据的笛卡尔坐标，{(xci,yci,zci)|i∈(1,...,N)}为影像数据点的笛卡尔坐标；d1、d2、d3、d4、d5、d6为所求矩阵D的元素步骤4.4，计算矩阵A的广义逆矩阵C，得到融合矩阵D＝B*C。进一步，所述步骤5中自本文档来自技高网...

【技术保护点】
1.一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，包括以下步骤：/n步骤1，图像数据预处理：包括将相机采集到的影像数据，生成对应的二值化影像数据；通过高斯滤波算法进行降噪处理；利用最大类间方差法进行影像分割；通过Canny算法进行边缘提取；/n步骤2，点云数据生成与组织：对点云数据进行格式转换和3DTiles金字塔空间结构切片；/n步骤3，影像像素地理位置标定：通过已知的影像分辨率大小和对应地理空间中的经纬度范围，利用线性插值方法计算影像像素的经纬度位置；/n步骤4，基于最小二乘方法，构建匹配目标函数并求解融合矩阵；/n步骤5，自反馈调整点云模型和影像的角度误差：通过比较点云数据轴线向量和对应影像边线向量所构成的夹角与设定阈值的大小，迭代式构造匹配矩阵，进行自反馈调节，减小误差；/n步骤6，融合结果可视化：将最终的融合结果通过三维可视化平台Cesium展示，获得融合结果的可视化。/n

【技术特征摘要】
1.一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，包括以下步骤：
步骤1，图像数据预处理：包括将相机采集到的影像数据，生成对应的二值化影像数据；通过高斯滤波算法进行降噪处理；利用最大类间方差法进行影像分割；通过Canny算法进行边缘提取；
步骤2，点云数据生成与组织：对点云数据进行格式转换和3DTiles金字塔空间结构切片；
步骤3，影像像素地理位置标定：通过已知的影像分辨率大小和对应地理空间中的经纬度范围，利用线性插值方法计算影像像素的经纬度位置；
步骤4，基于最小二乘方法，构建匹配目标函数并求解融合矩阵；
步骤5，自反馈调整点云模型和影像的角度误差：通过比较点云数据轴线向量和对应影像边线向量所构成的夹角与设定阈值的大小，迭代式构造匹配矩阵，进行自反馈调节，减小误差；
步骤6，融合结果可视化：将最终的融合结果通过三维可视化平台Cesium展示，获得融合结果的可视化。


2.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤1中二值化影像数据生成的过程为：利用加权平均的方法对影像进行灰度化处理，所述加权平均方法计算如下：
Gray(i,j)＝Wr*R(i,j)+Wg*G(i,j)+Wb*B(i,j)(1)
式中，Wr，Wg，Wb分别为三个通道的权重，R(i,j)，G(i,j)，B(i,j)分别为影像像素点(i,j)的R、G、B三通道的颜色值，根据重要相关程度不同，赋予不同的权值。


3.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤1中高斯滤波降噪处理的过程为：采用均值为0的二维高斯滤波器，卷积窗口大小为(2K+1)*(2K+1)，其中(2K+1)为高斯核径向值，K为可调节参数，取值为非零正整数，将待处理图像与模板进行迭代卷积，遍历整幅图像，从而实现对整幅图像的加权平均，模板中某位置(i，j)处的像素值为：



其中，σ为方差待调参数，f(i,j)为像素点(i,j)处的像素值。


4.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤1中利用最大类间方差法进行影像分割的具体过程为：
采用最大类间方差法区分后景和前景，设影像的灰度级为I，I的取值范围为1～255，T为分割前景和后景的灰度值，该值将图像区分为前景[1,2,3,...,T]和后景[T+1,...,I]，确定T值的计算方法如下：
前景概率：前景平均灰度：
后景概率：后景平均灰度：
影像全局灰度均值为：f(T)＝p1*(μ1-μ)2+p2*(μ2-μ)2，
其中，表示各灰度值i的概率，ni表示灰度值为i的像素点数，W表示影像总像素点数，f(T)为类间方差，当该值最大时，此时的T为最佳阈值。


5.根据权利要求1所述的一种水上交通环境中雷达点云与影像数据的融合方法，其特征在于，所述步骤1中通过Canny算法进行边缘提取的步骤包括：
步骤5.1，计算梯度幅值和方向，求像素点的局部最大值，其中梯度的模长为：



方向为：θ＝atan2(Lx,Ly)(4)
式中，Lx，Ly代表的是水平和垂直两个方向的差分，θ的取值为[-π,π]；
步骤5.2，通过比较像素点灰度值和设定的强、弱边缘阈值的大小，确定是否为边缘，若梯度值大于强边缘阈...

【专利技术属性】
技术研发人员：刘涛，李帅，雷正玲，孟威，高进，闫化然，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：上海;31