一种环境感知方法技术

本发明专利技术提供了一种环境感知方法，属于自动驾驶技术领域，本发明专利技术的环境感知方法，首先将雷达激光点云数据转换为激光点云伪图像，然后对相机图像进行去除车道线处理和进行光照不变性变换，同时将激光点云伪图像和经预处理的相机图像进行融合拼接，最后根据融合拼接后的图像感知车周围障碍物信息。本发明专利技术在激光雷达的3D感知测距范围广，获取信息量大,定位精度较高等优点的基础上，辅以经过预处理后的相机图像，克服了仅仅基于相机的3D感知技术，在工作时易受到天气和光照的影响，而导致的测量精度低的问题，本发明专利技术有效的利用了各个传感器的优势，可以使车自动驾驶系统提取目标物体的边框更加精准。

【技术实现步骤摘要】
一种环境感知方法
本专利技术属于自动驾驶
，更具体地说，是涉及一种环境感知方法。
技术介绍
在自动驾驶领域,对环境的感知将用于后续的路线规划、障碍物规避等关键性操作,是确保行驶安全的前提。基于图像的2D感知输出2维结果,缺少深度信息,无法直接用于构建立体环境,不满足自动驾驶的要求。因此能够获取三维信息的3D感知成为自动驾驶感知任务中的焦点。现有的感知技术主要是基于双目相机的3D感知技术，基于双目相机的3D感知技术包含有目标物体的距离信息以及丰富的结构信息，但是基于双目相机的3D感知技术在工作时，由于依赖于环境中的自然光线采集图像，对环境光特别敏感，会因为光照角度变化、光照强度等因素的影响，显著降低图像感知的精度。
技术实现思路
本专利技术的目的在于提供一种环境感知方法，旨在解决现有技术中采用基于相机的3D感知技术在工作时易受到天气和光照的影响，而导致的环境感知精度低的问题。为实现上述目的，本专利技术采用的技术方案是：一种环境感知方法，包括：步骤1：获取雷达激光点云数据,根据所述雷达激光点云数据生成激光点云伪图像；步骤2：获取相机图像,对所述相机图像进行去除车道线处理生成去除车道线的相机图像；其中，对所述相机图像进行去除车道线处理公式为：其中，fopen(x,y)表示对相机图像f(x,y)进行开运算，(x,y)表示图像坐标，Θ表示腐蚀操作，表示膨胀操作，b(i,j)表示结构元素，(i,j)表示结构元素坐标；步骤3：根据所述相机图像的形成过程建立图像传感器响应模型；步骤4：根据所述图像传感器响应模型建立对数色度空间模型；步骤5：根据所述对数色度空间模型对所述相机图像进行光照强度不变性变换生成光照不变相机图像；步骤6：将所述激光点云伪图像和所述光照不变相机图像进行串联拼接生成融合后的伪图像；步骤7：对融合后的伪图像采用区域候选网络提取目标物体的边框；步骤8：根据目标物体的边框感知车周围障碍物信息。优选的，所述图像传感器响应模型为：其中，ρk(x,y)表示图像传感器响应模型，σ为常数，I表示光照强度，c1＝3.74183×10-16Wm2，c2＝1.4388×10-2mK，λk表示在k通道的光波长，T表示温度，S(λk,x,y)表示物体表面在k通道的光谱反射函数，qk表示成像传感器在k通道的灵敏度函数，k表示图像的通道，k＝R,G,B。优选的，所述对数色度空间模型为：其中，表示图像传感器在k0通道下的响应模型，ρG表示图像传感器在G通道下的响应模型，表示在k0通道的光波长，S(λk0)表示物体表面在k0通道的光谱反射函数，qk0表示成像传感器在k0通道的灵敏度函数，k0＝R,B，sG＝c1λG-5S(λG)qG，λG表示在G通道的光波长，S(λG)表示物体表面在G通道的光谱反射函数，qG表示成像传感器在G通道的灵敏度函数，优选的，所述步骤5：根据所述对数色度空间模型对所述相机图像进行光照强度不变性变换生成光照不变相机图像，包括：采用公式：Γ＝rR×cosθ+rB×sinθ对所述相机图像进行光照强度不变性变换生成光照不变相机图像；其中，Γ表示光照不变相机图像，rR表示使用R通道变换得到的对数色度空间，rB表示使用B通道变换得到的对数色度空间，θ表示标定的光照不变角，其中，ρR表示图像传感器在R通道下的响应模型，ρG表示图像传感器在G通道下的响应模型，sR＝c1λR-5S(λR)qR，λR表示在R通道的光波长，S(λR)表示物体表面在R通道的光谱反射函数，qR表示成像传感器在R通道的灵敏度函数，sG＝c1λG-5S(λG)qG，λG表示在G通道的光波长，S(λG)表示物体表面在G通道的光谱反射函数，qG表示成像传感器在G通道的灵敏度函数，其中，ρB表示图像传感器在B通道下的响应模型，ρB表示图像传感器在B通道下的响应模型，sB＝c1λB-5S(λB)qB，λB表示在B通道的光波长，S(λB)表示物体表面在B通道的光谱反射函数，qB表示成像传感器在B通道的灵敏度函数，sG＝c1λG-5S(λG)qG，λG表示在G通道的光波长，S(λG)表示物体表面在G通道的光谱反射函数，qG表示成像传感器在G通道的灵敏度函数，优选的，所述步骤6：将所述激光点云伪图像和所述光照不变相机图像进行串联拼接生成融合后的伪图像，包括：步骤6.1：将所述光照不变相机图像进行滤波处理，生成滤波后的光照不变相机图像；步骤6.2：将所述激光点云伪图像与所述滤波后的光照不变相机图像的尺寸和像素变换到一致；步骤6.3：获取权系数；步骤6.4：根据所述权系数将所述激光点云伪图像和所述光照不变相机图像进行串联拼接生成融合后的伪图像。优选的，所述步骤6.1：将所述光照不变相机图像进行滤波处理，生成滤波后的光照不变相机图像，包括：以所述光照不变相机图像中的每个像素为中心取一个邻域，计算邻域中所有像素的灰度平均值，作为中心像素的输出，得到所述滤波后的光照不变相机图像，其中中心像素的输出公式为：其中，G(j,k)表示中心像素，N×N表示邻域，A表示邻域像素组成的点集合，f(x′,y′)表示邻域像素点。优选的，所述步骤6.4：根据所述权系数将所述激光点云伪图像和所述光照不变相机图像进行串联拼接生成融合后的伪图像，包括：将所述激光点云伪图像和所述光照不变相机图像中对应的像素值与所述权系数相乘，得到相乘后的激光点云伪图像像素点和相乘后的光照不变相机图像像素点；将所述相乘后的激光点云伪图像像素点和相乘后的光照不变相机图像像素点相加得到融合后的像素点；根据所述融合后的像素点生成融合后的伪图像。优选的，所述融合后的像素点计算公式为：fbd(xbd,ybd)＝αf1(x1,y2)+βf2(x2,y2)其中，fbd(xbd,ybd)表示融合后的像素点，α表示第一权系数，β表示第二权系数，f1(x1,y1)表示激光点云伪图像像素值，f2(x2,y2)表示光照不变相机图像像素值。本专利技术提供的一种环境感知方法的有益效果在于：与现有技术相比，本专利技术的环境感知方法，首先将雷达激光点云数据转换为激光点云伪图像，然后对相机图像进行预处理，同时将激光点云伪图像和经预处理的相机图像进行融合拼接，最后根据融合拼接后的图像感知车周围障碍物信息。本专利技术在激光雷达的3D感知测距范围广，获取信息量大,定位精度较高等优点的基础上，辅以经过预处理后的相机图像，克服了基于相机的3D感知技术，在工作时易受到天气和光照的影响，而导致的测量精度低的问题，本专利技术有效的利用了各个传感器的优势，可以使车自动驾驶系统提取目标物体的边框更加精准。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对本文档来自技高网...

【技术保护点】
1.一种环境感知方法，其特征在于，包括：/n步骤1：获取雷达激光点云数据,根据所述雷达激光点云数据生成激光点云伪图像；/n步骤2：获取相机图像,对所述相机图像进行去除车道线处理生成去除车道线的相机图像；其中，对所述相机图像进行去除车道线处理公式为：/n

【技术特征摘要】
1.一种环境感知方法，其特征在于，包括：
步骤1：获取雷达激光点云数据,根据所述雷达激光点云数据生成激光点云伪图像；
步骤2：获取相机图像,对所述相机图像进行去除车道线处理生成去除车道线的相机图像；其中，对所述相机图像进行去除车道线处理公式为：



其中，fopen(x,y)表示对相机图像f(x,y)进行开运算，(x,y)表示图像坐标，Θ表示腐蚀操作，表示膨胀操作，b(i,j)表示结构元素，(i,j)表示结构元素坐标；
步骤3：根据所述相机图像的形成过程建立图像传感器响应模型；
步骤4：根据所述图像传感器响应模型建立对数色度空间模型；
步骤5：根据所述对数色度空间模型对所述相机图像进行光照强度不变性变换生成光照不变相机图像；
步骤6：将所述激光点云伪图像和所述光照不变相机图像进行串联拼接生成融合后的伪图像；
步骤7：对融合后的伪图像采用区域候选网络提取目标物体的边框；
步骤8：根据目标物体的边框感知车周围障碍物信息。


2.如权利要求1所述的一种环境感知方法，其特征在于，所述图像传感器响应模型为：



其中，ρk(x,y)表示图像传感器响应模型，σ为常数，I表示光照强度，c1＝3.74183×10-16Wm2，c2＝1.4388×10-2mK，λk表示在k通道的光波长，T表示温度，S(λk,x,y)表示物体表面在k通道的光谱反射函数，qk表示成像传感器在k通道的灵敏度函数，k表示图像的通道，k＝R,G,B。


3.如权利要求2所述的一种环境感知方法，其特征在于，所述对数色度空间模型为：



其中，表示图像传感器在k0通道下的响应模型，ρG表示图像传感器在G通道下的响应模型，表示在k0通道的光波长，S(λk0)表示物体表面在k0通道的光谱反射函数，qk0表示成像传感器在k0通道的灵敏度函数，k0＝R,B，sG＝c1λG-5S(λG)qG，λG表示在G通道的光波长，S(λG)表示物体表面在G通道的光谱反射函数，qG表示成像传感器在G通道的灵敏度函数，


4.如权利要求3所述的一种环境感知方法，其特征在于，所述步骤5：根据所述对数色度空间模型对所述相机图像进行光照强度不变性变换生成光照不变相机图像，包括：
采用公式：
Γ＝rR×cosθ+rB×sinθ
对所述相机图像进行光照强度不变性变换生成光照不变相机图像；
其中，Γ表示光照不变相机图像，rR表示使用R通道变换得到的对数色度空间，rB表示使用B通道变换得到的对数色度空间，θ表示标定的光照不变角，



其中，ρR表示图像传感器在R通道下的响应模型，ρG表示图像传感器在G通道下的响应模型，sR＝c1λR-5S(λR)qR，λR表示...

【专利技术属性】
技术研发人员：李乐，
申请(专利权)人：北京鼎翰科技有限公司，
类型：发明
国别省市：北京;11