基于相机图像信号处理来生成和使用道路摩擦估计的方法和系统技术方案

技术编号:22566292 阅读:52 留言:0更新日期:2019-11-16 12:33
本发明专利技术涉及一种基于前视相机图像信号处理来生成和利用道路摩擦估计(RFE)的方法(10)和系统(100),该RFE指示路面与车辆轮胎之间的预期摩擦水平。对前视相机图像(11)进行预处理(12)、区块分割(14)(横向和纵向地,由轮轨等定义)、使用视角变换转换为鸟瞰图(BEV)图像(16)、区块量化(18)以及最后分类(20)。产生的RFE可用于给驾驶员提供信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。

Method and system of road friction estimation based on camera image signal processing

The invention relates to a method (10) and a system (100) for generating and utilizing road friction estimation (RFE) based on image signal processing of a forward looking camera, which indicates the expected friction level between the road surface and the vehicle tire. The front view camera image (11) is preprocessed (12), segmented (14) (horizontally and longitudinally, defined by wheel rail, etc.), transformed into a bird's-eye view image (16), quantized (18), and finally classified (20). The resulting RFE can be used to provide information to drivers, automatically control the movement of related vehicles, and / or inform cloud based alert services to enhance driver safety.

【技术实现步骤摘要】
基于相机图像信号处理来生成和使用道路摩擦估计的方法和系统
本公开总体涉及基于相机图像处理来生成和使用道路摩擦估计(RFE)的方法和系统。更具体地,本公开涉及基于前视相机图像处理来生成和使用RFE的方法和系统。对前视相机图像进行预处理、区块分割、使用视角变换转换成鸟瞰图(BEV)图像、区块量化、以及最后分类,以获得道路摩擦估计(也称为RFE)。产生的RFE可用于为驾驶员提供信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。该RFE固有地包括在车辆和驾驶员遇到这种情况之前警告驾驶员和/或引起对危险行驶状况产生车辆响应的时间组成(temporalcomponent)。这提供了预测性手段。
技术介绍
存在用于确定路面状况(RSC)的各种常规方法和系统。这些方法和系统中的大多数依赖于分析下视相机图像,提供关于车辆正下方的路面的信息。这些方法和系统中的一些依赖于将圆形光聚焦在车辆前方并分析相应的前视相机图像,测量基于强度的特征,诸如关注区域(ROI)内的平均像素强度、方差像素强度和最大像素强度,并实施概率二元分类器(probabilisticbinaryclassifier),以便划分干、湿、雪和冰RSC,可选地随后进行融合过程以生成用于制动、转向和加速度传感器的控制参数。这些方法和系统中的其它方法和系统利用前视相机图像,将前视相机图像转换成空间频谱,并分析对应于不同RSC的相关频率分布。这些方法和系统中的另一些方法和系统利用前视相机图像并应用极化滤波器(polarizationfilter)和小波变换来划分不同的RSC。然而,这些方法和系统都没有超出RSC来准确地生成和使用RFE。这是根本区别。RFE估计了在道路与车辆轮胎之间、横过和沿着道路、尤其是沿着抵靠道路表面的轮轨的摩擦水平。存在用于估计和计算RFE的各种常规方法和系统。然而,这些方法和系统中的大多数依赖于使用一维(1-D)车载传感器、应用基于物理的模型。这些方法通常导致RFE的低可用性(通常约3-5%),在大多数时间导致不可接受地低的可信度。在这种基于物理的模型中,仅在轮胎和道路之间发生非常显著的滑动时才出现高可信度。因此,实时RFE是零星的并且预测能力受到牵制,从而减少了得到的驾驶员信息的价值、延迟和/或限制了相关车辆的运动的自动控制、和/或达不到大多数基于云的警报服务的实际要求。这会危害驾驶员安全性。因此,需要基于前视相机图像和信号处理来生成和利用RFE的先进方法和系统,以实现改善的准确性、高可用性、以及对可行驶环境条件的增强的预测能力,同时有效地运行。
技术实现思路
在各种示例性实施方式中,本公开提供了基于前视相机图像和信号处理来生成和利用RFE的方法和系统,该RFE指示道路表面和车辆轮胎之间的预期摩擦水平。对前视相机图像进行预处理、区块分割(横向地和纵向地,由轮轨等定义)、转换成BEV图像以提供车辆前方可行驶表面的易于处理的区块、区块量化、并且最后分类,以获得RFE。产生的RFE可用于给驾驶员提供信息、自动控制相关车辆的运动、和/或通知基于云的警报服务以增强驾驶员安全性。该RFE固有地包括在车辆和驾驶员遇到这种情况之前警告驾驶员和/或引起对危险驾驶状况产生车辆响应的时间组成。这提供了预测手段。本公开的方法和系统可以与其它常规车载传感器和系统的操作集成,诸如提供制动/加速、横向/纵向移动和/或扭矩控制的那些车载传感器和系统。与现有的基于图像的RSC分类模型相比,该方法和系统具有改善的准确性、增加的可用性(即使当不存在显著的轮胎力时)和增强的预测能力,同时以相对低的计算复杂度有效地运行。在一个示例性实施方式中,本公开提供了一种基于车辆相机图像处理来生成和利用道路摩擦估计(RFE)的方法,其包括:从车辆相机获得路面的图像;将图像分割成多个区块;转换图像的路面视角;基于对多个区块中的每个区块的图像分析,量化多个区块中的每个区块以确定给定路面摩擦状况的概率;基于多个区块的确定的概率对多个区块的组进行分类,以形成路面的RFE;以及以下中的一个或多个:(1)警告驾驶员路面摩擦状况,(2)向车辆网络报告路面摩擦状况,以及(3)响应于生成的路面的RFE,限制和/或修改车辆运行参数。优选地,车辆相机是前视车辆相机,并且图像是前视图像。可以等同地使用侧视图像和合成图像。该方法还包括预处理图像以对图像进行最初分类,其中可能导致可变RFE的某些分类基于路面上的相对车轮位置经受更准确地确定RFE的进一步处理,不会导致可变RFE的某些分类不经受更准确地确定RFE的进一步处理。例如,与“干”路面状况相关联的图像意味着高摩擦或高RFE,因此这种图像不需要经受区块分割和量化。然而,与“有雪”路面状况相关联的图像需要被区块分割和量化以确定轮轨相对于可行驶表面上的雪和冰的相对位置,这进而指示车辆所经历的道路摩擦。将图像分割成多个区块包括将图像分割成车辆前方的多个行和列,其中使用至少2行和至少3列。优选地,存在于路面上的轮轨(wheeltrack)包含在多个列中的两个列内。转换图像的路面视角包括将图像的路面视角从前视视角转换为俯视鸟瞰图(BEV)视角。可选地,在转换图像的视角之前执行将图像分割成多个区块,使得多个区块的视角也被转换。量化多个区块中的每个区块以确定给定路面摩擦状况的概率包括,从每个区块提取多个颜色/纹理特征,并给每个区块分配对应于每个区块的各区块组成的概率分数。量化多个区块中的每个区块以确定给定路面摩擦状况的概率还包括,组合多个概率分数以确定一组区块的合成概率分数。最后,基于多个区块的确定的概率对多个区块的组进行分类包括,给每个确定的概率分配一个分类分数并组合多个分类分数以生成相对于车辆位置的路面的RFE。在另一示例性实施方式中,本公开提供了一种基于车辆相机图像处理来生成和利用道路摩擦估计(RFE)的系统,其包括:被构造为提供路面图像的车辆相机;以及存储机器可读指令的存储器,当由处理器执行时,可读指令使系统:将图像分割成多个区块;转换图像的路面视角;基于对多个区块中的每个区块的图像分析,量化多个区块中的每个区块以确定给定路面摩擦状况的概率;基于多个区块的确定的概率对多个区块的组进行分类,以形成路面的RFE;以及以下中的一个或多个:(1)警告驾驶员路面摩擦状况,(2)向车辆网络报告路面摩擦状况,以及(3)响应于生成的路面的RFE,限制和/或修改车辆运行参数。优选地,车辆相机是前视车辆相机,并且图像是前视图像。可以等同地使用侧视图像和合成图像。处理器还使系统预处理图像以对图像进行最初分类,其中可能导致可变RFE的某些分类基于路面上的相对车轮位置经受更精确地确定RFE的进一步处理,不会导致可变RFE的分类不经受更准确地确定RFE的进一步处理。例如,与“干”路面状况相关联的图像意味着高摩擦或高RFE,因此这种图像不需要经受区块分割和量化。然而,与“有雪”路面状况相关联的图像需要被区块分割和量化以确定轮轨相对于可行驶表面上的雪和冰的相对位置,这进而指示车辆经历的道路摩擦。将图像分割成多个区块包括将图像分割成车辆前方的多个行和列,其中使用至少2行本文档来自技高网
...

【技术保护点】
1.一种基于车辆相机图像处理来生成和利用道路摩擦估计值(RFE)的方法(10),所述方法包括:/n从车辆相机获得路面的图像(11);/n将所述图像分割成多个区块(14);/n转换所述图像的视角(16);/n基于所述多个区块中的每个区块的图像分析,量化所述多个区块中的每个区块以确定给定路面摩擦状况的概率;/n基于所述多个区块的确定的概率对所述多个区块的组进行分类,以生成所述路面的RFE(20);以及/n以下中的一个或多个:(1)警告驾驶员路面摩擦状况,(2)向车辆网络报告路面摩擦状况,以及(3)响应于生成的所述路面的RFE,限制和/或修改车辆运行参数。/n

【技术特征摘要】
20180503 US 15/969,9731.一种基于车辆相机图像处理来生成和利用道路摩擦估计值(RFE)的方法(10),所述方法包括:
从车辆相机获得路面的图像(11);
将所述图像分割成多个区块(14);
转换所述图像的视角(16);
基于所述多个区块中的每个区块的图像分析,量化所述多个区块中的每个区块以确定给定路面摩擦状况的概率;
基于所述多个区块的确定的概率对所述多个区块的组进行分类,以生成所述路面的RFE(20);以及
以下中的一个或多个:(1)警告驾驶员路面摩擦状况,(2)向车辆网络报告路面摩擦状况,以及(3)响应于生成的所述路面的RFE,限制和/或修改车辆运行参数。


2.根据权利要求1所述的方法(10),其特征在于,所述车辆相机(102)是前视车辆相机和侧视车辆相机中的一种或多种,并且所述图像(11)是前视图像、侧视图像和合成图像中的一种。


3.根据权利要求1所述的方法(10),其特征在于,所述方法还包括预处理所述图像以对所述图像进行最初分类(12),某些分类经受更准确地确定RFE的进一步处理,并且某些分类不经受更准确地确定RFE的进一步处理。


4.根据权利要求1所述的方法(10),其特征在于,将所述图像分割成所述多个区块(14)包括将所述图像分割成所述车辆前方的多个行和多个列,其中使用至少2行和至少3列。


5.根据权利要求4所述的方法(10),其特征在于,存在于所述路面上的轮轨包含在所述多个列中的两个列内。


6.根据权利要求1所述的方法(10),其特征在于,转换所述图像的视角(16)包括将所述图像的视角从前视视角和侧视视角中的一个转换成俯视鸟瞰图(BEV)视角。


7.根据权利要求1所述的方法(10),其特征在于,在转换所述图像的视角(16)之前执行将所述图像分割成所述多个区块(14),使得所述多个区块的视角也被转换。


8.根据权利要求1所述的方法(10),其特征在于,量化所述多个区块中的每个区块以确定所述给定路面摩擦状况的概率(18)包括,从每个区块中提取多个颜色/纹理特征,并给每个区块分配对应于每个区块的各区块组成的概率分数。


9.根据权利要求1所述的方法(10),其特征在于,量化所述多个区块中的每个区块以确定所述给定路面摩擦状况的概率(18)还包括,组合多个概率分数以确定一组区块的合成概率分数。


10.根据权利要求1所述的方法(10),其特征在于,基于所述多个区块的确定的概率对所述多个区块的所述组进行分类(20)包括,给每个确定的概率分配一个分类分数,并组合多个分类分数以生成所述路面的RFE。


11.一种基于车辆相机图...

【专利技术属性】
技术研发人员:S·罗伊乔杜里赵敏茗M·约纳松N·奥尔松
申请(专利权)人:沃尔沃汽车公司
类型:发明
国别省市:瑞典;SE

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1