使用深度学习的基于视觉的雨水检测制造技术

公开了用于使用车辆车载摄像机来确定在车辆附近是否正在降水的方法。方法可以包括获取多个图像。多个图像中的每一个可以已知为用照相描绘“雨水”或“无雨水”条件。可以对多个图像训练人工神经网络。随后，人工神经网络可以分析由固定至第一车辆的第一摄像机捕获的一个或多个图像。基于那个分析，人工神经网络可以把第一车辆分类为在“雨水”或“无雨水”天气中。

Vision based rain detection using depth learning

A method for determining whether a vehicle is falling near a vehicle is disclosed by using a vehicle mounted camera. The method can include obtaining multiple images. Each of the multiple images can be known as \rain\ or \no rain\ by photographing. Artificial neural networks can be trained on multiple images. Then, the artificial neural network can analyze one or more images captured by the first camera fixed to the first vehicle. Based on that analysis, the artificial neural network can classify the first vehicle into \rain\ or \no rain\ weather.

【技术实现步骤摘要】
使用深度学习的基于视觉的雨水检测
本专利技术涉及车辆系统以及更具体地涉及用于开发、训练、以及应用算法用于检测驾驶环境中的雨水的系统和方法。
技术介绍
雨水和其他降水可以影响车辆的功能。例如，雨水可以降低牵引力、增强炫光、削弱视力等。因此，需要的是用于检测和响应于雨水和其他降水的车辆系统和方法。
技术实现思路
根据本专利技术的一方面，提供一种方法，该方法包含：获取多个图像，每个图像已知为用照相描绘“雨水”或“无雨水”条件；通过人工神经网络对多个图像进行训练；在训练之后通过人工神经网络来分析由第一摄像机捕获的一个或多个图像；以及基于分析通过人工神经网络把第一摄像机分类为在“雨水”天气或“无雨水”天气中。根据本专利技术的一实施例，其中多个图像是通过一个或多个车辆车载的一个或多个摄像机捕获的。根据本专利技术的一实施例，其中第一摄像机是第一车辆车载的。根据本专利技术的一实施例，其中分析车载地在第一车辆上发生。根据本专利技术的一实施例，其中分类车载地在第一车辆上发生。根据本专利技术的一实施例，其中训练非车载于第一车辆地发生。根据本专利技术的一实施例，其中训练在人工神经网络正在相对于第一车辆远程定位的非车载计算机硬件上运行时发生。根据本专利技术的一实施例，其中分析和分类在人工神经网络正在以车载的方式承载在第一车辆上的计算机硬件上运行时发生。根据本专利技术的一实施例，其中第一摄像机固定至第一车辆并且定向为面向前。根据本专利技术的一实施例，其中第一摄像机固定至第一车辆并且定向为面向后。根据本专利技术的一实施例，其中一个或多个图像包含在小于十秒钟的一段时间内由第一摄像机捕获的多个连续图像。根据本专利技术的另一方面，提供一种方法，该方法包含：获取由一个或多个车辆车载的一个或多个摄像机捕获的多个图像，多个图像中的每个图像已知为用照相描绘“雨水”条件或“无雨水”条件；使用多个图像来训练人工神经网络以区分相应于雨水条件的摄影数据和相应于无雨水条件的摄影数据；在使用之后通过人工神经网络来分析由固定至第一车辆的第一摄像机捕获的一个或多个图像；以及基于分析通过人工神经网络把第一车辆分类为在“雨水”或“无雨水”天气中。根据本专利技术的一实施例，其中分析和分类在人工神经网络正在以车载的方式承载在第一车辆上的计算机硬件上运行时发生。根据本专利技术的一实施例，本专利技术方法进一步地包含通过第一摄像机捕获一个或多个图像。根据本专利技术的一实施例，其中分析和分类随着捕获实时地发生。根据本专利技术的一实施例，其中分析和分类在捕获之后不到十秒钟发生。根据本专利技术的一实施例，其中使用在人工神经网络正在相对于第一车辆远程定位的非车载计算机硬件上运行时发生。根据本专利技术的一实施例，其中一个或多个图像包含在小于十秒钟的一段时间内由第一摄像机捕获的多个连续图像。根据本专利技术的又一方面，提供一种计算机系统，该计算机系统包含：一个或多个处理器；可操作地连接至一个或多个处理器的存储器；以及存储器存储人工神经网络，对由一个或多个车辆车载的一个或多个摄像机捕获的多个图像训练人工神经网络以区分相应于“雨水”条件的图像和相应于“无雨水”条件的图像；由固定至第一车辆的第一摄像机捕获的一个或多个图像；以及编程为把一个或多个图像输入至人工神经网络以用于分类的软件。根据本专利技术的一实施例，其中存储器进一步地存储编程为在人工神经网络确定第一车辆已经从无雨水条件转换至雨水条件时改变第一车辆的功能特性的控制模块。附图说明为了本专利技术的优势将被容易理解，将通过参考在附图中说明的特定实施例来呈现在上面简短描述的本专利技术的更详细的描述。理解的是，这些附图仅描绘本专利技术的典型实施例并且因此不认为限制本专利技术的范围，将通过使用附图用附加特征和细节来描述并且解释本专利技术，在附图中：图1是说明根据本专利技术的以车载的方式承载在车辆上的系统的一实施例的示意图；图2是可以由根据本专利技术的系统的摄像机捕获的图像的示意图；图3是说明根据本专利技术的系统的一实施例的示意框图；图4是根据本专利技术的训练方法的一实施例的示意框图；以及图5是根据本专利技术的雨水检测方法的一实施例的示意框图。具体实施方式将容易理解的是，如在此在附图中总体上描述和说明的本专利技术的部件，可以以各种不同配置的方式设置和设计。因此，如在附图中所表示的本专利技术的实施例的下面更详细的描述，不旨在如声称的限制本专利技术的范围，但仅代表根据本专利技术的目前预期实施例的某些示例。通过参考附图将最好地理解目前描述的实施例，其中自始至终相同部分通过相同附图标记指定。参考图1，现实世界呈现一系列不断变化的条件和障碍。这种现实为提供某些车辆功能的自主控制或动态和/或自主驾驶的基于车辆的系统造成显著挑战。为了克服这些挑战，车辆10可以配备有传感器以感测周围环境。然而，添加至车辆10的每个传感器增加成本和复杂性。因此，根据本专利技术的计算机系统12可以使用软件以从由已经以车载的方式承载在车辆10上的一个或多个传感器输出的数据中提取附加功能或效用。也就是说，系统12可以在没有向车辆10添加任何附加硬件的情况下增加车辆10的功能或特征。例如，根据本专利技术的系统12可以是、包括、或支持使用深度学习以区分“雨水”和“无雨水”(或其他“降水”和“无降水”)的基于视觉的降水检测。在选择的实施例中，系统12可以分析由以车载的方式承载在车辆10上的一个或多个摄像机14(例如，一个或多个前置摄像机14a、一个或多个后置摄像机14b、一个或多个倒车摄像机14b等或其组合或子组合)收集或捕获的图像数据以确定车辆10周围的环境中是否正在下雨(或正在降落比如雨夹雪、雪等这样的其他降水)。在某些实施例中，由一个或多个摄像机14捕获的图像数据(例如，视频)可以被系统12处理为单独的图像或画面。系统12内的人工神经网络可以不同地操作这些图像，取决于神经网络是处于训练模式还是实施模式。在训练模式下，系统12内的神经网络可以根据两个不同的或相反的类(例如，雨水和无雨水)来对多个图像(例如，几十个、几百个、或几千个图像)进行训练。在这样的训练数据中捕获或反射的图像和场景的变量可以是高的以提供遍及各种情况、情景和环境的类的可靠确定。一旦被训练，人工神经网络就可以以实施模式操作。在实施模式下，神经网络可以被输入图像并且确定其中表示哪一类。在选择的实施例中，神经网络的确定可以以每个类或条件的置信百分比来表示。在选择的实施例中，相应于根据本专利技术的系统12的神经网络可以比较在一段短时间内由摄像机14捕获的多个连续图像(例如，在一段几秒钟的时间内捕获的几个图像)。如果显著多数的图像被分类为第一条件(例如，雨水)，则系统12可以确定第一条件存在于车辆10的环境中。即使一些图像被分类为第二条件(例如，无雨水)，系统12也可以做出这个确定。在某些实施例中，实施模式中的一个或多个图像的分类可以随着那些图像的捕获而实时地发生。也就是说，人工神经网络可以在摄像机14捕获特定图像之后在很短的一段时间内量化特定图像与一个或多个类或条件的对应。在选择的实施例中，该很短的一段时间可以大约10秒钟或更少。参考图2，在选择的实施例中，通过系统12执行的分类可以对包含在由摄像机14捕获的一个或多个图像16内的任何特定特征是不可知的。也就是说，系统12内的神经网络可以不搜索图像16的任何特定特征。相反，神经网络可以判断图像16作为一个整体是否更表明一个类本文档来自技高网...

【技术保护点】
一种方法，所述方法包含：获取多个图像，每个所述图像已知为用照相描绘“雨水”或“无雨水”条件；通过人工神经网络对所述多个图像进行训练；在所述训练之后通过所述人工神经网络来分析由第一摄像机捕获的一个或多个图像；以及基于所述分析通过所述人工神经网络把所述第一摄像机分类为在“雨水”天气或“无雨水”天气中。

【技术特征摘要】
2016.04.11 US 15/095,8761.一种方法，所述方法包含：获取多个图像，每个所述图像已知为用照相描绘“雨水”或“无雨水”条件；通过人工神经网络对所述多个图像进行训练；在所述训练之后通过所述人工神经网络来分析由第一摄像机捕获的一个或多个图像；以及基于所述分析通过所述人工神经网络把所述第一摄像机分类为在“雨水”天气或“无雨水”天气中。2.如权利要求1所述的方法，其中所述多个图像是通过一个或多个车辆车载的一个或多个摄像机捕获的。3.如权利要求1所述的方法，其中所述第一摄像机是第一车辆车载的。4.如权利要求3所述的方法，其中所述分析车载地在所述第一车辆上发生。5.如权利要求4所述的方法，其中所述分类车载地在所述第一车辆上发生。6.如权利要求3所述的方法，其中所述训练非车载于所述第一车辆地发生。7.如权利要求3所述的方法，其中所述训练在所述人工神经网络正在相对于所述第一车辆远程定位的非车载计算机硬件上运行时发生。8.如权利要求3所述的方法，其中所述分析和所述分类在所述人工神经网络正在以车载的方式承载在所述第一车辆上的计算机硬件上运行时发生。9.如权利要求1所述的方法，其中所述第一摄像机固定至第一车辆并且定向为面向前。10.如权利要求1所述的方法，其中所述第一摄像机固定至第一车辆并且定向为面向后。11.如权利要求1所述的方法，其中所述一个或多个图像包含在小于十秒钟的一段时间内由所述第一摄像机捕获的多个连续图像。12.一种方法，所述方法包含：获取由一个或多个车辆车载的一个或多个摄像机捕获的多个图像，所述多个图像中的每个图像已知为用照相描绘“雨水”条件或“无雨水”条件；使用所述多个...

【专利技术属性】
技术研发人员：吉内什·J·杰恩，哈珀丽特辛格·班瓦伊特，艾希莉·伊丽莎白·米克斯，维迪亚·那利亚姆布特·穆拉里，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US