生成自动车辆泄漏探测的训练数据制造技术

一种车辆控制器在到达和离开时从摄像机接收图像。车辆的位置可以被追踪，并且由摄像机捕获的图像可以被标记有位置。到达图像可以与捕获的最接近到达图像的相同位置的离开图像进行比较。评估根据到达和离开图像之间的差异的残差图像以发现异常。确定如纹理、颜色等的异常属性，并且根据属性对异常进行分类。如果分类指示车辆流体，则产生警报。可以使用通过渲染三维模型或通过将模拟的流体泄漏添加到二维图像获得的到达和离开图像来训练用于从图像数据生成分类的机器学习算法。

Training data for generating automatic vehicle leakage detection

A vehicle controller receives images from a camera when it arrives and leaves. The location of the vehicle can be traced and the image captured by the camera can be marked with location. The arrival image can be compared with the captured image nearest to the image at the same location. Evaluate the residual image based on the difference between arrival and departure images to detect anomalies. Determine the abnormal attributes such as texture and color, and classify the exceptions according to the attributes. If the classification indicates vehicle fluid, an alarm is generated. A machine learning algorithm for generating classification from image data can be trained by rendering the 3D model or by adding the simulated fluid leakage to the arrival and departure images obtained from the two-dimensional image.

【技术实现步骤摘要】
生成自动车辆泄漏探测的训练数据
本专利技术涉及车辆故障的自动探测。
技术介绍
来自车辆下方的流体泄漏通常可以指示需要注意的危险情况。及时探测到该问题可以为车主在机械师服务中节省高达数千美元。车辆传感器可以探测到由于流体泄漏造成的故障，但是广泛的损坏可能已经发生。本文公开的设备和方法提供了用于探测车辆流体泄漏的改进方法。
技术实现思路
根据本专利技术，提供一种方法，包含通过计算机系统执行以下操作：生成多个训练数据集，每个训练数据集包括：具有在其视野中的停车位置的到达图像、对应于到达图像的离开图像、以及离开图像的分类，训练数据集中的一部分包括具有模拟的流体溢出物的离开图像；和根据训练数据集来训练机器学习模型以识别流体泄漏。根据本专利技术的一个实施例，其中生成多个训练数据集包含：对于每个训练数据集进行以下操作，为每个训练数据集限定停车场景的三维模型；和根据三维模型渲染每个训练数据集的到达图像，该到达图像来自安装到停车场景中的车辆的摄像机的观察点。根据本专利技术的一个实施例，其中生成训练数据集包括：针对训练数据集的该部分中的每个训练数据集进行以下操作，将流体溢出物模型添加到每个训练数据集的停车场景的三维模型来获得修改的模型；和根据修改的模型渲染每个训练数据集的离开图像，该离开图像来自安装到每个训练数据集的停车场景中的车辆上的摄像机的观察点。根据本专利技术的一个实施例，其中流体溢出物模型限定颜色和反射率；和其中根据修改的模型渲染每个训练数据集的离开图像包含：根据颜色和反射率渲染离开图像中的流体溢出物模型。根据本专利技术的一个实施例，其中流体溢出物模型限定纹理；其中根据修改的模型渲染每个训练数据集的离开图像包含：根据颜色、反射率和纹理来渲染离开图像中的流体溢出物模型。根据本专利技术的一个实施例，其中生成多个训练数据集还包含：对于训练数据集的该部分中的每个训练数据集进行以下操作，将在其视野中具有停车位置的来自车辆的摄像机的原始图像用作每个训练数据集的到达图像；和将模拟的流体溢出物添加到原始图像和在其视野中具有停车位置的来自车辆的摄像机的另一图像中的一个，来获得每个训练数据集的离开图像。根据本专利技术的一个实施例，其中摄像机是安装到车辆的前置摄像机。根据本专利技术的一个实施例，其中根据训练数据集来训练机器学习模型以识别流体泄漏包含：根据训练数据集来训练深度神经网络(DNN)。根据本专利技术的一个实施例，其中多个训练数据集中的每个训练数据集的离开图像的分类指示离开图像中是否存在流体泄漏和离开图像中存在的流体泄漏类型中的至少一个。根据本专利技术的一个实施例，还包含将机器学习模型加载到连接到车辆的控制器的存储器，车辆具有安装到其上并且可操作地连接到控制器的摄像机。根据本专利技术，提供一种系统，包含一个或多个处理装置以及连接到一个或多个处理装置的一个或多个存储装置，一个或多个存储装置存储可执行代码，可执行代码用于使一个或多个处理器执行以下操作：生成多个训练数据集，每个训练数据集包括：具有在其视野中的停车位置的到达图像、对应于到达图像的离开图像、以及离开图像的分类，训练数据集中的一部分包括具有模拟的流体溢出物的离开图像；和根据训练数据集来训练机器学习模型以识别流体泄漏。根据本专利技术的一个实施例，其中可执行代码还用于使一个或多个处理装置通过对每个训练数据集执行以下操作来生成多个训练数据集：为每个训练数据集限定停车场景的三维模型；和根据三维模型渲染每个训练数据集的到达图像，该到达图像来自安装到停车场景中的车辆的摄像机的观察点。根据本专利技术的一个实施例，其中可执行代码还用于使一个或多个处理装置通过对训练数据集的该部分中的每个训练数据集执行以下操作来生成多个训练数据集：将流体溢出物模型添加到每个训练数据集的停车场景的三维模型，来获得修改的模型；和根据修改的模型渲染每个训练数据集的离开图像，该离开图像来自安装到每个训练数据集的停车场景中的车辆上的摄像机的观察点。根据本专利技术的一个实施例，其中流体溢出物模型限定颜色和反射率；和其中可执行代码还用于使一个或多个处理装置通过根据颜色和反射率渲染离开图像中的流体溢出物模型，来根据修改的模型渲染每个训练数据集的离开图像。根据本专利技术的一个实施例，其中流体溢出物模型限定纹理；其中可执行代码还用于使一个或多个处理装置通过根据颜色、反射率和纹理来渲染离开图像中的流体溢出物模型，来根据修改的模型渲染每个训练数据集的离开图像。根据本专利技术的一个实施例，其中可执行代码还用于使一个或多个处理装置通过对训练数据集的该部分中的每个训练数据集执行以下操作来生成多个训练数据集：将在其视野中具有停车位置的来自车辆的摄像机的原始图像用作每个训练数据集的到达图像；和将模拟的流体溢出物添加到原始图像和在其视野中具有停车位置的来自车辆的摄像机的另一图像中的一个，来获得每个训练数据集的离开图像。根据本专利技术的一个实施例，其中摄像机是安装到车辆的前置摄像机。根据本专利技术的一个实施例，其中可执行代码还用于使一个或多个处理装置通过根据训练数据集训练深度神经网络(DNN)，来根据训练数据集来训练机器学习模型以识别流体泄漏。根据本专利技术的一个实施例，其中多个训练数据集中的每个训练数据集的离开图像的分类指示离开图像中是否存在流体泄漏和离开图像中存在的流体泄漏类型中的至少一个。根据本专利技术的一个实施例，其中可执行代码还用于使一个或多个处理装置将机器学习模型加载到连接到车辆的控制器的存储器，车辆具有安装到其上并且可操作地连接到控制器的摄像机。附图说明为了容易理解本专利技术的益处，将通过参考在附图中示出的具体实施例来体现上面简要描述的本专利技术的更具体的说明。应当理解，这些附图仅描绘了本专利技术的典型实施例，并且因此不被认为是对本专利技术范围的限制，本专利技术将通过使用附图以更多的特征和细节来描述和解释，其中：图1是示出根据本专利技术实施例的可以执行泄漏探测的车辆的示意性框图；图2是适合于实现根据本专利技术的实施例的方法的示例计算装置的示意性框图；图3是根据本专利技术实施例的用于识别到达和离开图像的方法的过程流程图；图4是根据本专利技术实施例的用于探测泄漏的方法的过程流程图；图5A至图5C示出了根据本专利技术实施例的用于泄漏探测的图像处理；图6是根据本专利技术实施例的用于使用三维模型生成自动泄漏探测的训练数据的方法的过程流程图；图7A和图7B是根据本专利技术的实施例的可以被渲染以便生成训练数据的示例场景的视图；图8是根据本专利技术实施例的用于从二维图像生成训练数据的方法的过程流程图；和图9是根据本专利技术实施例的用于使用训练数据来训练机器学习模型的方法的过程流程图。具体实施方式参考图1，车辆100可以包括控制器102以及GPS(全球定位系统，GlobalPositioningSystem)接收器104和惯性测量单元(IMU)106中的一个或两者。控制器102可以使用GPS接收器104和惯性测量单元106中的一个或两者的输出来确定车辆100的位置。例如，可以从GPS接收器104接收GPS坐标，并且可以从惯性测量单元106确定车辆100相对于该坐标的较小移动。具体地，惯性测量单元106可以是基于加速度计的装置，该装置探测加速度并且将加速度解析为速度和距离测量中的一个或两者。车辆100可以包括前置摄像机108和后置摄像机110中的一个或两者。本文公开的方法包括评估本文档来自技高网...

【技术保护点】
1.一种方法，包含通过计算机系统执行以下操作：生成多个训练数据集，每个所述训练数据集包括：在其视野中具有停车位置的到达图像、对应于所述到达图像的离开图像、以及所述离开图像的分类，所述训练数据集中的一部分包括具有模拟的流体溢出物的离开图像；和根据所述训练数据集来训练机器学习模型以识别流体泄漏；其中生成所述多个训练数据集包含对每个所述训练数据集进行以下操作：为所述每个训练数据集限定停车场景的三维模型；和根据所述三维模型渲染所述每个训练数据集的所述到达图像，所述到达图像来自安装到所述停车场景中的车辆的摄像机的观察点。

【技术特征摘要】
2017.01.11 US 15/404,0311.一种方法，包含通过计算机系统执行以下操作：生成多个训练数据集，每个所述训练数据集包括：在其视野中具有停车位置的到达图像、对应于所述到达图像的离开图像、以及所述离开图像的分类，所述训练数据集中的一部分包括具有模拟的流体溢出物的离开图像；和根据所述训练数据集来训练机器学习模型以识别流体泄漏；其中生成所述多个训练数据集包含对每个所述训练数据集进行以下操作：为所述每个训练数据集限定停车场景的三维模型；和根据所述三维模型渲染所述每个训练数据集的所述到达图像，所述到达图像来自安装到所述停车场景中的车辆的摄像机的观察点。2.根据权利要求1所述的方法，其中生成所述训练数据集包括对所述训练数据集的所述部分的每个所述训练数据集进行以下操作：将流体溢出物模型添加到所述每个训练数据集的所述停车场景的所述三维模型来获得修改的模型；和根据所述修改的模型渲染所述每个训练数据集的所述离开图像，所述离开图像来自安装到所述每个训练数据的所述停车场景中的所述车辆上的所述摄像机的所述观察点。3.根据权利要求2所述的方法，其中所述流体溢出物模型限定颜色和反射率；和其中根据所述修改的模型渲染所述每个训练数据集的所述离开图像包含：根据所述颜色和所述反射率渲染所述离开图像中的所述流体溢出物模型。4.根据权利要求3所述的方法，其中所述流体溢出物模型限定纹理；其中根据所述修改的模型渲染所述每个训练数据集的所述离开图像包含：根据所述颜色、所述反射率和所述纹理来渲染所述离开图像中的所述流体溢出物模型。5.根据权利要求1所述的方法，其中生成所述多个训练数据集还包含对所述训练数据集的所述部分的每个所述训练数据集进行以下操作：将在其视野中具有所述停车位置的来自车辆的摄像机的原始图像用作所述每个训练数据集的所述到达图像，所述摄像机是安装到所述车辆的前置摄像机；和将所述模拟的流体溢出物添加到所述原始图像和在其视野中具有所述停车位置的来自所述车辆的所述摄像机的另一图像中的一个，来获得所述每个训练数据集的所述离开图像。6.根据权利要求1所述的方法，其中根据所述训练数据集来训练所述机器学习模型以识别所述流体泄漏包含：根据所述训练数据集来训练深度神经网络(DNN)。7.根据权利要求1所述的方法，其中所述多个训练数据集中的每个训练数据集的所述离开图像的所述分类指示所述离开图像中是否存在所述流体泄漏和所述离开图像中存在的流体泄漏类型中的至少一个。8.根据权利要求1所述的方法，还包含将所述机器学习模型加载到连接到车辆的控制器的存储器，所述车辆具有安装到其上并且可操作地连接到所述控制器的摄像机。9.一种系统，包含一个或多个处理装置以及连接到所述一个或多个处理装置的一个或多个存储装置，所述一个或多个存储装置存储可执行代码，所述可执行代码用于使所述一个或多个处理器执行...

【专利技术属性】
技术研发人员：艾希莉·伊丽莎白·米克斯，吉内什·J·杰恩，哈珀丽特辛格·班瓦伊特，布鲁诺·希里·贾勒斯·科斯塔，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国,US