使用端到端学习的挂车角度检测制造技术

本公开提供“使用端到端学习的挂车角度检测”。一种挂车角度识别系统包括被配置成捕获图像的成像装置。角度传感器被配置成测量所述挂车相对于车辆的第一角度。控制器被配置成在神经网络中处理所述图像，并基于所述图像估计所述挂车相对于所述车辆的第二角度。所述控制器还被配置成基于所述第一角度和所述第二角度之间的差来训练所述神经网络。

Trailer angle detection using end-to-end learning

【技术实现步骤摘要】
使用端到端学习的挂车角度检测
本专利技术总体上涉及挂车倒车辅助系统，并且更具体地，涉及采用通过图像处理进行挂车角度检测的挂车倒车辅助系统。
技术介绍
在拖挂挂车的同时使车辆倒退对于许多驾驶员来说可能是具有挑战性的，尤其是对于不经常在有挂车的情况下进行驾驶的驾驶员或者在有各种类型的挂车的情况下进行驾驶的驾驶员。用于辅助驾驶员使挂车倒退的一些系统依赖于挂车角度测量来确定挂车相对于车辆的位置。因此，挂车角度测量的准确性和可靠性对于挂车倒车辅助系统的操作可能是至关重要的。
技术实现思路
根据本专利技术的一个方面，公开了一种挂车角度识别系统。所述系统包括被配置成捕获图像的成像装置。角度传感器被配置成测量挂车相对于车辆的第一角度。控制器被配置成在神经网络中处理图像，并基于图像估计挂车相对于车辆的第二角度。控制器还被配置成基于第一角度和第二角度之间的差来训练神经网络。所述系统还可以包括单独或各种组合下的以下要素中的一者或多者。附加要素可能包括以下内容：·控制器还被配置成用角度标记图像作为对神经网络的输入；·控制器还被配置成训练神经网络以基于所述图像识别车辆与挂车之间的实际角度而无需来自角度传感器的第一角度；·所述训练可以包括识别第一角度和第二角度之间的误差；·所述成像装置被配置成捕获指向挂车与车辆的连接接口的视野中的图像；·控制器还被配置成利用成像装置捕获多个图像，并在挂车和车辆之间的挂车角度范围内估计第二角度；·控制器还被配置成将在多个图像中估计的第二角度与由角度传感器测量的第一角度进行比较；·控制器还被配置成基于所述比较来识别与所述图像中的每个相关联的误差；和/或·控制器还被配置成识别与误差相关联的挂车角度、环境条件和照明条件中的至少一者。根据本专利技术的另一方面，公开了一种识别车辆和挂车之间的挂车角度的方法。所述方法包括捕获视野中的多个图像，以及利用与车辆或挂车相关的角度传感器检测第一角度。所述方法还包括在神经网络中处理图像，并基于所述图像中的每个来估计接口的第二角度。所述方法还包括基于第一角度和针对所述图像中的每个的第二角度训练神经网络。所述方法还可以包括单独或各种组合下的以下步骤中的一者或多者。所述方法的附加步骤可以包括以下各者：·车辆和挂车之间的连接接口形成接口，并且角度传感器被配置成基于由接口形成的挂车角度将电子信号传送到控制器。·视野指向挂车与车辆的接口；·基于接口在视野中的位置裁剪图像；·所述训练包括识别第一角度和针对所述图像中的每个的第二角度之间的误差；·所述训练还包括识别与针对所述图像中的每个的误差相关联的挂车角度、环境条件和照明条件中的至少一者；·所述训练还包括基于与误差相关联的挂车角度、环境条件和照明条件中的至少一者来捕获附加图像；·所述训练还包括利用神经网络处理附加图像，从而通过更新神经网络的参数来改善第二角度的估计；和/或·所述训练还包括训练神经网络以基于图像来准确地估计挂车角度，而无需来自角度传感器的第一角度。根据本专利技术的又一方面，公开了一种挂车角度识别系统。所述系统包括被配置成捕获图像的成像装置。角度传感器被配置成测量挂车相对于车辆的第一角度。控制器被配置成基于车辆和挂车之间的接口在图像中的位置来裁剪图像以生成裁剪图像。控制器还被配置成在神经网络中处理所述裁剪图像，并基于图像估计挂车相对于车辆的第二角度。控制器还被配置成基于第一角度和第二角度之间的差来训练神经网络，其中训练被配置成训练神经网络以基于图像来识别车辆与挂车之间的实际角度，而无需来自角度传感器的第一角度。所述系统还可以包括成像装置，所述成像装置被配置成捕获指向挂车与车辆的连接接口的视野中的图像。通过参考以下说明书、权利要求和附图，本领域技术人员将进一步理解和了解本专利技术的这些和其他特征、优点和目标。附图说明在附图中：图1是附接到挂车的车辆的俯视透视图，所述挂车具有用于操作挂车倒车辅助系统的挂车角度传感器的一个实施例；图2是示出挂车倒车辅助系统的一个实施例的框图；图3是图1所示的车辆和挂车的运动模型；图4是车辆与挂车之间的连接接口的详细示意图，其展示了挂车角度传感器；图5A是被配置成估计车辆和挂车之间的角度的神经网络的训练过程的过程图；图5B是被配置成估计车辆和挂车之间的角度的神经网络的操作过程的过程图；图6是由车辆的倒车相机捕获的图像数据的图示，其展示了车辆和挂车之间的连接接口的感兴趣的区域；图7A是被配置为对神经网络的输入的裁剪图像的示例；图7B是被配置为对神经网络的输入的裁剪图像的示例；图7C是被配置为对神经网络的输入的裁剪图像的示例；图8A是包括指示挂车角度的估计的挂车向量的裁剪图像的示例；图8B是包括指示挂车角度的估计的挂车向量的裁剪图像的示例；图8C是包括指示挂车角度的估计的挂车向量的裁剪图像的示例；以及图9是由车辆的倒车相机捕获的指示挂车角度的估计的图像。具体实施方式出于本文的描述的目的，应当理解，所公开的挂车倒车辅助系统和相关方法可以采用各种替代实施例和取向，除非明确指明相反。还应当理解，附图中说明且在以下说明书中描述的特定装置和过程仅仅是所附权利要求中限定的专利技术构思的示例性实施例。尽管参考具体说明性实施例描述了挂车倒车辅助系统和相关方法的各个方面，但是所公开的专利技术不限于此类实施例，并且可以在不脱离所公开的专利技术的情况下实施另外的修改、应用和实施例。因此，除非权利要求另外明确地表明，否则与本文公开的实施例相关的具体尺寸和其他物理特性不应被视为限制。如本文所使用，术语“和/或”当用于列出两个或更多个项时表示可以单独地采用所列出的项中的任何一个，或者可以采用所列的项中的两个或更多个项的任何组合。例如，如果组合物被描述为含有组分A、B和/或C，那么组合物可以含有：仅A；仅B；仅C；A和B的组合；A和C的组合；B和C的组合；或A、B和C的组合。参考图1、图2和图3，附图标记8总体上表示用于控制附接到车辆12的挂车10的倒车路径的挂车倒车辅助系统。所述系统可以允许车辆12的驾驶员指定挂车10的倒车路径的期望曲率。为了实现这种操作，可以监测车辆12和挂车10之间的挂车角度γ(如图3所示)，以在整个操作期间向系统8提供反馈。但是，在考虑到挂车挂接件类型、与天气相关的可见性条件、照明条件、挂车角度范围以及可能导致测量值变化的各种其他变量的广泛变化时，准确地检测挂车角度γ可能是一个挑战。为了提高识别挂车角度γ的可靠性，本公开提供了用于端到端学习以识别挂车角度γ的改进的系统和方法。特定地，本公开提供了基于由成像装置14捕获的图像数据来检测挂车角度γ。基于由成像装置14捕获的图像数据，系统8可以基于各种图像处理技术(例如，边缘检测、背景去除、模板匹配等)来识别挂车10的各种特性。然而，由于挂车10和局部环境(例如，阴影、纹理表本文档来自技高网...

【技术保护点】
1.一种挂车角度识别系统，其包括：/n成像装置，其被配置成捕获图像；/n角度传感器，其被配置成测量所述挂车相对于车辆的第一角度；以及/n控制器，其被配置成：/n在神经网络中处理所述图像；/n基于所述图像估计所述挂车相对于所述车辆的第二角度；并且/n基于所述第一角度和所述第二角度之间的差训练所述神经网络。/n

【技术特征摘要】
20181126 US 16/199,8511.一种挂车角度识别系统，其包括：
成像装置，其被配置成捕获图像；
角度传感器，其被配置成测量所述挂车相对于车辆的第一角度；以及
控制器，其被配置成：
在神经网络中处理所述图像；
基于所述图像估计所述挂车相对于所述车辆的第二角度；并且
基于所述第一角度和所述第二角度之间的差训练所述神经网络。


2.根据权利要求1所述的系统，其中所述控制器还被配置成：
用所述角度标记所述图像作为对所述神经网络的输入。


3.根据权利要求1-2中任一项所述的系统，其中所述控制器还被配置成：
训练所述神经网络以基于所述图像识别所述车辆与所述挂车之间的实际角度而无需来自所述角度传感器的所述第一角度。


4.根据权利要求1所述的系统，其中所述训练包括：
识别所述第一角度和所述第二角度之间的误差。


5.根据权利要求1所述的系统，其中所述成像装置被配置成捕获指向所述挂车与所述车辆的连接接口的视野中的所述图像。


6.根据权利要求1所述的系统，其中所述控制器还被配置成：
利用所述成像装置捕获多个图像，并在所述挂车和所述车辆之间的挂车角度范围内估计所述第二角度。


7.根据权利要求6所述的系统，其中所述控制器还被配置成：
将在所述多个图像中估计的所述第二角度与由所述角度传感器测量的所述第一...

【专利技术属性】
技术研发人员：布鲁诺·西利·贾尔斯科斯塔，维迪亚·纳里亚曼特穆拉里，赛义德·努沙巴迪，维贾伊·纳加萨米，
申请(专利权)人：福特全球技术公司，
类型：发明
国别省市：美国;US