借助于人工智能基于摄像机对接车辆制造技术

本发明专利技术涉及借助于人工智能基于摄像机对接车辆。针对对接站的评估装置，该评估装置包括：入口端口，用于获得对接站的利用能布置在车辆上的成像传感器摄取的至少一个影像，其中，评估装置被实施为，实施人造神经元网络，人造神经元网络被训练用于根据影像获知对接站的支撑点的图像坐标，根据支撑点的已知的几何形状来获知成像传感器相对于支撑点的位置和/或指向，并且根据成像传感器的所获知的位置和/或指向以及成像传感器在车辆上的已知的布置来获知对接站相对于车辆的位置和/或指向；出口端口，用于根据对接站相对于车辆的所获知的位置来提供用于车辆控制装置的信号，以便控制车辆对接到对接站上。

Docking vehicle based on camera with artificial intelligence

【技术实现步骤摘要】
借助于人工智能基于摄像机对接车辆
本专利技术涉及一种根据权利要求1所述的用于定位对接站的支撑点的评估装置。本专利技术还涉及一种根据权利要求2所述的用于定位对接站的支撑点的方法。本专利技术还涉及一种根据权利要求4所述的用于使车辆自动化地对接到对接站上的评估装置。本专利技术还涉及一种根据权利要求6所述的用于自动化地对接到对接站上的车辆。本专利技术也涉及一种根据权利要求7所述的用于使车辆自动化地对接到对接站上的方法。最后，本专利技术涉及一种根据权利要求13所述的用于将车辆对接到对接站上的计算机程序产品。
技术介绍
自动化行驶的挑战一方面是在道路交通中的灵活驾驶。另一方面，尤其是在商用车领域，自动化行驶的任务是对接过程，其中，例如装卸货物和/或更换工具。出版文献GB2513393描述了一种具有摄像机和靶标的装置。摄像机固定在车辆上。标靶、例如图案面板固定在挂车上。通过在由摄像机摄取的图像中识别和定位标靶而能够计算轨迹。该轨迹描述了朝着拖车的方向的路径，车辆必须经过该路径用以对接拖车。出版文献DE102006035929B4公开了一种用于借助商用车以传感器辅助的方式行驶到对象之下或者驶入对象中、尤其是驶入到变换桥中的方法，其中，由至少一个布置在商用车的尾部上的传感器来检测周围环境信息，并且其中，依据所检测到的周围环境信息来确定对象与商用车之间的相对位置，其中，与距离相关地在至少两个阶段中以传感器控制的方式选择出对象的分级模型的对象特征，其中，在商用车接近该对象期间，依据各个对象特征通过模型适配来实现该对象的单独的建模。在此，该分级模型随着距变换桥的距离而变化。例如，在远距离区域中识别出“粗略的”特征而在近距离区域中使模型精细化，用于更精确的定位。
技术实现思路
在此提出本专利技术。本专利技术所基于的任务是：改善车辆的自动化对接。该任务通过具有权利要求1的特征的用于定位对接站的支撑点的评估装置来解决。该任务还通过具有权利要求2的特征的用于定位对接站的支撑点的方法来解决。该任务还通过具有权利要求4的特征的用于使车辆自动化地对接到对接站上的评估装置来解决。该任务还通过具有权利要求6的特征的用于自动化地对接到对接站上的车辆来解决。该任务也通过具有权利要求7的特征的用于使车辆自动化地对接到对接站上的方法来解决。最后，该任务通过具有权利要求13的特征的用于将车辆对接到对接站上的计算机程序产品来解决。有利的设计方案和扩展方案在从属权利要求中说明。按照本专利技术的用于在对接站的影像中定位对接站的支撑点的评估装置包括第一入口端口用于获得实际训练数据。实际训练数据包括对接站的影像。对于训练来说，存在支撑点的作为分开的信息的位置数据。该评估装置还包括第二入口端口用于获得目标训练数据。目标训练数据包括相应的支撑点在影像中的目标位置数据。该评估装置被实施为：将实际训练数据向前馈送给人造神经元网络，而且在该向前馈送给中获得相应的支撑点的利用该人造神经元网络获知的实际位置数据。该评估装置还被实施为：通过反向馈送实际位置数据与目标位置数据之间的偏差来调整用于人造神经元网络的神经元的连接的权重因子用以使偏差最小化，以便学习支撑点的目标位置数据。该评估装置还包括出口端口用于提供实际位置数据。下面的限定适用于本专利技术的整个主题。评估装置是如下设备，该设备处理输入的信息并且输出根据该处理而得到的结果。评估装置尤其是电子电路、诸如中央处理器单元或者图形处理器。支撑点，英文也称作特征点(keypoints)，例如是挂车的角点和/或在挂车或对接站上的其它明显的点。因此，按照本专利技术，直接探测支撑点，该支撑点是对接站的特征。也就是说，针对分类而言尤其是没有考虑变换桥的支撑部之间的自由空间，从而不必使用复杂的对象-自由空间模型，该对象-自由空间模块随着距变换桥的距离而变化。对接站是车辆能够与其对接的对象。在对接状态下，车辆与对接站联接。对接站的示例是挂车、集装箱、变换桥或码头、例如装卸板。车辆是陆地车辆，例如载客车、商用车、例如载重车或牵引车、如拖拉机或者有轨车辆。车辆也可以是水运工具、诸如船。影像是利用成像传感器所摄取的图像。数字摄像机包括成像传感器。影像尤其是彩色影像。人工智能是针对智能行为的自动化的上位概念。例如学习智能算法，以便目标明确地对新的信息做出反应。人造神经元网络、英文被称为ArtificialNeuralNetwork是一种智能算法。智能算法被实施用以学习，以便目标明确地对新的信息做出反应。为了可以目标明确地对新的信息做出反应，需要人工智能首先学习预先确定的信息的含义。为此，用有效数据来训练人工智能。有效数据一般是针对训练数据或测试数据的上位概念。除了真正的数据之外，训练数据尤其也包含关于相应的数据的含义的信息。也就是说，人工智能学习到的并被称作实际训练数据的训练数据被标签化。目标训练数据是真实的、给出的信息。目标位置数据尤其是支撑点的二维图像坐标。该训练阶段由大脑的学习过程启发。具体而言，有效数据是如下数据组，利用该数据组在研发时间期间测试算法。因为研发人员基于测试也做出影响算法的决定，所以在研发结束时考虑另一数据组、即测试数据组用于最终的评价。例如，在不同的背景下的对接站的影像构成另一数据组。利用有效数据的训练被称作机器学习。机器学习的子集是深度学习、即所谓的DeepLearning，其中，使用神经元的一系列分级层、即所谓的隐藏层(HiddenLayer)，以便执行机器学习的过程。神经元是人造神经元网络的功能单元。神经元的输出通常作为激活函数的值以评估的方式经由输入的利用权重因子来加权的和加上系统误差、即所谓的偏置而得到。具有多个隐藏层的人造神经元网络是深度神经元网络。人造神经元网络例如是完全连接的网络，英文被称作FullyConnectedNetwork。在完全连接的网络中，一个层的每个神经元都与之前的层的所有神经元连接。每个连接都具有它自己的权重因子。优选地，人造神经元网络是完全卷积网络(FullyConvolutionalNetwork)。在卷积的神经元网络中，与位置无关地利用相同的权重因子将滤波器应用到神经元的层上。该卷积的神经元网络包括多个在卷积层之间的池化层。池化层在宽度和高度方面改变二维层的尺寸。池化层也被用于更高维度的层。优选地，人造神经元网络是具有对于本领域技术人员来说公知的编码器-解码器架构的卷积的神经元网络。借此，评估装置学习识别在影像中的支撑点。优选地，人造神经元网络的输出是针对支撑点的逐像素的概率，也就是说，对于每个支撑点来说都获得所谓的被预测的热图，该热图说明了支撑点的逐像素的概率。那么，目标位置数据、也称作地面实况热图(groundtruthheatmap)优选地包括具有经标准化的高度的二维高斯钟，该二维高斯钟的最大值处在支撑点位置。实际位置数据与目标位置数据的偏差接着借助于在地面实况热图与预测的热图之间的交叉熵来最小化。按照本专利技术的用于在对接站的影像中定位对接站的支撑点的方法包括如下方法步骤：·获得支撑点的实际训练数据和位置本文档来自技高网...

【技术保护点】
1.一种用于在对接站(10)的影像(34)中定位对接站(10)的支撑点(11)的评估装置(1)，所述评估装置包括：/n·第一入口端口(2)，用于获得实际训练数据，其中，所述实际训练数据包括所述对接站(10)的影像，其中，在所述影像(34)中标记有所述支撑点(11)；/n·第二入口端口(3)，用于获得目标训练数据，其中，所述目标训练数据包括相应的支撑点(11)在所述影像(34)中的目标位置数据，/n其中，所述评估装置(1)实施为：/n·将实际训练数据向前馈送给人造神经元网络(4)，并且在所述向前馈送中获得相应的支撑点(11)的利用所述人造神经元网络(4)获知的实际位置数据，并且/n·通过反向馈送所述实际位置数据与所述目标位置数据之间的偏差来调整用于所述人造神经元网络(4)的神经元(7)的连接(6)的权重因子(5)用以使偏差最小化，以便学习所述支撑点(11)的目标位置数据；/n和/n·出口端口(8)，用于提供所述实际位置数据。/n

【技术特征摘要】
20180613 DE 102018209382.21.一种用于在对接站(10)的影像(34)中定位对接站(10)的支撑点(11)的评估装置(1)，所述评估装置包括：
·第一入口端口(2)，用于获得实际训练数据，其中，所述实际训练数据包括所述对接站(10)的影像，其中，在所述影像(34)中标记有所述支撑点(11)；
·第二入口端口(3)，用于获得目标训练数据，其中，所述目标训练数据包括相应的支撑点(11)在所述影像(34)中的目标位置数据，
其中，所述评估装置(1)实施为：
·将实际训练数据向前馈送给人造神经元网络(4)，并且在所述向前馈送中获得相应的支撑点(11)的利用所述人造神经元网络(4)获知的实际位置数据，并且
·通过反向馈送所述实际位置数据与所述目标位置数据之间的偏差来调整用于所述人造神经元网络(4)的神经元(7)的连接(6)的权重因子(5)用以使偏差最小化，以便学习所述支撑点(11)的目标位置数据；
和
·出口端口(8)，用于提供所述实际位置数据。


2.一种用于在对接站(10)的影像(34)中定位所述对接站(10)的支撑点(11)的方法，所述方法包括如下方法步骤：
·获得所述支撑点(11)的实际训练数据和位置数据(V1)；
·获得目标训练数据，其中，所述目标训练数据包括相应的支撑点(11)在所述影像(34)中的目标位置数据(V2)；
·将所述实际训练数据向前馈送给人造神经元网络(4)并且利用所述人造神经元网络(4)来获知相应的支撑点(11)的实际位置数据(V3)；
·将所述实际位置数据与所述目标位置数据之间的偏差反向馈送，以便如下地调整用于所述人造神经元网络(4)的神经元(7)的连接(6)的权重因子(5)，即，使所述偏差最小化，以便学习所述支撑点(11)的目标位置数据(V4)。


3.根据权利要求2所述的方法，其中，为了执行所述方法，使用根据权利要求1所述的评估装置(10)。


4.一种用于使车辆(30)自动化地对接到对接站(10)上的评估装置(20)，所述评估装置包括：
·入口端口(21)，用于获得所述对接站(10)的利用能布置在所述车辆(30)上的成像传感器(31)摄取的至少一个影像(34)，
·其中，所述评估装置实施为：
o实施人造神经元网络(4)，所述人造神经元网络被训练用于根据所述影像(34)获知所述对接站(10)的支撑点(11)的图像坐标，
o根据所述支撑点(11)的已知的几何形状来获知所述成像传感器(31)相对于所述支撑点(11)的位置和/或指向，并且
o根据所述成像传感器(31)的所获知的位置和/或指向以及所述成像传感器(31)在所述车辆(30)上的已知的布置来获知所述对接站(10)相对于所述车辆(30)的位置和/或指向，
和
·出口端口(22)，用于根据所述对接站(10)相对于所述车辆(30)的所获知的位置来提供用于车辆控制装置(32)的信号，以便所述车辆(30)自动化地行驶至所述对接站(10)用以对接。


5.根据权利要求4所述的评估装置(20)，其中...

【专利技术属性】
技术研发人员：克里斯蒂安·赫尔佐克，马丁·拉普斯，
申请(专利权)人：ZF腓德烈斯哈芬股份公司，
类型：发明
国别省市：德国;DE