通过预测周围物体移动支持安全的自动驾驶的方法和装置制造方法及图纸

本发明专利技术提供一种通过图像和通信获取的信息的融合来支持执行安全的自动驾驶的学习方法，其包括：步骤(a)，学习装置，使第一卷积网络和第二卷积网络，使用情况图像和情况通信信息，生成基于图像的特征图和基于通信的特征图；步骤(b)，所述学习装置，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用第三卷积网络运算，生成集成特征图；步骤(c)，所述学习装置，使第四卷积网络，对所述集成特征图应用第四卷积网络运算，生成预测周围移动信息；以及步骤(d)，所述学习装置，使第一损失层，学习所述第一卷积网络至所述第四卷积网络的参数。

【技术实现步骤摘要】
通过预测周围物体移动支持安全的自动驾驶的方法和装置
本专利技术涉及一种用于自动驾驶车辆的方法和装置；更具体地，涉及一种学习方法和利用其的学习装置以及测试方法和测试装置，其通过从各种来源(source)获取的信息的融合(fusion)来预测周围物体的移动，从而避免事故危险以支持执行安全的自动驾驶。
技术介绍
近年来，汽车安全支持系统和自动驾驶系统快速发展，进而提出了作为智能汽车服务技术的协作驾驶技术。以往的协作驾驶技术根据汽车之间的协作水平大致分为三种技术，一种是以单一车辆为中心的自动驾驶技术，另一种是护航(convoy)技术，又一种是列队驾驶(platooning)技术。护航(convoy)技术是一种，通过保持车辆的移动方式和队形来执行的技术，其特征为驾驶员在没有前导车辆的情况下驾驶车辆。同样，列队驾驶(platooning)技术是一种，通过保持车辆的移动方式和队形来执行。然而，列队驾驶技术包括至少一个前导车辆和至少一个跟随车辆。其中，所述跟随车辆根据所述前导车辆的操作来控制，而无需驾驶员的控制。即在列队驾驶期间，自动驾驶车辆可以借助于至少一个能够控制跟随车辆的方向盘、油门和制动器等的前导车辆来实现安全驾驶并保持车辆之间的距离。列队驾驶具有很多优点。例如，车辆可以以较低的空气阻力提高燃料效率，从而减少废气排放。并且，许多车辆车辆可以遵守交通法规，从而可以提高道路管理的效率。另一方面，自动驾驶车辆可以与道路上的其他自动驾驶车辆和/或非自动驾驶车辆一起行驶。即，自动驾驶车辆可根据道路状况、驾驶员状况等多种变数，将其模式更改为半自动驾驶模式、自动驾驶模式和手动驾驶模式。因此，在传统的列队驾驶技术中具有如下问题，在自动驾驶车辆行驶的道路上发生交通事故的情况下，如果自动驾驶车辆不能做出适当地反应，则可能引起二次事故。
技术实现思路
本专利技术的目的在于解决所有上述问题。本专利技术另一目的在于，使自动驾驶车辆，车辆列队驾驶(platooning)期间发生至少一个事故时能适当地作出反应。并且本专利技术的又一目的在于，使所述自动驾驶车辆，避免具有高事故危险的一个以上的周围物体。为了达到如上所述的本专利技术的目的，并且实现后述的本专利技术的特定效果的，本专利技术的特定结构如下。根据本专利技术的一个方面，提供一种学习方法，其使用通过图像和通信获取的各信息的融合来预测一个以上的周围物体的一个以上的移动(motion)，从而避免事故危险以支持进行安全的自动驾驶，其特征在于，包括：步骤(a)，学习装置执行，当通过安装于目标车辆的至少一个相机获取至少一个情况图像时，使第一卷积网络，对所述情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的、至少一个基于图像的特征图的过程，以及当通过安装于所述目标车辆的至少一个通信模块获取情况通信信息时，使第二卷积网络，对所述情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的基于通信的特征图的过程；步骤(b)，所述学习装置，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图；步骤(c)，所述学习装置，使第四卷积网络，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息，所述预测周围移动信息为特定时间范围内的所述周围物体的移动预测结果；以及步骤(d)，所述学习装置，使第一损失层，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值(GroundTruth，GT)周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播(backpropagation)，从而学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个。一实施例中，在所述步骤(a)中，所述学习装置，(i)使包括在所述第二卷积网络中的至少一个第二全连接(Fully-Connected，FC)层，对所述情况通信信息应用至少一个第二FC运算，生成与每个基于通信的元数据矢量相对应的基于通信的元特征矢量，其中，所述情况通信信息包括对每个周围物体的基于通信的元数据，并将每个基于通信的元数据作为每个基于通信的元数据矢量，所述每个周围物体与所述目标车辆的距离小于阈值，(ii)使包括在所述第二卷积网络中的至少一个第二池化层，对所述基于通信的元特征矢量应用至少一个第二池化运算，生成所述基于通信的特征图。一实施例中，在所述步骤(c)中，所述学习装置，使所述第四卷积网络，对(i)与通过所述相机和所述通信模块而获取的全局信息相对应的所述集成特征图；以及(ii)包括一个以上的基于通信的元特征矢量的元特征图；应用所述第四卷积网络运算，生成所述预测周围移动信息，其中，所述元特征图与每个所述周围物体的局部信息相对应，所述一个以上的基于通信的元特征矢量用于生成所述基于通信的特征图的过程。一实施例中，在所述步骤(c)中，所述学习装置，参考与通过所述相机而获取的所述周围物体的基于图像的元数据相对应的一个以上的基于图像的元特征矢量和所述基于通信的元特征矢量，生成所述元特征图。一实施例中，在所述步骤(b)中，所述学习装置，对所述基于通信的特征图和所述基于图像的特征图，进行信道下级联(channel-wiseconcatenating)，生成临时特征图，使以循环神经网络的方式实现的所述第三卷积网络，使用与提前输入于所述第三卷积网络的信息对应的状态矢量，对所述临时特征图应用所述第三卷积网络运算，从而生成所述集成特征图。一实施例中，所述第三卷积网络，被实现为作为所述循环神经网络的一种的长短期记忆(Long-ShortTermMemory，LSTM)网络。一实施例中，所述学习装置，使所述第一损失层，参考(i)当所述情况图像和所述情况通信信息对应于规定的第T时间点时，参考在作为所述第T时间点之后的时间点的第(T+1)时间点处的所述周围物体的位置信息和速度信息而获取的所述GT周围移动信息；以及(ii)所述预测周围移动信息；生成所述移动损失。一实施例中，还包括：步骤(e)，所述学习装置，在完成所述第一卷积网络至所述第四卷积网络的学习的状态下，使第五卷积网络，对已完成学习的所述第四卷积网络输出的预测周围移动信息应用至少一个第五卷积网络运算，生成包括事故发生概率信息的预测危险信息，所述事故发生概率在所述特定时间范围内与所述目标车辆的关联度为阈值以上；以及步骤(f)，所述学习装置，使第二损失层，参考所述预测危险信息和与所述预测危险信息对应的GT危险信息生成至少一个危险损失，使用所述危险损失执行反向传播，从而学习所述第五卷积网络的参数中的至少一个。一实施例中，提供一种在所述步骤(a)中，所述学习装置，使包括在所述第一卷积网络的第一卷积层对所述情况图像应用至少一个第一卷积运算，生成至少一个第一特征图，使包括在所述第一卷积网络的第一池化层对所述第一特征图应用至少一个第一池化运算生成至少一个第一已池化特征图，并且使包括在所述第一卷积网络的第一FC层对所述第一已池化特征图应用至少一个第一FC运算生本文档来自技高网...

【技术保护点】
1.一种学习方法，其使用通过图像和通信获取的各信息的融合来预测一个以上的周围物体的一个以上的移动，从而避免事故危险以支持进行安全的自动驾驶，其特征在于，包括：/n步骤(a)，学习装置执行，当通过安装于目标车辆的至少一个相机获取至少一个情况图像时，使第一卷积网络，对所述情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的、至少一个基于图像的特征图的过程，以及当通过安装于所述目标车辆的至少一个通信模块获取情况通信信息时，使第二卷积网络，对所述情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的基于通信的特征图的过程；/n步骤(b)，所述学习装置，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图；/n步骤(c)，所述学习装置，使第四卷积网络，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息，所述预测周围移动信息为特定时间范围内的所述周围物体的移动预测结果；以及/n步骤(d)，所述学习装置，使第一损失层，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个。/n...

【技术特征摘要】
20190131 US 62/799,315;20200109 US 16/738,6801.一种学习方法，其使用通过图像和通信获取的各信息的融合来预测一个以上的周围物体的一个以上的移动，从而避免事故危险以支持进行安全的自动驾驶，其特征在于，包括：
步骤(a)，学习装置执行，当通过安装于目标车辆的至少一个相机获取至少一个情况图像时，使第一卷积网络，对所述情况图像应用至少一个第一卷积网络运算，生成与所述情况图像相对应的、至少一个基于图像的特征图的过程，以及当通过安装于所述目标车辆的至少一个通信模块获取情况通信信息时，使第二卷积网络，对所述情况通信信息应用至少一个第二卷积网络运算，生成与所述情况通信信息相对应的基于通信的特征图的过程；
步骤(b)，所述学习装置，使第三卷积网络，对所述基于图像的特征图和所述基于通信的特征图应用至少一个第三卷积网络运算，生成集成特征图；
步骤(c)，所述学习装置，使第四卷积网络，对所述集成特征图应用至少一个第四卷积网络运算，生成预测周围移动信息，所述预测周围移动信息为特定时间范围内的所述周围物体的移动预测结果；以及
步骤(d)，所述学习装置，使第一损失层，参考所述预测周围移动信息和与所述预测周围移动信息相对应的真值周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个。


2.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(a)中，
所述学习装置，(i)使包括在所述第二卷积网络中的至少一个第二全连接层，对所述情况通信信息应用至少一个第二全连接运算，生成与每个基于通信的元数据矢量相对应的基于通信的元特征矢量，其中，所述情况通信信息包括对每个周围物体的基于通信的元数据，并将每个基于通信的元数据作为每个基于通信的元数据矢量，所述每个周围物体与所述目标车辆的距离小于阈值，(ii)使包括在所述第二卷积网络中的至少一个第二池化层，对所述基于通信的元特征矢量应用至少一个第二池化运算，生成所述基于通信的特征图。


3.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(c)中，
所述学习装置，使所述第四卷积网络，对(i)与通过所述相机和所述通信模块而获取的全局信息相对应的所述集成特征图；以及(ii)包括一个以上的基于通信的元特征矢量的元特征图；应用所述第四卷积网络运算，生成所述预测周围移动信息，其中，所述元特征图与每个所述周围物体的局部信息相对应，所述一个以上的基于通信的元特征矢量用于生成所述基于通信的特征图的过程。


4.根据权利要求3所述的学习方法，其特征在于，
在所述步骤(c)中，
所述学习装置，参考与通过所述相机而获取的所述周围物体的基于图像的元数据相对应的一个以上的基于图像的元特征矢量和所述基于通信的元特征矢量，生成所述元特征图。


5.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(b)中，
所述学习装置，对所述基于通信的特征图和所述基于图像的特征图，进行信道下级联，生成临时特征图，使以循环神经网络的方式实现的所述第三卷积网络，使用与提前输入于所述第三卷积网络的信息对应的状态矢量，对所述临时特征图应用所述第三卷积网络运算，从而生成所述集成特征图。


6.根据权利要求5所述的学习方法，其特征在于，
所述第三卷积网络，以长短期记忆网络的方式实现，所述长短期记忆网络为所述循环神经网络的一种。


7.根据权利要求1所述的学习方法，其特征在于，
所述学习装置，使所述第一损失层，参考(i)当所述情况图像和所述情况通信信息对应于规定的第T时间点时，参考在作为所述第T时间点之后的时间点的第(T+1)时间点处的所述周围物体的位置信息和速度信息而获取的所述真值周围移动信息；以及(ii)所述预测周围移动信息；生成所述移动损失。


8.根据权利要求1所述的学习方法，其特征在于，还包括：
步骤(e)，所述学习装置，在完成所述第一卷积网络至所述第四卷积网络的学习的状态下，使第五卷积网络，对已完成学习的所述第四卷积网络输出的预测周围移动信息应用至少一个第五卷积网络运算，生成包括事故发生概率信息的预测危险信息，所述事故发生概率在所述特定时间范围内与所述目标车辆的关联度为阈值以上；以及
步骤(f)，所述学习装置，使第二损失层，参考所述预测危险信息和与所述预测危险信息对应的真值危险信息生成至少一个危险损失，使用所述危险损失执行反向传播，从而学习所述第五卷积网络的参数中的至少一个。


9.根据权利要求1所述的学习方法，其特征在于，
在所述步骤(a)中，
所述学习装置，使包括在所述第一卷积网络的第一卷积层对所述情况图像应用至少一个第一卷积运算，生成至少一个第一特征图，使包括在所述第一卷积网络的第一池化层对所述第一特征图应用至少一个第一池化运算生成至少一个第一已池化特征图，并且使包括在所述第一卷积网络的第一全连接层对所述第一已池化特征图应用至少一个第一全连接运算生成所述基于图像的特征图。


10.一种测试方法，其使用通过图像和通信获取的各信息的融合，预测一个以上的测试用周围物体的一个以上的移动，从而避免事故危险以支持执行安全的自动驾驶，其特征在于，包括：
步骤(a)，(1)学习装置执行，当通过安装于学习用目标车辆的至少一个学习用相机获取至少一个学习用情况图像时，使第一卷积网络，对所述学习用情况图像应用至少一个第一卷积网络运算，生成与所述学习用情况图像相对应的至少一个学习用基于图像的特征图的过程，以及当通过安装于所述学习用目标车辆的至少一个学习用通信模块，获取学习用情况通信信息时，使第二卷积网络，对所述学习用情况通信信息应用至少一个第二卷积网络运算，生成与对所述学习用情况通信信息相对应的学习用基于通信的特征图的过程，(2)所述学习装置，使第三卷积网络，对所述学习用基于图像的特征图和所述学习用基于通信的特征图应用至少一个第三卷积网络运算，生成学习用集成特征图，(3)所述学习装置，使第四卷积网络，对所述学习用集成特征图应用至少一个第四卷积网络运算，生成作为特定时间范围内的学习用周围物体的移动预测结果的学习用预测周围移动信息，(4)所述学习装置执行，使第一损失层，参考所述学习用预测周围移动信息和与所述学习用预测周围移动信息相对应的真值周围移动信息，生成至少一个移动损失，并使用所述移动损失执行反向传播，从而在学习所述第一卷积网络至所述第四卷积网络的参数中的至少一个的状态下，测试装置，通过安装于测试用目标车辆的至少一个测试用相机，获取至少一个测试用情况图像时，使所述第一卷积网络，对所述测试用情况图像应用所述第一卷积网络运算，生成与所述测试用情况图像相对应的至少一个测试用基于图像的特征图的过程，以及当通过安装于所述测试用目标车辆的至少一个测试用通信模块，获取测试用情况通信信息时，使所述第二卷积网络，对所述测试用情况通信信息应用所述第二卷积网络运算，生成与所述测试用情况通信信息相对应的至少一个测试用基于通信的特征图的过程；
步骤(b)，所述测试装置，使所述第三卷积网络，对所述测试用基于图像的特征图和所述测试用基于通信的特征图应用所述第三卷积网络运算，生成测试用集成特征图；以及
步骤(c)，所述测试装置，使所述第四卷积网络，对所述测试用集成特征图应用所述第四卷积网络运算，生成作为所述特定时间范围内的所述测试用周围物体的移动预测结果的测试用预测周围移动信息。


11.根据权利要求10所述的测试方法，其特征在于，还包括：
步骤(d)，所述测试装置，使用所述第一卷积网络至所述第四卷积网络，使已完成学习的第五卷积网络，对所述测试用预测周围移动信息应用至少一个第五卷积网络运算，生成包括关于事故发生概率的信息的测试用预测危险信息，所述事故发生概率在所述特定时间范围内与所述测试用目标车辆的关联度为阈值以上。


12.根据权利要求11所述的测试方法，其特征在于，还包括：
步骤(e)，所述测试装置，当所述测试用目标车辆通过列队驾驶执行所述自动驾驶时，参考所述测试用预测危险信息调整列队驾驶参数。


13.根据权利要求12所述的测试方法，其特征在于，
所述测试装置，当检测到与所述测试用目标车辆的所述关联度为所述阈值以上的特定事故实际发生时，与所述测试用周围物体共享关于所述特定事故的信息，使所述测试用目标车辆，参考驾驶策略以支持执行所述自动驾驶，所述驾驶策略用于避免所述特定事故可导致的危险情况。


14.根据权利要求10所述的测试方法，其特征在于，
在所述步骤(c)中，
所述测试装置，使所述第四卷积网络，对(i)与通过所述测试用相机和所述测试用通信模块获取的测试用全局信息相对应的所述测试用集成特征图，以及(ii)包括一个以上的测试用基于通信的元特征矢量的测试用元特征图，应用所述第四卷积网络运算生成所述测试用预测周围移动信息，所述元特征图与关于每个所述测试用周围物体的测试用局部信息相对应，所述一个以上的测试用基于通信的元特征矢量用于生成所述测试用基于通信的特征图的过程。


15.根据权利要求14所述的测试方法，其特征在于，
在所述步骤(c)中，
所述测试装置，参考与关于通过所述测试用相机获取的所述测试用周围物体的测试用基于图像的元数据相对应的一个以上的测试用基于图像的元特征矢量和所述测试用基于通信的元特征矢量，生成所述测试用...

【专利技术属性】
技术研发人员：金桂贤，金镕重，金鹤京，南云铉，夫硕焄，成明哲，申东洙，吕东勋，柳宇宙，李明春，李炯树，张泰雄，郑景中，诸泓模，赵浩辰，
申请(专利权)人：斯特拉德视觉公司，
类型：发明
国别省市：韩国;KR