本申请公开了用于辅助驾驶的方法和装置。用于辅助驾驶的方法可以包括：从捕获的关于车辆的周围状况的视频中识别视频帧的一个或多个集合，其中所述视频帧的一个或多个集合包括移动物体；从所述视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图。
Methods and devices for driving assistance
【技术实现步骤摘要】
【国外来华专利技术】用于辅助驾驶的方法和装置
本公开涉及用于辅助驾驶的方法和装置。
技术介绍
车辆可以配备有诸如相机的视频捕获设备，以允许记录驾驶场景。由于每天由车辆记录大量的视频数据，因此越来越需要以高效的方式分析和解释视频数据，使得所记录的视频数据可以用于辅助驾驶。
技术实现思路
本公开的实施例提供了用于辅助驾驶的方法和装置。在本公开的一方面，提供了一种用于辅助驾驶的方法。该方法可以包括：从捕获的关于车辆的周围状况的视频中识别视频帧的一个或多个集合，其中视频帧的一个或多个集合可以包括移动物体；从视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及基于一个或多个特征来预测视频帧的一个或多个集合中移动物体的运动意图。在本公开的另一方面，提供了一种用于辅助驾驶的装置。该装置可以包括相机和处理器。相机可以被配置为捕获关于车辆的周围状况的视频。处理器可以被配置为：从视频中识别视频帧的一个或多个集合，其中视频帧的一个或多个集合可以包括移动物体；从视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及基于一个或多个特征来预测视频帧的一个或多个集合中移动物体的运动意图。在本公开的另一方面，提供了一种车辆，其包括如上所述的装置。在本公开的另一方面，提供了一种非暂态计算机可读介质，其包括在其上存储的用于执行如上所述的方法的指令。根据下文给出的详细描述，本公开的进一步的适用范围将变得显而易见。但是，应当理解的是，详细描述和具体示例虽然指示了本公开的优选实施例，但是仅以说明的方式给出，因为根据以下详细描述，在本公开的精神和范围内的各种改变和修改对于本领域技术人员而言将是显而易见的。附图说明为了更清楚地描述本公开的实施例或现有技术中的技术方案，以下对实施例或现有技术的描述中所使用的附图进行简要介绍。显然，附图仅仅是本公开的一些实施例，并且本领域普通技术人员也可以在不付出创造性劳动的情况下根据这些附图来获得其它附图。图1图示了根据本公开一些实施例的用于辅助驾驶的方法。图2图示了根据本公开一些实施例的用于获得预训练的预测模型的方法。图3图示了根据本公开一些实施例的用于辅助驾驶的装置。图4图示了根据本公开一些实施例的车辆。图5图示了根据本公开一些实施例的计算设备的框图，该计算设备是可以应用于本公开各方面的硬件设备的示例。具体实施方式在以下详细描述中，阐述了许多具体细节以提供对所描述的示例性实施例的透彻理解。但是，对本领域技术人员来说，显而易见的是所描述的实施例可以在没有这些具体细节中的一些或全部的情况下实践。在其它示例性实施例中，众所周知的结构或处理步骤没有详细描述，以避免不必要地模糊本公开的概念。目前，在一些事情正在发生时，通过使用传感器，行进中的车辆可以识别与安全性相关的场景(例如，在高速公路上反超的卡车、被其它车辆超车抢挡)。但是，车辆仅在发生事情时才识别安全性风险。无法识别移动物体(例如，反超的卡车，或可能试图超车抢挡的车辆)的意图。交通中移动物体的意图识别可以在事情发生之前支持车辆。例如，如果假设有两辆卡车(例如，第一辆卡车和其后的第二辆卡车)在高速公路上的行车道上行驶，该行车道位于车辆现在正在行驶的车道的右边。第二辆卡车的行驶速度比第一辆卡车快20公里/小时。两辆卡车之间的距离越来越短。因此，第二辆卡车反超第一辆卡车的意图提高。车辆驾驶员的安全性风险概率也提高了，因为第二辆卡车可能通过进入车辆现在正在行驶的车道来反超第一辆卡车。如果可以预测交通中移动物体(例如，以上示例中的第二辆卡车)的运动意图，那么将增加车辆和卡车的驾驶员的驾驶安全性，并相应地提高顾客满意度。鉴于上述情况，根据本公开的一些实施例，提供了用于通过预测交通中移动物体的运动意图来辅助驾驶的方法和装置。图1图示了根据本公开的一些实施例的用于辅助驾驶的方法100。如图1中所示，方法100可以包括在步骤S110中从捕获的关于车辆周围状况的视频中识别视频帧的一个或多个集合。视频帧的一个或多个集合可以包括移动物体。视频可以由车辆的视频捕获设备(诸如车辆的相机)捕获。视频可以指示车辆的周围状况。视频可以包括一系列视频帧。应当注意的是，由于在车辆周围没有移动物体，因此所捕获的视频的一些片段可以不包括移动物体，并且分析视频的这些片段对辅助驾驶没有帮助。因此，在方法100的这个步骤，从捕获的视频中识别包括移动物体的视频帧的一个或多个集合。可以通过任何目标识别方法来识别包括移动物体的视频帧。在示例中，目标识别方法可以包括将捕获的视频与用于移动物体的模板进行匹配。可以预先提供模板。在另一个示例中，目标识别方法可以包括以下操作：获得训练图像、训练目标识别模型，以及使用经训练的模型来识别捕获的视频中的物体。目标识别模型可以包括任何现有的机器学习模型或将来开发的机器学习模型。在一些实施例中，移动物体可以包括以下当中的一种或多种：车辆、行人、非机动车辆(例如，自行车、三轮车、电动自行车、残疾人电动轮椅或动物车辆等)和动物(例如，与交通相关的狗、猫、牛或其它动物)。在步骤S110处识别出包括移动物体的视频帧的一个或多个集合后，方法100还可以包括在步骤S120处从识别出的视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征。在一些实施例中，指示移动物体的运动特点的一个或多个特征可以包括以下当中的一个或多个：移动物体的速度、移动物体的移动朝向、移动物体和交通中其它移动物体之间的距离、移动物体和车辆之间的距离以及移动物体的加速度。在一些实施例中，可以通过单独地或与车辆的传感器数据组合地分析视频帧的一个或多个集合来提取指示移动物体的运动特点的特征。方法100还可以包括在步骤S130处基于一个或多个特征来预测视频帧的一个或多个集合中移动物体的运动意图。在一些实施例中，运动意图可以包括以下当中的一个或多个：过马路、加速、减速、突然停止、超车抢挡、停车和超车。在示例中，假设典型的超车场景，在时间t1和时间t2(其中时间t2在t1之后)分别有两个视频帧。在简化的场景中，可以在满足以下条件时确定超车的运动意图：(a)在时间t2移动物体M2(例如，第二卡车)的速度大于在时间t1移动物体M2的速度；以及(b)在时间t2移动物体M2和M2前方的移动物体(例如，第一卡车)之间的距离小于在时间t1它们之间的距离。所利用的移动物体的速度以及距离可以已经从识别出的视频帧的一个或多个集合中提取出来，并且可以由在步骤S120中提取出的特征指示。此外，时间t1和时间t2可以是视频帧的时间戳。在更复杂的场景中，可以在满足附加条件时确定超车的运动意图：(c)在时间t2移动物体M2的加速度大于加速度阈值；以及(d)在时间t2移动物体M2和M2前方的移动物体之间的距离大于第一距离阈值并且小于第二距离阈值。注意的本文档来自技高网...
【技术保护点】
1.一种用于辅助驾驶的方法，包括：/n从捕获的关于车辆的周围状况的视频中识别视频帧的一个或多个集合，其中所述视频帧的一个或多个集合包括移动物体；/n从所述视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及/n基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图。/n
【技术特征摘要】
【国外来华专利技术】1.一种用于辅助驾驶的方法，包括：
从捕获的关于车辆的周围状况的视频中识别视频帧的一个或多个集合，其中所述视频帧的一个或多个集合包括移动物体；
从所述视频帧的一个或多个集合中提取指示移动物体的运动特点的一个或多个特征；以及
基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图。
2.如权利要求1所述的方法，还包括：
基于所述一个或多个特征来确定运动意图的运动分数。
3.如权利要求1所述的方法，其中预测包括：
通过使用预训练的预测模型，基于所述一个或多个特征来预测所述视频帧的一个或多个集合中移动物体的运动意图。
4.如权利要求3所述的方法，其中预训练的预测模型是通过以下方式获得的：
从预先记录的训练视频片段中识别训练视频帧的一个或多个集合，其中所述训练视频帧的一个或多个集合包括训练移动物体；
确定所述训练视频帧的一个或多个集合中训练移动物体的真实运动意图；
从所述训练视频帧的一个或多个集合中提取指示训练移动物体的运动特点的一个或多个训练特征；
通过使用预测模型，基于从所述训练视频帧的一个或多个集合中提取出的所述一个或多个训练特征来预测训练移动物体的运动意图；以及
基于真实运动意图和预测运动意图来修改预测模型的参数。
5.如权利要求4所述的方法，其中预测模型包括以下当中的一个或多个：
生成对抗网络、自动编码变化贝叶斯和自动回归模型。
6.如权利要求1所述的方法，其中指示移动物体的运动特点的所述一个或多个特征包括以下当中的一个或多个：
移动物体的速度、移动物体的移动朝向、移动物体和交通中其它移动物体之间的距离、移动物体和车辆之间的距离以及移动物体的加速度。
7.如权利要求1所述的方法，其中移动物体包括以下当中的一种或多种：车辆、行人、非机动车辆或动物。
8.如权利要求1所述的方法，其中运动意图包括以下当中的一个或多个：
过马路、加速、减速、突然停止、超车抢挡、停车和超车。
9.如权利要求1所述的方法，还包括：
向车辆的驾驶员提示移动物体的运动意图。
10.如权利要求2所述的方法，还包括：
向车辆的驾驶员提示运动意图的运动分数。
...
【专利技术属性】
技术研发人员：S·卡拉布鲁恩，
申请(专利权)人：宝马股份公司，
类型：发明
国别省市：德国;DE
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。