驾驶辅助方法和系统技术方案

本发明专利技术涉及一种辅助驾驶车辆

【技术实现步骤摘要】
【国外来华专利技术】驾驶辅助方法和系统


[0001]本专利技术涉及电子领域
。
更详细地，本专利技术涉及驾驶辅助方法和系统
。

技术介绍

[0002]迄今为止，诸如关于移动速度
、
燃料水平
、
导航方向等的信息的驾驶信息示出在车辆的仪表板上或车辆配备的任何信息娱乐屏幕上
。
仪表板和屏幕二者通常位于车辆中需要驾驶员将眼睛至少部分离开道路环境的位置，因此既降低了驾驶安全性又降低了使用这种信息的可能性
。
[0003]在汽车和航空领域，“平视显示器”，或简称为
HUD
，已经被提出作为这个问题的部分解决方案
。HUD
是一种允许将图像投射到车辆挡风玻璃上的系统
。
特别地，
HUD
允许信息直接投射到汽车的挡风玻璃上，使用户能够专注于驾驶，始终保持他对道路的关注
。
[0004]然而，
HUD
的当前标准，已知为
HUD 1.0
，仅用于示出经典机载仪器提供的冗余信息
。
此外，申请人已经观察到
HUD
技术不允许有效地描绘增强现实的元素
。
事实上，投影系统完全覆盖驾驶员视野所需的范围比现有技术水平下可获得的范围大得多
。
特别地，没有
HUD
能够利用基本上由车辆挡风玻璃限定的整个主视野，以及辅助视野，例如一个或多个侧窗
。
[0005]除了<br/>HUD
系统之外，最近已经提出了基于可佩戴屏幕的系统，更好地已知为“头戴式显示器”，或简称为
HMD
，其包括透明或半透明的屏幕，在该屏幕上可以再现图像，例如向驾驶车辆时佩戴
HMD
的用户提供驾驶辅助信息
。
[0006]例如，
US2016/084661、EP 2933707、US2015/317834
和
US 2015/097864
描述了涉及使用
HMD
的驾驶辅助系统
。
[0007]此外，
G.Berg,“Das Vehicle in the Loop:Ein Werkzeug f
ü
r die Entwicklung und Evaluation von sicherheitskritischen Fahrerassistenzsystemen”,M
ü
nchen,Univ.derBundeswehr,Diss.,2014
描述了一种驾驶辅助系统，包括使用
HMD
以及静态
(
标记
)
和动态
(
头部跟踪器
)
参考元件，以便精确地确定由
HMD
获取的图像相对于车辆的姿态
。
[0008]申请人注意到，已知的系统制造起来非常复杂，并且在将增强现实图像放置在用户的视野中时提供受限的质量
。
事实上，申请人观察到，在已知系统中，增强现实图像与
HMD
框定的真实环境不协调
。
具体而言，增强现实图像出现在相对于其预期放置偏移的位置，特别是在增强现实图像旨在出现为叠加或布置在平坦表面
(
如道路表面
)
上的情况下，和
/
或在增强现实对象位于距观察点
(
即距
HMD
的位置
)
相当远的距离
(
例如百米量级的距离
)
的情况下
。

技术实现思路

[0009]本专利技术的目的是克服现有技术的缺点
[0010]特别地，本专利技术的目的是提供一种驾驶辅助方法和相关系统，其被配置为通过
HMD
再现增强现实图像，使得它们与用户通过
HMD
观察到的周围环境相协调
。
[0011]本专利技术的进一步的目的是提出一种方法和相关系统，其允许以最佳方式再现旨在
叠加在表面上
、
特别是道路表面上的增强现实对象
。
[0012]本专利技术的这些和其他目的是通过并入了所附权利要求的特征的系统来实现的，所附权利要求形成了本说明书的组成部分
。
[0013]根据第一方面，本专利技术涉及一种车辆驾驶辅助方法
。
该方法通过一种系统来实现，该系统包括安装在车辆上的
HMD
和定位模块，其中
HMD
包括屏幕和沿着屏幕的主长度方向位于屏幕的相对侧的一对视频相机
。
[0014]该方法包括以下步骤：
[0015]a.
借助于
HMD
获取一对图像，每个图像由
HMD
的相应相机获取，并且框定相同视野部分，所述相同视野部分包括道路表面的一部分；
[0016]b.
基于该对获取的图像和视频相机的特性，估计包括在相同视野部分中的每个点在三维空间中的位置；
[0017]c.
基于所获取的该对图像和由定位模块确定的在获取该对图像附近的位置，估计包括道路表面的所述部分的三维空间的感兴趣体积；
[0018]d.
选择包括在相同视野部分中并且包括在感兴趣体积中的点的子集；
[0019]e.
基于包括在所选点的子集中的点的估计位置来计算对应于道路表面的平坦表面，以及
[0020]g.
在
HMD
的屏幕上再现二维图像，使得其被布置在与步骤
e
中计算的道路表面相对应的平坦表面上
。
[0021]由于这种解决方案，二维图像，即由屏幕再现的增强现实图像，被佩戴
HMD
的用户感知为正确定位在视野内的
(
虚拟
)
对象，即使在远距离，例如在距离佩戴
HMD
的用户几百米的量级的远距离
。
特别地，显示在道路表面附近的增强现实对象被正确地布置在其上，就好像它们是绘制在道路表面上的图像或者搁置在道路表面上的物理三维对象一样
。
因此，避免了所谓的“诡异谷”效应
——
归因于真实环境和在
HMD
屏幕上再现的增强现实图像之间缺乏和谐
——
该效应可能对佩戴
HMD
的用户的感知和
/
或驾驶表现有负面影响
。
[0022]在一个实施例中，每个获取的图像是数字图像，因此包括沿行和列对准布置的多个像素
。
在这种情况下，估计包括在相同视野部分中的每个点在三维空间中的位置的步骤
b
包括：
[0023]‑
对于与包括在相同视野部分中的点相关联的本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种辅助驾驶车辆
(5)
的方法
(200
，
300)
，由包括安装在车辆
(5)
上的
HMD(10)
和定位模块
(20)
的系统
(1)
实现，其中
HMD(10)
包括屏幕
(11)
和沿着屏幕
(11)
的主长度方向位于屏幕
(11)
的相对侧的一对视频相机
(15)
，所述方法
(200
，
300)
包括以下步骤：
a.
借助于
HMD(10)
获取
(301)
一对图像
(IL
，
IR)
，每个图像由
HMD(10)
的相应相机
(15)
获取，并且框定相同视野
(FOV)
部分，所述相同视野
(FOV)
部分包括道路表面
(OR0)
的一部分；
b.
基于该对获取的图像和相机的特性，估计
(303)
包括在相同视野
(FOV)
部分中的每个点在三维空间
(VOL)
中的位置；
c.
基于所获取的该对图像
(IL
，
IR)
和由定位模块
(5)
确定的在获取该对图像
(IL
，
IR)
附近的位置，估计
(305)
包括道路表面
(OR0)
的所述部分的三维空间
(VOL)
的感兴趣体积
(VC)
；
d.
选择
(307)
包括在相同视野
(FOV)
部分中并且包括在感兴趣体积
(VC)
中的点的子集；
e.
基于包括在所选点的子集中的点的估计位置来计算
(309)
对应于道路表面
(OR0)
的平坦表面
(RS)
，以及
g.
在
HMD(10)
的屏幕
(11)
上再现
(311
，
313
，
215)
二维图像
(AR)
，使得其被布置在与步骤
e
中计算的道路表面
(OR0)
相对应的平坦表面
(RS)
上
。2.
根据权利要求1所述的方法
(200
，
300)
，其中每个获取的图像
(IL
，
IR)
包括沿行和列对准布置的多个像素，并且其中估计
(305)
包括在相同视野
(FOV)
部分中的每个点在三维空间
(VOL)
中的位置的步骤
b
包括：
‑
对于与包括在相同视野
(FOV)
部分中的点相关联的该对图像中一个图像
(IL
，
IR)
的每个像素，标识
(3031)
与包括在相同视野
(FOV)
部分中的相同点相关联的该对图像中另一个图像
(IL
，
IR)
中的对应像素，以及
‑
通过基于所述像素对执行点的三角测量来确定
(3033)
所述点在三维空间
(VOL)
中的位置
。3.
根据权利要求2所述的方法
(200
，
300)
，其中标识
(3031)
该对图像中另一个图像
(IL
，
IR)
中的对应像素的步骤包括：
‑
通过比较该对图像中的图像
(IL
，
IR)
来计算
(3031)
视差图，并且其中确定
(3033)
所述点在三维空间
(VOL)
中的位置包括：
‑
在点的三角测量中使用视差图中包括的该对图像
(IL
，
IR)
的对应像素之间的视差值
。4.
根据前述权利要求中任一项所述的方法
(200
，
300)
，其中估计
(305)
包括道路表面
(OR0)
的所述部分的三维空间
(VOL)
的感兴趣体积
(VC)
的步骤
c
包括：
‑
基于该对图像
(IL
，
IR)
和由定位模块确定的在获取该对图像
(IL
，
IR)
附近的位置来估计
(3051)
道路表面
(OR0)
的所述部分的近似位置
(P0)
；
‑
计算或选择第一偏移值；
‑
计算或选择第二偏移值；
‑
将感兴趣体积
(VC)
定义
(3053
，
3055)
为由第一边界表面
(SU)
和第二边界表面
(SB)
界定的体积，第一边界表面
(SU)
位于等于道路表面
(OR0)
的所述部分的近似位置
(P0)
加上第一偏移值的高度，第二边界表面
(SB)
位于等于道路表面
(OR0)
的所述...

【专利技术属性】
技术研发人员：M，
申请(专利权)人：米兰综合工科大学，
类型：发明
国别省市：