一种基于AR-HMD的智能头盔盲区检测系统和方法技术方案

本发明专利技术公开一种基于AR

【技术实现步骤摘要】
一种基于AR
‑
HMD的智能头盔盲区检测系统和方法


[0001]本专利技术涉及辅助驾驶
，特别涉及一种基于AR
‑
HMD(Augmented Reality
‑
Head Mounted Display，增强现实
‑
头盔显示器)的智能头盔盲区检测系统和方法。

技术介绍

[0002]摩托车在行驶途中会遇到快速变道的情况，但由于头盔的限制导致驾驶员存在盲区，不能清楚地知道道路后方的情况。
[0003]随着技术的发展，主要在头盔上安装摄像头，通过将后方盲区视野投射到头盔前方显示面板让驾驶员进行判断。上述方法虽然省去了驾驶员观察后视镜或转头的方向，但是此技术仍然需要驾驶人观察图像进行判断可否变道，这对于高速行驶的摩托车来说优势并不明显。
[0004]还有使用广角摄像头以360
°
覆盖摩托车周围，结合图像识别和人工智能算法进行目标判断，当检测到后方有目标时，会将变道预警信息显示到对应的后视镜上通过LED灯显示。但是这种技术需要增加昂贵的人工智能运算模块，并且不能识别距离很近甚至贴近摄像头的物体，仍然需要驾驶人偏头看后视镜上的LED灯。
[0005]因此，现有技术的盲区检测功能和变道辅助功能准确率较低或成本过高，不能真正有效的节省驾驶人对于变道时盲区的感知时间。

技术实现思路

[0006]针对现有技术中智能头盔盲区检测实时性较低的问题，本专利技术提出一种基于AR
‑
HMD的智能头盔盲区检测系统和方法，通过在智能头盔中设置传输模块，将拍摄画面传输到移动终端的目标检测与跟踪模块进行目标识别与跟踪，并投影显示在智能头盔的AR
‑
HMD中，从而节省驾驶员对盲区的观察判断时间，提高了盲区检测实时性。
[0007]为了实现上述目的，本专利技术提供以下技术方案：
[0008]一种基于AR
‑
HMD的智能头盔盲区检测系统，其包括头盔与移动终端两部分，其中头盔部分由摄像装置、传输模块、报警模块组成，移动终端部分由目标检测与跟踪模块组成。
[0009]进一步的，所述摄像装置安装在智能头盔的两侧，用于拍摄智能头盔侧后方的图像；所述传输模块安装在智能头盔中，用于将图像发送给目标检测与跟踪模块，并接收安全报警信息；报警模块将安全报警信息通过AR
‑
HMD显示进行安全预警；目标检测与跟踪模块用于检测出目标并生成安全报警信息。
[0010]进一步的，所述目标检测与跟踪模块通过双目视觉检测出后方目标并计算目标距离，首先通过相机标定，得出每个摄像头的内部参数(包括焦距、成像原点、畸变系数)以及两个摄像头之间的相对位置，即右摄像头相对于左摄像头的旋转矩阵R、平移向量t；然后根据摄像头的单目内参数据和双目相对位置关系分别对左右视图进行消除畸变和行对准，使得左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐；
最后通过双目匹配把同一场景在左右视图上对应的像点匹配起来，根据双目测距原理进行图像像素距离的恢复，得到每个像素点的距离信息，最终获取目标与摄像头的距离。
[0011]进一步的，建立与头盔固联的坐标系，在坐标系下建立目标运动状态模型与量测模型来描述目标运动：
[0012]x
k
＝Ax
k
‑1+Bu
k
‑1+w
k
‑1(1)
[0013]z
k
＝Hx
k
+v
k
(2)
[0014]其中x
k
表示k时刻的目标状态，z
k
表示k时刻的目标测量，A为状态转移矩阵，u
k
‑1为系统输入，B为将输入转换为状态的矩阵，H为量测矩阵，w
k
‑1和v
k
分别为相互独立的过程噪声和量测噪声。
[0015]进一步的，以双目摄像头检测的目标位置为量测，利用卡尔曼滤波器估计各目标的运动状态：
[0016][0017]P
k
‑
＝AP
k
‑1A
T
+Q(4)
[0018]其中，为目标k
‑
1时刻的最优状态估计，为目标k时刻的状态预测值，Q为服从正态分布的过程噪声，P
k
‑
为k时刻的先验估计协方差，P
k
‑1表示k
‑
1时刻的后验估计协方差。
[0019]计算卡尔曼增益K
k
，通过先验估计和量测的到目标的最优状态估计，更新最优估计协方差：
[0020]K
k
＝P
k
‑
H
T
(HP
k
‑
H
T
+R)
‑1(5)
[0021][0022]P
k
＝(I
‑
K
k
H)P
k
‑
(7)
[0023]其中，R为测量噪声协方差，H为状态变量到测量的转换矩阵，I为单位矩阵。
[0024]一种基于AR
‑
HMD的智能头盔盲区检测方法，其特征在于，具体包括以下步骤：
[0025]将智能头盔与移动终端进行通信连接；
[0026]摄像装置实时检测驾驶员两侧及后方的图像，并将图像传输到移动终端；
[0027]移动终端的目标检测与跟踪模块进行目标检测，计算感兴趣的目标距离作为量测值，并通过目标跟踪估计目标速度，判断目标威胁程度；
[0028]移动终端将目标及其威胁程度信息传输到智能头盔，由报警模块将目标及其威胁程度信息投射到AR
‑
HMD前屏并输出不同等级提示。
[0029]进一步的，根据目标运动状态，筛选出感兴趣的目标集合T＝{T
l
，T
m
，T
r
}，分别表示相邻左车道、本车道及相邻右车道的后方满足以下条件的最近目标：
[0030][0031]其中，D及v为相对距离及相对速度，Tc为给定的碰撞时间门限。
[0032]进一步的，根据目标检测情况进行车辆变道趋势判断方法，其步骤包括：
[0033](1)定义变道趋势计数向量L＝[C
l
,C
r
]，分别表示左、右车道变道趋势的累计情况；
[0034](2)计算当前时刻感兴趣目标的的方位角之和：
[0035]θ(k)＝∑θ
Ti
(k),T
i
∈T
[0036]其中，θ(k)表示k时刻的方位角之和，T
i
表示第i个目标，θ
Ti
(k)表示第i个目标的方
位角；
[0037](3)与上一时刻比较，计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR
‑
HMD的智能头盔盲区检测系统，其特征在于，包括智能头盔与移动终端；所述智能头盔包括摄像装置、传输模块、报警模块；所述移动终端包括目标检测与跟踪模块；所述摄像装置安装在智能头盔的两侧，用于拍摄智能头盔侧后方的图像；所述传输模块安装在智能头盔内部，用于将图像发送给移动端的目标检测与跟踪模块，并接收安全报警信息；报警模块将安全报警信息通过AR
‑
HMD显示进行安全预警；所述目标检测与跟踪模块用于检测出目标并生成安全报警信息。2.如权利要求1所述的一种基于AR
‑
HMD的智能头盔盲区检测系统，其特征在于，还包括独立采集装置，安装在车辆尾部或行李箱；所述独立采集装置上集成有摄像装置、传输模块，用于将采集的车辆后方的图像传输到移动终端进行处理以生成安全报警信息。3.一种基于AR
‑
HMD的智能头盔盲区检测方法，其特征在于，具体包括以下步骤：S1：将智能头盔与移动终端进行通信连接；S2：摄像装置实时检测驾驶员两侧及后方的图像，并将图像传输到移动终端；S3：移动终端的目标检测与跟踪模块进行目标检测，计算感兴趣的目标距离作为测量值，并通过目标跟踪估计目标速度，判断目标车辆变道趋势以及目标威胁程度；S4：移动终端将目标及其威胁程度信息传输到智能头盔，由报警模块将目标及其威胁程度信息投射到AR
‑
HMD前屏并输出不同等级提示。4.如权利要求3所述的一种基于AR
‑
HMD的智能头盔盲区检测方法，其特征在于，步骤S3中感兴趣的目标集合T＝{T
l
，T
m
，T
r
}，T
l
、T
m
、T
r
分别表示相邻左车道、本车道及相邻右车道的后方满足以下条件的最近目标：公式(1)中，D表示相对距离，v表示相对速度，Tc为给定的碰撞时间门限。5.如权利要求3所述的一种基于AR
‑
HMD的智能头盔盲区检测方法，其特征在于，所述S3中，目标车辆变道趋势判断方法为：S3...

【专利技术属性】
技术研发人员：谢正文，岑明，曹龙汉，徐旺，梁晓雄，
申请(专利权)人：重庆利龙中宝智能技术有限公司，
类型：发明
国别省市：