用于诊断车辆传感器的异常的设备及其方法技术

本发明专利技术涉及用于诊断车辆传感器的异常的设备及其方法。提供了一种用于诊断车辆传感器的异常的设备。该设备包括：传感器，被配置为测量车辆的加速度和角速度；相机，被配置为生成车辆的前方时间序列图像帧；以及控制器，被配置为通过使用由相机生成的前方时间序列图像帧估计车辆的加速度和角速度并且基于由控制器估计的车辆的加速度和角速度来诊断传感器中的异常。中的异常。中的异常。

【技术实现步骤摘要】
用于诊断车辆传感器的异常的设备及其方法
[0001]相关申请的交叉引用
[0002]本申请要于2019年11月19日在韩国知识产权局提交的韩国专利申请第10-2019-0148203号的优先权，该申请通过引证并入本文中。


[0003]本公开涉及用于基于车辆行为信息来诊断传感器中的异常的技术。

技术介绍

[0004]近来，自主紧急制动(AEB)系统、前方碰撞警告(FCW)系统、自适应巡航控制(ACC)系统、车道偏离警告系统(LDWS)、车道保持辅助系统(LKAS)、盲点检测(BSD)设备、后端碰撞警告(RCW)系统、智能停车辅助系统(SPAS)等已经安装在车辆上。
[0005]此外，车辆中设置各种传感器，诸如，相机传感器、光探测及测距(LiDAR)传感器、无线电探测和测距(RADAR)传感器、超声波传感器、陀螺仪传感器、加速度传感器等，以正常操作以上描述的各种系统。在这种情况下，由于行驶时对车辆的影响和随时间的劣化，陀螺仪传感器和加速度传感器可能引起测量误差。
[0006]通常，用于校正陀螺仪传感器的偏差误差的技术提取从图像传感器输出的连续图像帧之间的特征点，将提取的特征点之间的移动位移转换成姿势角，并且通过将转换的移动位移除以图像帧的频率来提取角速度，并且基于提取的角速度来校正陀螺仪传感器的误差。
[0007]这种常规技术公开了在“harris角点检测”方案中提取特征点并且在“光流”方案中匹配特征点以估计角速度的技术。然而，没有公开用于基于人工神经网络(ANN)来估计角速度的技术。具体地，根据相关技术，仅公开了用于估计角速度的技术，但是没有公开用于一起估计角速度和加速度的任何技术。
[0008]在本
技术介绍
部分中描述的内容旨在促进对本公开的背景的理解，并且可以包括本领域普通技术人员未知的内容。

技术实现思路

[0009]已经提出本公开，以解决在现有技术中存在的问题，同时保持通过现有技术所实现的优势不受影响。
[0010]本公开的实施方式提供一种用于诊断车辆传感器的异常的设备及其方法，其能够通过使用安装在车辆上的相机的时间序列图像帧来估计车辆的行为并且基于所估计的行为信息来诊断车辆传感器的异常，从而防止由于车辆传感器的异常可能发生的交通事故。
[0011]本专利技术构思所要解决的技术问题不局限于前述问题，并且本公开所属领域的技术人员将从以下描述中清楚地理解在本文中未提及的任何其他技术问题。
[0012]根据本公开的实施方式，一种用于诊断车辆传感器的异常的设备，包括：传感器，测量车辆的加速度和角速度；相机，生成车辆的前方时间序列图像帧；以及控制器，通过使
用由相机生成的时间序列图像帧来估计车辆的加速度和角速度并且基于所估计的车辆的加速度和角速度来诊断传感器中的异常。
[0013]控制器可以包括：第一姿态网络，通过使用在时间点t-1处的图像和在时间点t处的图像来预测相机的第一姿态信息；第二姿态网络，通过使用在时间点t-2处的图像和在时间点t-1处的图像来预测相机的第二姿态信息；六维(6D)估计网络，通过使用第一姿态信息和第二姿态信息来估计车辆的加速度和角速度；以及诊断装置，将由6D估计网络估计的车辆的加速度和角速度与由传感器测量的车辆的加速度和角速度相比较以诊断传感器中的异常。
[0014]诊断装置可以基于6D估计网络估计的加速度，当由传感器中的加速度传感器测量的加速度的误差不包括在第一误差范围内时，诊断加速度传感器发生异常。
[0015]诊断装置可以基于6D估计网络估计的角速度，当由传感器中的陀螺仪传感器测量的角速度的误差不包括在第二误差范围内时，诊断陀螺仪传感器发生异常。
[0016]第一姿态信息可以包括旋转信息(R
t-2
→
t-1
)和位置信息(L
t-2
→
t-1
)，并且第二姿态信息可以包括旋转信息(R
t-1
→
t
)和位置信息(L
t-1
→
t
)。
[0017]第一姿态网络和第二姿态网络可以是卷积神经网络(CNN)，并且6D估计网络包括多层感知器网络。
[0018]控制器可以包括：姿态网络，通过使用在时间点t-1处的图像和在时间点t处的图像预测相机的第一姿态信息并且通过使用在时间点t-2处的图像和在时间点t-1处的图像预测相机的第二姿态信息；6D估计网络，通过使用第一姿态信息和第二姿态信息来估计车辆的加速度和角速度；以及诊断装置，将由6D估计网络估计的车辆的加速度和角速度与由传感器测量的车辆的加速度和角速度相比较以诊断传感器中的异常。
[0019]诊断装置可以基于6D估计网络估计的加速度，当由传感器中的加速度传感器测量的加速度的误差不包括在第一误差范围内时，诊断加速度传感器发生异常。
[0020]诊断装置可以基于6D估计网络估计的角速度，当由传感器中的陀螺仪传感器测量的角速度的误差不包括在第二误差范围内时，诊断陀螺仪传感器发生异常。
[0021]第一姿态信息可以包括旋转信息(R
t-2
→
t-1
)和位置信息(L
t-2
→
t-1
)，并且第二姿态信息可以包括旋转信息(R
t-1
→
t
)和位置信息(L
t-1
→
t
)。
[0022]第一姿态网络和第二姿态网络可以是卷积神经网络(CNN)，并且6D估计网络可以是多层感知器网络。
[0023]根据本公开的另一实施方式，一种用于诊断车辆传感器的异常的方法，可以包括：由传感器测量车辆的加速度和角速度；由相机生成车辆的前方时间序列图像帧；以及由控制器通过使用由相机生成的时间序列图像帧估计车辆的加速度和角速度并且基于所估计的车辆的加速度和角速度来诊断传感器的异常。
[0024]诊断传感器的异常可以包括：通过使用在时间点t-1处的图像和在时间点t处的图像来预测相机的第一姿态信息；通过使用在时间点t-2处的图像和在时间点t-1处的图像来预测相机的第二姿态信息；通过使用第一姿态信息和第二姿态信息估计车辆的加速度和角速度；通过将估计的加速度与测量的加速度相比较诊断加速度传感器的异常；以及通过将估计的角速度与测量的角速度相比较诊断陀螺仪传感器的异常。
[0025]诊断加速度传感器的异常可以包括：基于估计的加速度确定测量的加速度的误差
是否包括在第一误差范围内；当测量的加速度的误差不包括在第一误差范围内时，诊断加速度传感器发生异常作为确定结果；以及当测量的加速度的误差包括在第一误差范围内时，诊断加速度传感器中未发生异常作为确定结果。
[0026]诊断陀螺仪传感器的异常可以包括：基于估计的角速度确定测量的角速度的误差是否包括在第二误差范围内；当测量的角速度的误差不包括在第二误差范围内时，诊断陀螺仪传感器发生异常作为确定结果；以及当测量本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于诊断车辆传感器的异常的设备，所述设备包括：传感器，被配置为测量车辆的加速度和角速度；相机，被配置为生成所述车辆的前方时间序列图像帧；以及控制器，被配置为通过使用由所述相机生成的所述前方时间序列图像帧估计所述车辆的加速度和角速度并且基于由所述控制器估计的所述车辆的加速度和角速度来诊断所述传感器中的异常。2.根据权利要求1所述的设备，其中，所述控制器包括：第一姿态网络，被配置为通过使用在时间点t-1处的图像和在时间点t处的图像来预测所述相机的第一姿态信息；第二姿态网络，被配置为通过使用在时间点t-2处的图像和在时间点t-1处的图像来预测所述相机的第二姿态信息；六维估计网络，被配置为通过使用所述第一姿态信息和所述第二姿态信息来估计所述车辆的加速度和角速度；以及诊断装置，被配置为将由所述六维估计网络估计的所述车辆的加速度和角速度与由所述传感器测量的所述车辆的加速度和角速度相比较以诊断所述传感器中的异常。3.根据权利要求2所述的设备，其中，所述诊断装置被配置为基于所述六维估计网络估计的加速度，当由所述传感器中的加速度传感器测量的加速度的误差不包括在第一误差范围内时，诊断所述加速度传感器发生异常。4.根据权利要求2所述的设备，其中，所述诊断装置被配置为基于所述六维估计网络估计的角速度，当由所述传感器中的陀螺仪传感器测量的角速度的误差不包括在第二误差范围内时，诊断所述陀螺仪传感器发生异常。5.根据权利要求2所述的设备，其中，所述第一姿态信息包括旋转信息和位置信息。6.根据权利要求2所述的设备，其中，所述第二姿态信息包括旋转信息和位置信息。7.根据权利要求2所述的设备，其中，所述第一姿态网络和所述第二姿态网络是卷积神经网络。8.根据权利要求2所述的设备，其中，所述六维估计网络包括多层感知器网络。9.根据权利要求1所述的设备，其中，所述控制器包括：姿态网络，被配置为通过使用在时间点t-1处的图像和在时间点t处的图像预测所述相机的第一姿态信息并且通过使用在时间点t-2处的图像和在时间点t-1处的图像预测所述相机的第二姿态信息；六维估计网络，被配置为通过使用所述第一姿态信息和所述第二姿态信息来估计所述车辆的加速度和角速度；以及诊断装置，被配置为将由所述六维估计网络估计的所述车辆的加速度和角速度与由所述传感器测量的所述车辆的加速度和角速度相比较以诊断所述传感器中的异常。10.根据权利要求9所述的设备，其中，所述诊断装置被配置为基于所述六维估计网络估计的加速度，当由所述传感器中的加速度传感器测量的加速度的误差不包括在...

【专利技术属性】
技术研发人员：具廷谟，黄详弼，金龙均，曺范根，金玟常，具亨一，金素郔，
申请(专利权)人：起亚自动车株式会社亚洲大学校产学协力团，
类型：发明
国别省市：