System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 车辆碰撞检测方法、电子设备及计算机可读存储介质技术_技高网

车辆碰撞检测方法、电子设备及计算机可读存储介质技术

技术编号:40494504 阅读:3 留言:0更新日期:2024-02-26 19:23
本申请公开了一种车辆碰撞检测方法、电子设备及计算机可读存储介质,涉及车辆安全技术领域,所述车辆碰撞检测方法包括:将原始视频数据和原始音频数据转换成符合预设格式的特征数据,其中,所述特征数据至少包括音频能量频谱和视频特征数据;将所述音频能量频谱输入预设的第一音频检测模型,通过所述第一音频检测模型进行车辆碰撞检测,得到第一检测结果;若所述第一检测结果为碰撞,则将所述视频特征数据输入到预设的目标视频检测模型中,通过所述视频检测模型进行车辆碰撞检测,得到第二检测结果。本申请与使用单一数据流、单个深度神经网络的检测方案相比,融合了视频数据和音频数据。来进行碰撞检测,大幅度提升了车辆碰撞检测的准确率。

【技术实现步骤摘要】

本申请涉及车辆安全,尤其涉及一种车辆碰撞检测方法、电子设备及计算机可读存储介质


技术介绍

1、在日常的行车场景中,行车记录仪用于记录并存储车辆行驶期间的视频、音频、速度以及加速度等信息。在大多数情况下,行车记录仪记录的数据均为正常行车情况下的数据,保存价值不高。而包含事故场景的视频则保存价值较高,因此,对行车记录仪的数据进行筛选和过滤,保留高价值视频数据成为了驾驶场景中重要的需求。

2、目前的数据筛选方法包括采用深度神经网络根据图像数据流或声音数据流进行检测来判断图像或声音中是否包括碰撞场景。但仅仅依赖单一的图像或声音数据无法全面反映车辆行驶中的所有信息,其中,图像检测忽视了视频中的时间维度信息,而声音所包含的信息相对有限,从而导致车辆碰撞检测的准确性偏低。


技术实现思路

1、本申请的主要目的在于提供一种车辆碰撞检测方法、电子设备及计算机可读存储介质,旨在解决车辆碰撞检测的准确性偏低的技术问题。

2、为实现上述目的,本申请提供一种车辆碰撞检测方法,所述车辆碰撞检测方法包括:

3、将原始视频数据和原始音频数据转换成符合预设格式的特征数据,其中,所述特征数据至少包括音频能量频谱和视频特征数据;

4、将所述音频能量频谱输入预设的第一音频检测模型,通过所述第一音频检测模型进行车辆碰撞检测,得到第一检测结果;

5、若所述第一检测结果为碰撞,则将所述视频特征数据输入到预设的目标视频检测模型中,通过所述视频检测模型进行车辆碰撞检测,得到第二检测结果。

6、可选地,所述视频特征数据至少包括光流视频数据、差分视频数据以及rgb视频数据,所述将原始视频数据和原始音频数据转换成符合预设格式的特征数据的步骤包括:

7、将所述原始视频数据和所述原始音频数据进行格式预处理,得到预设格式视频数据和预设格式音频数据;

8、根据所述预设格式视频数据生成光流视频数据、差分视频数据以及rgb视频数据;

9、对所述预设格式音频数据进行快速傅里叶变换,生成音频能量频谱。

10、可选地,所述通过所述第一音频检测模型进行车辆碰撞检测,得到第一检测结果的步骤包括:

11、通过所述第一音频检测模型根据所述音频能量频谱进行车辆碰撞推理,得到第一推理结果;

12、依据所述第一推理结果对应的时间点,排列各所述第一推理结果;

13、若存在连续第一预设数量个所述第一推理结果大于第一阈值,则判定所述第一检测结果为碰撞;

14、否则,判定所述第一检测结果为非碰撞。

15、可选地,所述通过所述目标视频检测模型进行车辆碰撞检测,得到第二检测结果的步骤包括:

16、通过所述目标视频检测模型根据所述视频特征数据进行车辆碰撞推理,得到第二推理结果;

17、依据所述第二推理结果对应的时间点,排列各所述第二推理结果;

18、当存在连续第二预设数量个所述第二推理结果大于第二阈值,则判定所述第二检测结果为碰撞;

19、否则,继续判断是否存在第三预设数量个所述第二推理结果小于第三阈值;

20、若存在连续第三预设数量个所述第二推理结果小于所述第三阈值,则判定所述第二检测结果为非碰撞。

21、可选地,所述目标视频检测模型包括多组不同的模型参数,所述通过所述目标视频检测模型根据所述视频特征数据进行车辆碰撞推理,得到第二推理结果的步骤包括:

22、分别加载各组模型参数至所述目标检测模型,得到多个第一视频检测模型;

23、通过各所述第一视频检测模型根据所述视频特征数据进行车辆碰撞推理,得到分别对应的初始推理结果;

24、根据预设规则剔除各所述初始推理结果中的极端值,并计算各所述初始推理结果的平均值,得到第二推理结果。

25、可选地,所述特征数据还包括音频特征数据,所述第二检测结果还包括未知,在所述判断是否存在第三预设数量个所述第二推理结果小于第三阈值的步骤之后,所述车辆碰撞检测方法还包括:

26、若不存在连续第三预设数量个所述第二推理结果小于第三阈值,则判定所述第二检测结果为未知;

27、将所述音频特征数据输入预设的第二音频检测模型,通过所述第二音频检测模型进行车辆碰撞检测,得到第三检测结果。

28、可选地,所述通过所述第二音频检测模型进行车辆碰撞检测,得到第三检测结果的步骤包括:

29、通过所述第二音频检测模型根据所述音频特征数据进行车辆碰撞推理,输出各时间点对应的第三推理结果;

30、判断是否存在第四预设数量个所述第三推理结果大于第四阈值;

31、若存在,则判定所述第三检测结果为碰撞;

32、若不存在,则判定所述第三检测结果为非碰撞。

33、可选地,所述第一音频检测模型至少包括最终模块,所述目标视频检测模型至少包括rnn网络,所述车辆碰撞检测方法还包括:

34、通过碰撞情况下的音频能量频谱对预设的第三音频检测模型中的最终模块进行训练,得到第一音频检测模型;

35、通过碰撞情况下的音频特征数据对预设的第四音频检测模型进行训练,得到第二音频检测模型;

36、通过碰撞情况下的视频特征数据对预设的初始视频检测模型中的rnn网络进行训练,得到目标视频检测模型。

37、本申请还提供一种车辆碰撞检测装置,所述车辆碰撞检测装置包括:

38、预处理模块,用于将原始视频数据和原始音频数据转换成符合预设格式的特征数据,其中,所述特征数据至少包括音频能量频谱和视频特征数据;

39、第一检测模块,用于将所述音频能量频谱输入预设的第一音频检测模型,通过所述第一音频检测模型进行车辆碰撞检测,得到第一检测结果;

40、第二检测模块,若所述第一检测结果为碰撞,则将所述视频特征数据输入到预设的目标视频检测模型中,通过所述视频检测模型进行车辆碰撞检测,得到第二检测结果。

41、本申请还提供一种电子设备,所述电子设备为实体设备,所述电子设备包括:存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的所述车辆碰撞检测方法的程序,所述车辆碰撞检测方法的程序被处理器执行时可实现如上述的车辆碰撞检测方法的步骤。

42、本申请还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有实现车辆碰撞检测方法的程序,所述车辆碰撞检测方法的程序被处理器执行时实现如上述的车辆碰撞检测方法的步骤。

43、本申请还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述的车辆碰撞检测方法的步骤。

44、本申请提供了一种车辆碰撞检测方法、电子设备及计算机可读存储介质,首先将原始视频数据和原始音频数据转换成符合预设格式的特征数据,其中,所述特征数据至少包括音频能量频谱和视频特征数据,再将所述音频能量频谱输入预设的第本文档来自技高网...

【技术保护点】

1.一种车辆碰撞检测方法,其特征在于,所述车辆碰撞检测方法包括:

2.如权利要求1所述车辆碰撞检测方法,其特征在于,所述视频特征数据至少包括光流视频数据、差分视频数据以及RGB视频数据,所述将原始视频数据和原始音频数据转换成符合预设格式的特征数据的步骤包括:

3.如权利要求1所述车辆碰撞检测方法,其特征在于,所述通过所述第一音频检测模型进行车辆碰撞检测,得到第一检测结果的步骤包括:

4.如权利要求1所述车辆碰撞检测方法,其特征在于,所述通过所述目标视频检测模型进行车辆碰撞检测,得到第二检测结果的步骤包括:

5.如权利要求4所述车辆碰撞检测方法,其特征在于,所述目标视频检测模型包括多组不同的模型参数,所述通过所述目标视频检测模型根据所述视频特征数据进行车辆碰撞推理,得到第二推理结果的步骤包括:

6.如权利要求4所述车辆碰撞检测方法,其特征在于,所述特征数据还包括音频特征数据,所述第二检测结果还包括未知,在所述判断是否存在第三预设数量个所述第二推理结果小于第三阈值的步骤之后,所述车辆碰撞检测方法还包括:

7.如权利要求6所述车辆碰撞检测方法,其特征在于,所述通过所述第二音频检测模型进行车辆碰撞检测,得到第三检测结果的步骤包括:

8.如权利要求1-7任一项所述的车辆碰撞检测方法,其特征在于,所述第一音频检测模型至少包括最终模块,所述目标视频检测模型至少包括RNN网络,所述车辆碰撞检测方法还包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有实现车辆碰撞检测方法的程序,所述实现车辆碰撞检测方法的程序被处理器执行以实现如权利要求1至8中任一项所述车辆碰撞检测方法的步骤。

...

【技术特征摘要】

1.一种车辆碰撞检测方法,其特征在于,所述车辆碰撞检测方法包括:

2.如权利要求1所述车辆碰撞检测方法,其特征在于,所述视频特征数据至少包括光流视频数据、差分视频数据以及rgb视频数据,所述将原始视频数据和原始音频数据转换成符合预设格式的特征数据的步骤包括:

3.如权利要求1所述车辆碰撞检测方法,其特征在于,所述通过所述第一音频检测模型进行车辆碰撞检测,得到第一检测结果的步骤包括:

4.如权利要求1所述车辆碰撞检测方法,其特征在于,所述通过所述目标视频检测模型进行车辆碰撞检测,得到第二检测结果的步骤包括:

5.如权利要求4所述车辆碰撞检测方法,其特征在于,所述目标视频检测模型包括多组不同的模型参数,所述通过所述目标视频检测模型根据所述视频特征数据进行车辆碰撞推理,得到第二推理结果的步骤包括:

6.如权利要求4所述车...

【专利技术属性】
技术研发人员:赵拯基李坤岳洪杰
申请(专利权)人:深圳市小镜科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1