极端场景的识别方法、装置、设备以及汽车制造方法及图纸

本发明专利技术涉及一种极端场景的识别方法、装置、设备以及汽车，包括在车辆的自动驾驶过程中，获取车辆的周围环境的待识别视频；将待识别视频输入至预构建的视频理解大模型中进行处理，得到待识别视频的视频理解信息；视频理解信息，指示至少一个极端场景对象；极端场景对象，是指用于识别视频中是否包括极端场景的视频对象；根据视频理解信息，对待识别视频进行极端场景的识别处理，得到并显示极端场景识别结果；其中，极端场景识别结果用于指示待识别视频中是否包括极端场景。本发明专利技术在对极端场景进行识别的过程中，基于待识别视频的视频理解信息，对待识别视频中是否包括极端场景进行识别，可以提高极端场景识别的准确性和效率。

【技术实现步骤摘要】

本专利技术涉及汽车，具体涉及一种极端场景的识别方法、装置、设备以及汽车。

技术介绍

1、随着车辆技术的发展，自动驾驶功能在车辆的驾驶过程中的使用越来越频繁。其中，在自动驾驶过程中，对极端场景的有效处理成为了自动驾驶过程中的技术挑战之一。然而，在对极端场景进行处理之前，对极端场景的识别也显得尤为重要。

2、现有技术中，主要通过人工的方式或者预设的识别规则对极端场景进行识别。

3、然而，现有技术中的方式，会导致识别不准确和识别效率低的问题。

技术实现思路

1、本专利技术的目的之一在于提供一种极端场景的识别方法，以解决现有技术中的极端场景的识别效率低和准确性低的问题；目的之二在于提供一种极端场景的识别装置；目的之三在于提供一种电子设备；目的之四在于提供一种计算机可读存储介质；目的之五在于提供一种计算机程序产品；目的之六在于提供一种汽车。

2、为了实现上述目的，本专利技术采用的技术方案如下：

3、一种极端场景的识别方法，包括：

4、在车辆的自动驾驶过程中，获本文档来自技高网...

【技术保护点】

1.一种极端场景的识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述视频理解大模型的构建过程包括：

3.根据权利要求2所述的方法，其特征在于，所述初始视频理解大模型中包括初始视频特征提取层、提示词生成层、视频特征理解层；其中，所述初始视频特征提取层，为基于卷积神经网络所构建对视频特征进行提取的网络层；所述提示词生成层，为预构建的将视频特征信息转换为视频特征提示词的网络层；所述视频特征理解层，为基于基座大语言模型所构建的用于生成视频理解信息的网络层；

4.根据权利要求1所述的方法，其特征在于，根据所述视频理解信息，对所述待识别视...

【技术特征摘要】

1.一种极端场景的识别方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述视频理解大模型的构建过程包括：

3.根据权利要求2所述的方法，其特征在于，所述初始视频理解大模型中包括初始视频特征提取层、提示词生成层、视频特征理解层；其中，所述初始视频特征提取层，为基于卷积神经网络所构建对视频特征进行提取的网络层；所述提示词生成层，为预构建的将视频特征信息转换为视频特征提示词的网络层；所述视频特征理解层，为基于基座大语言模型所构建的用于生成视频理解信息的网络层；

4.根据权利要求1所述的方法，其特征在于，根据所述视频理解信息，对所述待识别视频进行极端场景的识别处理...

【专利技术属性】
技术研发人员：黄翼，
申请(专利权)人：重庆长安汽车股份有限公司，
类型：发明
国别省市：