【技术实现步骤摘要】
本专利技术涉及车辆自动驾驶，尤其涉及一种基于位图索引的检索方法、自动驾驶场景数据的存储方法、存储设备及计算机可读存储介质。
技术介绍
1、随着自动驾驶技术的飞速发展，自动驾驶车辆在道路上产生了海量的数据，包括传感器数据、图像、视频和点云等非结构化数据。这些数据在自动驾驶系统的测试和开发过程中具有重要价值，为算法工程师和研究人员提供了宝贵的信息资源。然而，由于自动驾驶车辆上搭载的传感器和设备数量众多，数据来源多样且结构复杂，处理和管理这些海量非结构化数据成为一个重大挑战。传统数据库系统往往无法应对这种类型数据的存储和检索需求。此外，算法工程师通常只关注特定场景下的数据，如交通拥堵、行人行为等，如何从海量数据中高效筛选出这些特定场景的数据也是一个亟待解决的问题。
2、在现有的技术中，存在以下两种已知的方案，但存在不同程度的缺陷：
3、1、elasticsearch
4、elasticsearch使用较多的内存，特别是在处理大量数据和索引时，可能需要更多的ram。虽然分片允许elasticsearch横向扩展，但在某些情况下，分片设计可能需要更多的复杂性和管理。由于elasticsearch是分布式的，当出现网络问题或节点故障时，数据可能会导致不一致。
5、2、apache solr
6、solr通常需要更多的磁盘空间，特别是在使用倒排索引和高亮显示时，可能会占用大量的存储空间。solr使用java，因此可能受到java垃圾回收的影响，特别是在大规模数据处理时，可能导致性能波
7、可见，对于以上两种已知的现有技术，均在不同程度上存在存储空间占用大，检索性能弱的问题。
技术实现思路
1、针对现有技术的上述问题，本专利技术提出了一种基于位图索引的检索方法、自动驾驶场景数据的存储方法、存储设备及计算机可读存储介质，能将自动驾驶场景数据进行有效存储，并能快速检索出特定场景数据。
2、具体地，本专利技术提出了一种自动驾驶场景数据的存储方法，包括步骤：
3、s1，获取数据，获取自动驾驶场景数据；
4、s2，抽取分组，抽取所述自动驾驶场景数据中的图片并按照时间戳排序，设定数量的抽取图片生成多个图片组；
5、s3，场景识别，使用场景识别模型对多个所述图片组进行场景识别推理，基于场景标签获得场景数据；
6、s4，保存所述场景数据。
7、根据本专利技术的一个实施例，在步骤s3中，每条所述场景数据包括对应的场景标签，每条所述场景数据还包括多张图片，以所述场景数据的第一张图片的时间戳作为对应场景开始时间，以最后一张图片的时间戳作为对应场景的结束时间，每条所述场景数据还包括其图片所对应的原始数据信息。
8、根据本专利技术的一个实施例，所述场景识别模型的生成方法包括步骤：
9、t1，选择模型，采用timesformer深度学习模型；
10、t2，模型训练，包括人工驾驶搭载前置摄像头的车辆，通过所述前置摄像头采集视频数据，对所采集的视频数据经人工处理，切片成分段视频并打上对应的场景标签；
11、t3，模型推理，获取所述前置摄像头采集视频数据，依照固定时长切片后提供给模型进行推理，设置各个场景标签的置信度阈值。
12、根据本专利技术的一个实施例，在步骤t2的模型训练中，还包括设定分段视频的视频时长，以及设定采集视频的采样率。
13、根据本专利技术的一个实施例，在步骤t2的模型训练中，还包括使用gelu作为激活函数。
14、根据本专利技术的一个实施例，在步骤t2的模型训练中，还包括当验证集上的性能不再提升时停止训练，采用spark分布式计算组件，结合k8s云原生调度以提升模型训练效率。
15、本专利技术还提供了一种基于位图索引的检索方法，适用于前述的存储方法所存储的场景数据，包括建立抽帧数据表、标签字典表和位图索引表；
16、其中，所述抽帧数据表至少包括主键及与主键关联的唯一标识，所述唯一标识对应场景数据；所述标签字典表至少包括主键及与主键关联的标签名称，所述标签名称与所述场景标签对应；所述位图索引表至少包括主键及与主键关联的位图索引及标签主键，所述位图索引与所述抽帧数据表的主键关联，所述标签主键与所述标签字典表的主键关联；
17、所述检索方法包括步骤：
18、u1，选择要查询的标签名称；
19、u2，基于所述标签名称查找所述标签字典表，找到所述标签字典表的主键，通过所述标签字典表的主键关联到所述位图索引表的标签主键；
20、u3，通过所述标签主键对应到所述位图索引表的位图索引，基于所述位图索引关联到所述抽帧数据表的主键，通过所述抽帧数据表的主键关联到所述唯一标识；
21、u4，基于所述唯一标识获取所述场景数据。
22、根据本专利技术的一个实施例，所述抽帧数据表还包括与所述主键关联的下载地址，在步骤u4中，基于所述唯一标识及下载地址获取所述场景数据。
23、本专利技术还提供了一种自动驾驶场景数据的存储设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前述任一项所述自动驾驶场景数据的存储方法的步骤。
24、本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现前述任一项所述自动驾驶场景数据的存储方法的步骤。
25、本专利技术提供的一种基于位图索引的检索方法、自动驾驶场景数据的存储方法、存储设备及计算机可读存储介质，通过场景识别模型对图片组进行场景识别推理，基于场景标签获得场景数据，并基于位图索引实现快速检索。
26、应当理解，本专利技术以上的一般性描述和以下的详细描述都是示例性和说明性的，并且旨在为如权利要求所述的本专利技术提供进一步的解释。
本文档来自技高网...【技术保护点】
1.一种自动驾驶场景数据的存储方法，包括步骤：
2.如权利要求1所述的自动驾驶场景数据的存储方法，其特征在于，在步骤S3中，每条所述场景数据包括对应的场景标签，每条所述场景数据还包括多张图片，以所述场景数据的第一张图片的时间戳作为对应场景开始时间，以最后一张图片的时间戳作为对应场景的结束时间，每条所述场景数据还包括其图片所对应的原始数据信息。
3.如权利要求1所述的自动驾驶场景数据的存储方法，其特征在于，所述场景识别模型的生成方法包括步骤：
4.如权利要求3所述的自动驾驶场景数据的存储方法，其特征在于，在步骤T2的模型训练中，还包括设定分段视频的视频时长，以及设定采集视频的采样率。
5.如权利要求3所述的自动驾驶场景数据的存储方法，其特征在于，在步骤T2的模型训练中，还包括使用GELU作为激活函数。
6.如权利要求3所述的自动驾驶场景数据的存储方法，其特征在于，在步骤T2的模型训练中，还包括当验证集上的性能不再提升时停止训练，采用spark分布式计算组件，结合k8s云原生调度以提升模型训练效率。
7.一种基于
8.如权利要求7所述的检索方法，其特征在于，所述抽帧数据表还包括与所述主键关联的下载地址，在步骤U4中，基于所述唯一标识及下载地址获取所述场景数据。
9.一种自动驾驶场景数据的存储设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-2中任一项所述自动驾驶场景数据的存储方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-2中任一项所述自动驾驶场景数据的存储方法的步骤。
...【技术特征摘要】
1.一种自动驾驶场景数据的存储方法，包括步骤：
2.如权利要求1所述的自动驾驶场景数据的存储方法，其特征在于，在步骤s3中，每条所述场景数据包括对应的场景标签，每条所述场景数据还包括多张图片，以所述场景数据的第一张图片的时间戳作为对应场景开始时间，以最后一张图片的时间戳作为对应场景的结束时间，每条所述场景数据还包括其图片所对应的原始数据信息。
3.如权利要求1所述的自动驾驶场景数据的存储方法，其特征在于，所述场景识别模型的生成方法包括步骤：
4.如权利要求3所述的自动驾驶场景数据的存储方法，其特征在于，在步骤t2的模型训练中，还包括设定分段视频的视频时长，以及设定采集视频的采样率。
5.如权利要求3所述的自动驾驶场景数据的存储方法，其特征在于，在步骤t2的模型训练中，还包括使用gelu作为激活函数。
6.如权利要求3所述的自动驾驶场景数据的存储方法，其特征在于，在步骤t...
【专利技术属性】
技术研发人员：郑骁栋，陈一飞，周慧晶，田家焌，沈华虎，
申请(专利权)人：上汽大众汽车有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。