数据处理方法、装置、电子设备及存储介质制造方法及图纸

技术编号:43420646 阅读:20 留言:0更新日期:2024-11-22 17:54
本申请实施例公开了一种数据处理方法、装置、电子设备及存储介质,可解决针对海量数据,在保证数据传输安全性的情况下,如何进行有效融合并实现高效且准确地数据标注的问题。获取原始数据集,所述原始数据集中包括多个原始视频;对每个原始视频进行逐帧的场景挖掘,得到每个原始视频对应的多个目标场景标签,每个场景标签对应所述每个原始视频中的至少一帧原始图像;根据所述目标场景标签,对所述多个原始视频中的每帧原始图像进行数据融合,得到多组图像数据,每组图像数据中包括的所有原始图像对应相同的目标场景标签;分别对所述多组图像数据进行对象标注,得到标注后的目标图像数据,所述目标图像数据用于进行初始智能驾驶模型的模型训练。

【技术实现步骤摘要】

本申请实施例涉及数据处理,尤其涉及一种数据处理方法、装置、电子设备及存储介质


技术介绍

1、随着智能驾驶技术的不断完善和普及,需要通过车载传感器(包括摄像头、激光雷达、毫米波雷达、imu等传感器)采集更多的场景数据,来训练更复杂的自动驾驶算法模型,以及随着十万级、百万级量产车的上路,回传的数据量将指数级上升,从而导致数据标注量呈指数级上升的趋势,数据标注压力剧增。传统的标注模式,将采集生成的不同型号车辆、不同类型传感器的多个数据文件,通过数据盘上传的方式上传至标注系统进行标注,数据安全得不到保障,而且数据不具有关联性,无法满足自动驾驶算法模型训练对关联数据全面覆盖的需求。因此,针对采集到的海量数据,在保证数据传输安全性的情况下,如何进行有效融合并实现高效且准确地数据标注成为了目前亟需解决的问题。


技术实现思路

1、为了解决上述技术问题或者至少部分地解决上述技术问题,本申请实施例提供一种数据处理方法、装置、电子设备及存储介质,用以解决针对采集到的海量数据,在保证数据传输安全性的情况下,如何进行有效融合并实现高本文档来自技高网...

【技术保护点】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对每个原始视频进行逐帧的场景挖掘,得到每个原始视频对应的多个目标场景标签,包括:

3.根据权利要求2所述的方法,其特征在于,所述对每个初始视频进行逐帧的场景挖掘,得到所述每个初始视频对应的所述多个目标场景标签,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述目标场景标签,对所述多个原始视频中的每帧原始图像进行数据融合,得到多组图像数据,包括:

5.根据权利要求2所述的方法,其特征在于,所述数据预处理至少包括:数据清洗、数据去重和数据...

【技术特征摘要】

1.一种数据处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述对每个原始视频进行逐帧的场景挖掘,得到每个原始视频对应的多个目标场景标签,包括:

3.根据权利要求2所述的方法,其特征在于,所述对每个初始视频进行逐帧的场景挖掘,得到所述每个初始视频对应的所述多个目标场景标签,包括:

4.根据权利要求2所述的方法,其特征在于,所述根据所述目标场景标签,对所述多个原始视频中的每帧原始图像进行数据融合,得到多组图像数据,包括:

5.根据权利要求2所述的方法,其特征在于,所述数据预处理至少包括:数据清洗、数据去重和数据脱敏,所述对所...

【专利技术属性】
技术研发人员:王军伟张万龙
申请(专利权)人:上海优咔网络科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1