【技术实现步骤摘要】
一种数据处理方法、装置、设备、介质及程序产品
[0001]本申请涉及机器学习
,尤其涉及一种数据处理方法、装置及、设备、介质及程序产品。
技术介绍
[0002]自动驾驶是机器学习的主要领域之一,自动驾驶相关的机器学习模型的性能很大程度上取决于模型训练的样本量大小,为了得到性能优良的深度学习模型,往往需要采用大量的图片样本进行训练。
[0003]实际应用中,为了得到用于模型训练的图片样本,这将需要从原始图片数据库中海量的原始图片中,进行人工查找得到用于样本标注的原始图片。这种方式在查找用于样本标注的原始图片时,耗费的时间较长。
[0004]因此,亟需一种可减少待标注图像数据的查找时间的数据处理方法。
技术实现思路
[0005]本说明书实施例提出了一种数据处理方法及设备,以提供以减少待标注图像数据的查找时间。
[0006]本说明书实施例提供的一种数据处理方法应用于模型训练与部署平台,所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元,所述数据处理方法包括 ...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法,其特征在于,应用于模型训练与部署平台,所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元,所述数据处理方法包括:通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理,得到包含交通属性信息的第二图像数据;所述交通属性信息用于描述所述第二图像数据中的交通信息;将所述第二图像数据输入所述样本标注单元,通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注,得到携带有标签数据的第三图像数据;将所述第三图像数据输入所述模型训练单元,通过所述模型训练单元根据所述第三图像数据对机器学习模型进行训练,得到训练完成的机器学习模型;通过所述模型服务单元将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务;所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。2.根据权利要求1所述的方法,其特征在于,所述通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理,得到包含交通属性信息的第二图像数据,具体包括:通过所述图像处理单元对所述第一图像数据进行场景识别处理,得到包含交通场景属性信息的第二图像数据;和/或,通过所述图像处理单元对所述第一图像数据进行图片分类处理,得到包含交通要素信息的第二图像数据。3.根据权利要求1所述的方法,其特征在于,所述模型训练与部署平台还包括预处理成果数据库;所述通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注,得到携带有标签数据的第三图像数据之前,还包括:存储所述第二图像数据至所述预处理成果数据库;获取样本筛选指令;所述样本筛选指令中携带有第一交通属性信息;基于所述第一交通属性信息,对所述图片库内的第二图像数据进行筛选,生成包括携带有所述第一交通属性信息的第二图像数据的数据集;所述数据集用于模型训练和/或样本标注。4.根据权利要求3所述的方法,其特征在于,所述模型训练与部署平台还包括标注成果数据库;所述生成包括携带有所述第一交通属性信息的第二图像数据的数据集之后,还包括:在针对所述数据集的标注任务完成后,获取携带有所述标签数据的所述第三图像数据;存储所述第三图像数据至所述标注成果数据库,以便后续根据所述标签数据和/或所述交通属性信息,对所述标注成果数据库内的第三图像数据进行筛选,得到用于对目标模型进行训练的样本数据。5.根据权利要求4所述的方法,其特征在于,所述存储所述第三图像数据至所述标注成
果数据库之后,还包括:获取样本筛选指令;所述样本筛选指令中携带有目标标签数据;基于所述目标标签数据对所述标注成果数据库内的第三图像数据进行检索,得到携带有所述目标标签数据的目标样本数据,生成用于模型训练的数据集。6.根据权利要求4所述的方法,其特征在于,所述存储所述第三...
【专利技术属性】
技术研发人员:李晓鹏,沈彬,
申请(专利权)人:北京四维图新科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。