本说明书实施例公开了一种数据处理方法、装置、设备、介质及程序产品，该方案包括：对第一图像数据进行图像处理得到包含交通属性信息的第二图像数据；对根据交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；根据第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；将训练完成的机器学习模型封装为可容器化运行的图像处理服务。上述方法可以根据模型训练的需要查找各种类别的待标注图片，提高样本的均衡性并节省大量的图片查找时间。另外，上述方法还实现了图像标注和模型训练的闭环管理，以及生成用于图片处理的图像处理服务。以及生成用于图片处理的图像处理服务。以及生成用于图片处理的图像处理服务。
【技术实现步骤摘要】
一种数据处理方法、装置、设备、介质及程序产品
[0001]本申请涉及机器学习
，尤其涉及一种数据处理方法、装置及、设备、介质及程序产品。
技术介绍
[0002]自动驾驶是机器学习的主要领域之一，自动驾驶相关的机器学习模型的性能很大程度上取决于模型训练的样本量大小，为了得到性能优良的深度学习模型，往往需要采用大量的图片样本进行训练。
[0003]实际应用中，为了得到用于模型训练的图片样本，这将需要从原始图片数据库中海量的原始图片中，进行人工查找得到用于样本标注的原始图片。这种方式在查找用于样本标注的原始图片时，耗费的时间较长。
[0004]因此，亟需一种可减少待标注图像数据的查找时间的数据处理方法。
技术实现思路
[0005]本说明书实施例提出了一种数据处理方法及设备，以提供以减少待标注图像数据的查找时间。
[0006]本说明书实施例提供的一种数据处理方法应用于模型训练与部署平台，所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元，所述数据处理方法包括：
[0007]通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含交通属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据中的交通信息；
[0008]将所述第二图像数据输入所述样本标注单元，通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；
[0009]将所述第三图像数据输入所述模型训练单元，通过所述模型训练单元根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；
[0010]通过所述模型服务单元将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。本说明书实施例提供的一种数据处理装置，所述装置为模型训练与部署平台，其特征在于，包括：
[0011]图像处理单元，用于对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据的图像内容；
[0012]样本标注单元，用于针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；
[0013]模型训练单元，用于根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；
[0014]模型服务单元，用于将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。
[0015]本说明书实施例提供的一种数据处理设备，所述数据处理设备上部署有模型训练与部署平台，所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元，所述数据处理设备包括：
[0016]至少一个处理器；以及，
[0017]与所述至少一个处理器通信连接的存储器；
[0018]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0019]通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含交通属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据中的交通信息；
[0020]将所述第二图像数据输入所述样本标注单元，通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；
[0021]将所述第三图像数据输入所述模型训练单元，通过所述模型训练单元根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；
[0022]通过所述模型服务单元将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。
[0023]本说明书实施例提供的一种计算机可读存储介质，其上存储有计算机程序/指令，该计算机序/指令被处理器执行时实现上述方法的步骤。
[0024]本说明书实施例提供的一种计算机程序产品，包括计算机程序/指令，其特征在于，该计算机程序/指令被处理器执行时实现上述方法的步骤。
[0025]本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
[0026]本说明书实施例公开了一种数据处理方法、装置、设备、介质及程序产品，该方案包括：通过图像处理单元对第一图像数据进行图像处理得到包含交通属性信息的第二图像数据；通过样本标注单元针对根据交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；通过模型训练单元根据第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；通过模型服务单元将训练完成的机器学习模型封装为可容器化运行的图像处理服务；图像处理服务用于对交通信息采集设备采集到的第四图像数据进行处理。
[0027]相较于人工筛选待标注图片然后进行模型训练的方式，上述方法可以根据模型训练的需要来确定用于图片筛选的交通属性信息，进而交通属性信息筛选图像数据得到待标注的图片，因此，可以根据模型训练的需要确定各种类别的待标注图片的数量，提高样本的均衡性并节省大量的图片查找时间。
[0028]另外，上述方法还实现了图像标注和模型训练的闭环管理，以及生成用于图片处理的图像处理服务。
附图说明
[0029]为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0030]图1为本说明书实施例提供的一种数据处理方法的流程示意图；
[0031]图2为本说明书实施例提供的另一种数据处理方法的流程示意图；
[0032]图3为本说明书实施例提供的另一种数据处理方法的流程示意图；
[0033]图4为本说明书实施例提供的对应于图1的一种数据处理装置的结构示意图；
[0034]图5为本说明书实施例提供的对应于图1的一种数据处理设备的结构示意图。
具体实施方式
[0035]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。
[0036]在本专利技术的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于模型训练与部署平台，所述模型训练与部署平台包括图像处理单元、样本标注单元、模型训练单元和模型服务单元，所述数据处理方法包括：通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含交通属性信息的第二图像数据；所述交通属性信息用于描述所述第二图像数据中的交通信息；将所述第二图像数据输入所述样本标注单元，通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据；将所述第三图像数据输入所述模型训练单元，通过所述模型训练单元根据所述第三图像数据对机器学习模型进行训练，得到训练完成的机器学习模型；通过所述模型服务单元将所述训练完成的机器学习模型封装为可容器化运行的图像处理服务；所述图像处理服务用于对所述交通信息采集设备采集到的第四图像数据进行处理。2.根据权利要求1所述的方法，其特征在于，所述通过所述图像处理单元对交通信息采集设备采集到的第一图像数据进行图像处理，得到包含交通属性信息的第二图像数据，具体包括：通过所述图像处理单元对所述第一图像数据进行场景识别处理，得到包含交通场景属性信息的第二图像数据；和/或，通过所述图像处理单元对所述第一图像数据进行图片分类处理，得到包含交通要素信息的第二图像数据。3.根据权利要求1所述的方法，其特征在于，所述模型训练与部署平台还包括预处理成果数据库；所述通过所述样本标注单元针对根据所述交通属性信息筛选得到的第二图像数据进行标注，得到携带有标签数据的第三图像数据之前，还包括：存储所述第二图像数据至所述预处理成果数据库；获取样本筛选指令；所述样本筛选指令中携带有第一交通属性信息；基于所述第一交通属性信息，对所述图片库内的第二图像数据进行筛选，生成包括携带有所述第一交通属性信息的第二图像数据的数据集；所述数据集用于模型训练和/或样本标注。4.根据权利要求3所述的方法，其特征在于，所述模型训练与部署平台还包括标注成果数据库；所述生成包括携带有所述第一交通属性信息的第二图像数据的数据集之后，还包括：在针对所述数据集的标注任务完成后，获取携带有所述标签数据的所述第三图像数据；存储所述第三图像数据至所述标注成果数据库，以便后续根据所述标签数据和/或所述交通属性信息，对所述标注成果数据库内的第三图像数据进行筛选，得到用于对目标模型进行训练的样本数据。5.根据权利要求4所述的方法，其特征在于，所述存储所述第三图像数据至所述标注成
果数据库之后，还包括：获取样本筛选指令；所述样本筛选指令中携带有目标标签数据；基于所述目标标签数据对所述标注成果数据库内的第三图像数据进行检索，得到携带有所述目标标签数据的目标样本数据，生成用于模型训练的数据集。6.根据权利要求4所述的方法，其特征在于，所述存储所述第三...
【专利技术属性】
技术研发人员：李晓鹏，沈彬，
申请(专利权)人：北京四维图新科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。