一种标注效率评估方法、装置、电子设备、存储介质制造方法及图纸

本申请公开了一种标注效率评估方法、装置、电子设备、存储介质；所述方法包括：构建人工标注时长预测模型；获取标注数据的人工标注结果和自动标注结果；将所述人工标注结果和自动标注结果作为所述人工标注时长预测模型的输入，通过所述人工标注时长预测模型，得到基于自动标注结果的人工标注预测时长；根据所述基于自动标注结果的人工标注预测时长，量化标注效率。本申请能够更加直观、准确地体现自动标注方法对人工标注的辅助效果。标注方法对人工标注的辅助效果。标注方法对人工标注的辅助效果。

【技术实现步骤摘要】
一种标注效率评估方法、装置、电子设备、存储介质


[0001]本专利技术涉及自动驾驶
，尤其是涉及一种标注效率评估方法、装置、电子设备、存储介质。

技术介绍

[0002]在自动驾驶
中所使用的深度学习模型，是需要使用大量的标注数据，准确的自动标注方法所提供的物体自动标注结果，可以大大减少标注员的工作。但是，现有的自动标注结果的质量评估，主要是依赖于基于自动标注方法本身的评估指标，没有考虑标注工具的影响，所以无法直观反映在人工实际标注过程中，自动标注结果对于标注效率的提升。
[0003]而且，由于一份数据通常只需要人工标注一次，所以无法在保证数据相同的情况下，评估自动标注结果对人工标注时长或速度的影响。
[0004]因此，迫切需要开发出一种能够更加直观、准确地体现自动标注方法对人工标注的辅助效果的标注效率评估方法。

技术实现思路

[0005]为此，本申请的实施例所解决的技术问题在于提供一种标注效率评估方法、装置、电子设备、存储介质，其能够更加直观、准确地体现自动标注方法对人工标注的辅助效果。
[0006]为了解决上述技术问题，本申请采用的技术方案内容具体如下：
[0007]第一方面，本申请实施例提供一种标注效率评估方法，包括：
[0008]构建人工标注时长预测模型；
[0009]获取标注数据的人工标注结果和自动标注结果；
[0010]将所述人工标注结果和自动标注结果作为所述人工标注时长预测模型的输入，通过所述人工标注时长预测模型，得到基于自动标注结果的人工标注预测时长；
[0011]根据所述基于自动标注结果的人工标注预测时长，量化标注效率。
[0012]可选地，所述自动标注结果包括基准标注结果和相对标注结果；所述获取待标注数据的人工标注结果和自动标注结果，包括：
[0013]获取待标注数据；
[0014]采用人工方式对所述待标注数据作标注，得到人工标注结果；
[0015]采用自动基准标注算法对所述待标注数据作自动标注，得到基准标注结果；
[0016]采用自动相对标注算法对所述待标注数据作自动标注，得到相对标注结果。
[0017]可选地，将所述人工标注结果和自动标注结果作为所述人工标注时长预测模型的输入，包括：
[0018]将所述人工标注结果、基准标注结果和相对标注结果，分别对应转化为人工数值化编码数据、基准数值化编码数据和相对数值化编码数据；
[0019]将所述人工数值化编码数据、基准数值化编码数据和相对数值化编码数据，分别
对应转化为人工向量、基准向量和相对向量；
[0020]将所述人工向量和基准向量以及所述人工向量和相对向量，作为所述人工标注时长预测模型的输入。
[0021]可选地，所述基于自动标注结果的人工标注预测时长包括基于基准标注结果的人工标注预测时长和基于相对标注结果的人工标注预测时长；通过所述人工标注时长预测模型，得到基于自动标注结果的人工标注预测时长，包括：
[0022]通过人工标注时长预测模型，将所述人工向量和基准向量，合成第一单位向量；
[0023]以所述第一单位向量作为基于基准标注结果的人工标注预测时长；
[0024]通过人工标注时长预测模型，将所述人工向量和相对向量，合成第二单位向量；
[0025]以所述第二单位向量作为基于相对标注结果的人工标注预测时长。
[0026]可选地，根据所述基于自动标注结果的人工标注预测时长，量化标注效率，包括：
[0027]将基于相对标注结果的人工标注预测时长除以基于基准标注结果的人工标注预测时长，得到预测时长商值。
[0028]可选地，所述自动相对标注算法的数量为两个以上，对应地，所述相对标注结果的数量为两个以上，所述基于相对标注结果的人工标注预测时长的数量为两个以上；根据所述基于自动标注结果的人工标注预测时长，量化标注效率，包括：
[0029]将各个所述基于相对标注结果的人工标注预测时长分别除以基于基准标注结果的人工标注预测时长，得到各个所述预测时长商值；
[0030]根据各个所述预测时长商值的数值，对各个所述预测时长商值进行排序。
[0031]可选地，根据所述基于自动标注结果的人工标注预测时长，量化标注效率，包括：
[0032]根据V0＝N0/T0，得到基于基准标注结果的人工标注预测速度；其中，V0为基于基准标注结果的人工标注预测速度，N0为基准标注结果，T0为基于基准标注结果的人工标注预测时长；
[0033]根据V1＝N1/T1，得到基于相对标注结果的人工标注预测速度；其中，V1为基于相对标注结果的人工标注预测速度，N1为相对标注结果，T1为基于相对标注结果的人工标注预测时长。
[0034]可选地，根据所述基于自动标注结果的人工标注预测时长，量化标注效率，还包括：
[0035]将基于相对标注结果的人工标注预测速度除以基于基准标注结果的人工标注预测速度，得到预测速度商值。
[0036]可选地，所述自动相对标注算法的数量为两个以上，对应地，所述相对标注结果的数量为两个以上，所述基于相对标注结果的人工标注预测速度的数量为两个以上；根据所述基于自动标注结果的人工标注预测时长，量化标注效率，包括：
[0037]将各个所述基于相对标注结果的人工标注预测速度分别除以基于基准标注结果的人工标注预测速度，得到各个所述预测速度商值；
[0038]根据各个所述预测速度商值的数值，对各个所述预测速度商值进行排序。
[0039]可选地，在所述构建人工标注时长预测模型之后，还包括：
[0040]训练所述人工标注时长预测模型。
[0041]可选地，训练所述人工标注时长预测模型，包括：
[0042]获取历史标注数据的历史自动标注结果、在历史自动标注结果辅助下的历史人工标注结果、以及历史人工标注的实际时长；
[0043]以所述历史自动标注结果和历史人工标注结果作为人工标注时长预测模型的输入，根据人工标注时长预测模型的输出，得到历史人工标注的预测时长；
[0044]根据所述历史人工标注的实际时长和历史人工标注的预测时长，计算损失值；
[0045]根据所述损失值，调整所述人工标注时长预测模型的模型参数。
[0046]第二方面，本申请实施例提供一种标注效率评估装置，包括：
[0047]构建模块，用于构建人工标注时长预测模型；
[0048]获取模块，用于获取标注数据的人工标注结果和自动标注结果；
[0049]第一处理模块，用于将所述人工标注结果和自动标注结果作为所述人工标注时长预测模型的输入，通过所述人工标注时长预测模型，得到基于自动标注结果的人工标注预测时长；
[0050]第二处理模块，用于根据所述基于自动标注结果的人工标注预测时长，量化标注效率。
[0051]第三方面，本申请实施例提供一种电子设备，包括存储器、处理器以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种标注效率评估方法，其特征在于，包括：构建人工标注时长预测模型；获取标注数据的人工标注结果和自动标注结果；将所述人工标注结果和自动标注结果作为所述人工标注时长预测模型的输入，通过所述人工标注时长预测模型，得到基于自动标注结果的人工标注预测时长；根据所述基于自动标注结果的人工标注预测时长，量化标注效率。2.根据权利要求1所述的标注效率评估方法，其特征在于，所述自动标注结果包括基准标注结果和相对标注结果；所述获取标注数据的人工标注结果和自动标注结果，包括：获取待标注数据；采用人工方式对所述待标注数据作标注，得到人工标注结果；采用自动基准标注算法对所述待标注数据作自动标注，得到基准标注结果；采用自动相对标注算法对所述待标注数据作自动标注，得到相对标注结果。3.根据权利要求2所述的标注效率评估方法，其特征在于，将所述人工标注结果和自动标注结果作为所述人工标注时长预测模型的输入，包括：将所述人工标注结果、基准标注结果和相对标注结果，分别对应转化为人工数值化编码数据、基准数值化编码数据和相对数值化编码数据；将所述人工数值化编码数据、基准数值化编码数据和相对数值化编码数据，分别对应转化为人工向量、基准向量和相对向量；将所述人工向量和基准向量以及所述人工向量和相对向量，作为所述人工标注时长预测模型的输入。4.根据权利要求3所述的标注效率评估方法，其特征在于，所述基于自动标注结果的人工标注预测时长包括基于基准标注结果的人工标注预测时长和基于相对标注结果的人工标注预测时长；通过所述人工标注时长预测模型，得到基于自动标注结果的人工标注预测时长，包括：通过人工标注时长预测模型，将所述人工向量和基准向量，合成第一单位向量；以所述第一单位向量作为基于基准标注结果的人工标注预测时长；通过人工标注时长预测模型，将所述人工向量和相对向量，合成第二单位向量；以所述第二单位向量作为基于相对标注结果的人工标注预测时长。5.根据权利要求4所述的标注效率评估方法，其特征在于，根据所述基于自动标注结果的人工标注预测时长，量化标注效率，包括：将基于相对标注结果的人工标注预测时长除以基于基准标注结果的人工标注预测时长，得到预测时长商值。6.根据权利要求5所述的标注效率评估方法，其特征在于，所述自动相对标注算法的数量为两个以上，对应地，所述相对标注结果的数量为两个以上，所述基于相对标注结果的人工标注预测时长的数量为两个以上；根据所述基于自动标注结果的人工标注预测时长，量化标注效率，包括：将各个所述基于相对标注结果的人工标注预测时长分别除以基于基准标注结果的人工标注预测时长，得到各个所述预测时长商值；根据各个所述预测时长商值的数值，对各个所述预测时长商值进行排序。
7.根据权利要求4所述的标注效率评估方法，其特征在于，根据所述基于自动标注结果的人工标注预测时长，量化标注效率，包括：根据V0＝N0/T...

【专利技术属性】
技术研发人员：陈龙，咸志伟，陈坤杰，霍达，边宁，韩旭，
申请(专利权)人：东风汽车集团股份有限公司，
类型：发明
国别省市：