视频标注模型训练方法、视频标注方法、装置以及设备制造方法及图纸

本申请涉及一种视频标注模型训练方法、视频标注方法、装置以及设备。所述视频标注模型训练方法包括：获取视频数据样本中的第N帧图像样本、所述第N帧图像样本的第N帧标注信息、第N+1帧图像样本以及所述第N+1帧图像样本的样本标注信息，其中，N为正整数；将所述第N帧图像样本、所述第N帧标注信息以及所述第N+1帧图像样本输入初始标注模型，得到所述初始标注模型输出的与所述第N+1帧图像样本对应的预标注信息；计算所述预标注信息和所述样本标注信息的匹配程度，根据所述匹配程度对所述初始标注模型的模型参数进行迭代更新，得到训练后的视频标注模型。采用本方法能够提高视频标注的效率，提升汽车对于物体检测的性能。提升汽车对于物体检测的性能。提升汽车对于物体检测的性能。

【技术实现步骤摘要】
视频标注模型训练方法、视频标注方法、装置以及设备


[0001]本申请涉及计算机视觉
，特别是涉及一种视频标注模型训练方法、视频标注方法、装置以及设备。

技术介绍

[0002]物体检测是计算机视觉技术中的经典问题之一，随着机器学习模型的发展，在自动驾驶领域中，常通过计算机视觉技术来检测目标物体。
[0003]目前，对于自动驾驶过程中采集到的视频数据，标注员会用2D包围框的形式将目标物体进行标注，以框选出汽车需要检测的目标物体，但标注工作的需求量大、成本高，传统的视频标注方法效率低下，进而影响到自动驾驶汽车对于物体检测的性能提升。

技术实现思路

[0004]基于此，提供一种视频标注模型训练方法、视频标注方法、装置以及设备，改善现有技术中视频标注效率低下的问题。
[0005]一方面，提供一种视频标注模型训练方法，所述方法包括：
[0006]获取视频数据样本中的第N帧图像样本、所述第N帧图像样本的第N帧标注信息、第N+1帧图像样本以及所述第N+1帧图像样本的样本标注信息，其中，N为正整数；
[0007]将所述第N帧图像样本、所述第N帧标注信息以及所述第N+1帧图像样本输入初始标注模型，得到所述初始标注模型输出的与所述第N+1帧图像样本对应的预标注信息；
[0008]计算所述预标注信息和所述样本标注信息的匹配程度，根据所述匹配程度对所述初始标注模型的模型参数进行迭代更新，得到训练后的视频标注模型。
[0009]在其中一个实施例中，将所述第N帧图像样本、所述第N帧标注信息以及所述第N+1帧图像样本输入初始标注模型，得到所述初始标注模型输出的与所述第N+1帧图像样本对应的预标注信息，包括：
[0010]对所述第N帧图像样本和所述第N+1帧图像样本进行特征提取，得到第N帧特征图和第N+1帧特征图；
[0011]将所述第N帧特征图和所述第N+1帧特征图进行合并，计算所述第N帧特征图中的像素点在所述第N+1帧特征图中的位置偏移，得到像素偏移信息；
[0012]根据所述像素偏移信息对所述第N+1帧特征图进行插值处理，得到第N+1帧扭曲特征图；
[0013]将所述第N帧特征图和所述第N+1帧扭曲特征图进行合并，得到特征合并图，根据所述第N帧标注信息对所述特征合并图进行特征截取，得到特征截取图；
[0014]根据所述特征截取图进行物体偏移估计，得到所述第N+1帧图像样本的所述预标注信息。
[0015]在其中一个实施例中，对所述第N帧图像样本和所述第N+1帧图像样本进行特征提取，得到第N帧特征图和第N+1帧特征图，包括：
[0016]对所述第N帧图像样本和所述第N+1帧图像样本进行卷积运算和下采样，得到高维度特征图；
[0017]对所述高维度特征图进行上采样和跳层连接，得到所述第N帧特征图和所述第N+1帧特征图。
[0018]在其中一个实施例中，根据所述第N帧标注信息对所述特征合并图进行特征截取，得到特征截取图，包括：
[0019]将所述特征合并图和所述第N帧标注信息进行对应，获取所述特征合并图中的标注区域；
[0020]对所述标注区域进行插值处理，以截取所述标注区域中的特征信息，并对所述特征信息的长宽规格进行调整，得到所述特征截取图。
[0021]在其中一个实施例中，根据所述特征截取图进行物体偏移估计，得到所述第N+1帧图像样本的所述预标注信息，包括：
[0022]根据预设的损失函数对所述特征截取图进行回归计算，得到所述第N+1帧图像样本的所述预标注信息。
[0023]另一方面，提供了一种视频标注方法，包括：
[0024]获取待标注的视频数据，根据接收到的标注指令对所述视频数据中的第N帧图像进行标注，得到第N帧标注信息，其中，N为正整数；
[0025]将所述第N帧图像、所述第N帧标注信息和所述视频数据中的第N+1帧图像输入视频标注模型，得到所述第N+1帧图像的预标注信息，其中，视频标注模型可以根据上述实施例中提供的任一项视频标注模型训练方法训练得到；
[0026]若所述预标注信息不正确，则根据接收到的修正指令对所述预标注信息进行修正，得到所述第N+1帧图像的第N+1帧标注信息。
[0027]在其中一个实施例中，在所述得到所述第N+1帧图像的预标注信息之后，还包括：
[0028]判断所述预标注信息是否正确；
[0029]若是，则将所述预标注信息、所述第N+1帧图像以及所述第N+2帧图像输入所述视频标注模型，并对所述视频数据进行迭代标注。
[0030]在其中一个实施例中，所述视频标注模型包括：特征提取层、像素偏移估计层和物体偏移估计层，所述将所述第N帧图像、所述第N帧标注信息和所述视频数据中的第N+1帧图像输入视频标注模型，得到所述第N+1帧图像的预标注信息，包括：
[0031]将所述第N帧图像和所述第N+1帧图像分别输入所述特征提取层，得到第N帧特征图和第N+1帧特征图；
[0032]将所述第N帧特征图和所述第N+1帧特征图进行合并，得到合并结果，并将所述合并结果输入所述像素偏移估计层，以计算所述第N帧特征图中的像素点在所述第N+1帧特征图中的位置偏移，得到像素偏移信息；
[0033]根据所述像素偏移信息对所述第N+1帧特征图进行插值处理，得到第N+1帧扭曲特征图；
[0034]将所述第N帧特征图和所述第N+1帧扭曲特征图进行合并，得到特征合并图，根据所述第N帧标注信息对所述特征合并图进行特征截取，得到特征截取图；
[0035]将所述特征截取图输入所述物体偏移估计层进行物体偏移估计，得到所述第N+1
帧图像的所述预标注信息。
[0036]另一方面，提供了一种视频标注模型训练装置，所述装置包括：
[0037]样本获取模块，用于获取视频数据样本中的第N帧图像样本、所述第N帧图像样本的第N帧标注信息、第N+1帧图像样本以及所述第N+1帧图像样本的样本标注信息，其中，N为正整数；
[0038]标本标注模块，用于将所述第N帧图像样本、所述第N帧标注信息以及所述第N+1帧图像样本输入初始标注模型，得到所述初始标注模型输出的与所述第N+1帧图像样本对应的预标注信息；
[0039]模型更新模块，用于计算所述预标注信息和所述样本标注信息的匹配程度，根据所述匹配程度对所述初始标注模型的模型参数进行迭代更新，得到训练后的视频标注模型。
[0040]另一方面，提供了一种视频标注装置，所述装置包括：
[0041]数据获取模块，用于获取待标注的视频数据，根据接收到的标注指令对所述视频数据中的第N帧图像进行标注，得到第N帧标注信息，其中，N为正整数；
[0042]数据标注模块，用于将所述第N帧图像、所述第N帧标注信息和所述视频数据中的第N+1帧图像输入视频标注模型，得到所述第N+1帧图像的预标注信息，其中，视频标注模型可以根据上述实施例中提供的任一项视频标注模型训练方法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频标注模型训练方法，其特征在于，包括：获取视频数据样本中的第N帧图像样本、所述第N帧图像样本的第N帧标注信息、第N+1帧图像样本以及所述第N+1帧图像样本的样本标注信息，其中，N为正整数；将所述第N帧图像样本、所述第N帧标注信息以及所述第N+1帧图像样本输入初始标注模型，得到所述初始标注模型输出的与所述第N+1帧图像样本对应的预标注信息；计算所述预标注信息和所述样本标注信息的匹配程度，根据所述匹配程度对所述初始标注模型的模型参数进行迭代更新，得到训练后的视频标注模型。2.根据权利要求1所述的视频标注模型训练方法，其特征在于，所述将所述第N帧图像样本、所述第N帧标注信息以及所述第N+1帧图像样本输入初始标注模型，得到所述初始标注模型输出的与所述第N+1帧图像样本对应的预标注信息，包括：对所述第N帧图像样本和所述第N+1帧图像样本进行特征提取，得到第N帧特征图和第N+1帧特征图；将所述第N帧特征图和所述第N+1帧特征图进行合并，计算所述第N帧特征图中的像素点在所述第N+1帧特征图中的位置偏移，得到像素偏移信息；根据所述像素偏移信息对所述第N+1帧特征图进行插值处理，得到第N+1帧扭曲特征图；将所述第N帧特征图和所述第N+1帧扭曲特征图进行合并，得到特征合并图，根据所述第N帧标注信息对所述特征合并图进行特征截取，得到特征截取图；根据所述特征截取图进行物体偏移估计，得到所述第N+1帧图像样本的所述预标注信息。3.根据权利要求2所述的视频标注模型训练方法，其特征在于，所述对所述第N帧图像样本和所述第N+1帧图像样本进行特征提取，得到第N帧特征图和第N+1帧特征图，包括：对所述第N帧图像样本和所述第N+1帧图像样本进行卷积运算和下采样，得到高维度特征图；对所述高维度特征图进行上采样和跳层连接，得到所述第N帧特征图和所述第N+1帧特征图。4.根据权利要求2所述的视频标注模型训练方法，其特征在于，所述根据所述第N帧标注信息对所述特征合并图进行特征截取，得到特征截取图，包括：将所述特征合并图和所述第N帧标注信息进行对应，获取所述特征合并图中的标注区域；对所述标注区域进行插值处理，以截取所述标注区域中的特征信息，并对所述特征信息的长宽规格进行调整，得到所述特征截取图。5.根据权利要求2至4中任一项所述的视频标注模型训练方法，其特征在于，所述根据所述特征截取图进行物体偏移估计，得到所述第N+1帧图像样本的所述预标注信息，包括：根据预设的损失函数对所述特征截取图进行回归计算，得到所述第N+1帧图像样本的所述预标注信息。6.一种视频标注方法，其特征在于，所述方法包括：获取待标注的视频数据，根据接收到的标注指令对所述视频数据中的第N帧图像进行标注，得到第N帧标注信息，其中，N为正整数；
将所述第N帧图像、所述第N帧标注信息和所述视频数据中的第N+1帧图像输入视频标注模型，得到所述第N+1帧图像的预标注信息，其中，所述视频标注模型根据权利要求1至5中任一项所述的视频标注模型训练方法训练得到；若所述预标注信息不...

【专利技术属性】
技术研发人员：程大治，
申请(专利权)人：江苏黑麦数据科技有限公司，
类型：发明
国别省市：