一种算法闭环辅助双向多模型数据标注的方法与装置制造方法及图纸

本发明专利技术提供了一种算法闭环辅助双向多模型数据标注的方法与装置，包括：初始化双向多模型标注工作流；基于工作流，对待标注图像数据进行标注，生成标注数据；根据标注数据和工作流，生成数据集；其中，标注包括下述中的一种或多种：双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注；本发明专利技术通过对待标注图像数据进行双向单模型标注、双向多模型同时校正标注和/或多目标双向多模型数据校正标注，准确定位了目标像素坐标，大大节省了人力标注成本，提高了数据标注的速度。提高了数据标注的速度。提高了数据标注的速度。

【技术实现步骤摘要】
一种算法闭环辅助双向多模型数据标注的方法与装置


[0001]本专利技术属于图像数据处理
，具体涉及一种算法闭环辅助双向多模型数据标注的方法与装置。

技术介绍

[0002]目标跟踪是计算机视觉领域的基本任务之一，是利用一个视频或图像序列的上下文信息，对目标外观信息进行建模，从而对目标运动状态预测并标定目标位置的一种技术，在视频监控、视觉导航和智能人机交互等方面具有广泛应用。
[0003]目前的跟踪算法能很好地应对简单场景，但面对目标运动的不确定性，以及光照变化、遮挡等复杂环境，目标的位置定位难度较大，设计精度高和鲁棒性好跟踪算法仍然有很大困难。深度学习的优势在于可以通过大量数据进行学习，以保证跟踪算法网络可以达到稳定跟踪、精确标定目标位置的功能。
[0004]目前深度学习领域表现优异的模型需要大量的数据进行训练予以支撑，数据几乎都是采用人工的方式进行标注，耗费大量的人力成本，标注质量因人而异。在视觉目标跟踪算法领域，需逐帧标注图像且相邻图像相似度很高，仅依靠人工标注会使得标注效率较低，且在某些场景深度学习算法应用场景下，难以数据标注的实时性有较高的要求。

技术实现思路

[0005]为克服上述现有技术的不足，本专利技术提出一种算法闭环辅助双向多模型数据标注的方法，包括：
[0006]初始化双向多模型标注工作流；
[0007]基于所述工作流，对待标注图像数据进行标注，生成标注数据；
[0008]根据所述标注数据和工作流，生成数据集；
[0009]其中，所述标注包括下述中的一种或多种：
[0010]双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注。
[0011]优选的，所述初始化双向多模型标注工作流，包括：
[0012]从预设算法模型库中选择用于标注的辅助算法；
[0013]为所述辅助算法设置置信度阈值，并设置初始目标位置坐标；
[0014]设置数据集类型、格式以及数据集生成配置参数；
[0015]其中，所述数据集类型至少包括下述中的一种或多种：目标检测数据集和目标跟踪数据集；所述辅助算法至少包括下述中的一种或多种：初始目标框推荐算法、目标检测算法、目标框自动校正标注算法和单目标跟踪算法；所述数据集生成配置参数至少包括下述中的一种或多种：相似度、时间间隔、重叠率、中心点偏移以及总帧数。
[0016]优选的，基于所述工作流，对待标注图像数据进行双向单模型标注，生成标注数据，包括：
[0017]基于选择的一个辅助算法，对待标注图像数据进行正向图像连续标注，得到待标
注图像数据中目标位置的可视化定位结果；
[0018]若所述可视化定位结果的误差小于置信度阈值，则生成标注数据并结束，否则中止正向图像连续标注，并重新初始化目标位置坐标；
[0019]基于重新初始化的目标位置坐标，对所述目标位置的可视化定位结果进行倒序连续标注修正，直到符合预设的终止条件并生成标注数据。
[0020]优选的，基于所述工作流，对待标注图像数据进行多目标双向多模型数据校正标注，生成标注数据，包括：
[0021]基于标注图像数据中的各目标对应的辅助算法，分别对待标注图像数据中的各目标进行双向单模型标注，生成标注数据。
[0022]优选的，基于所述工作流，对待标注图像数据进行双向多模型同时校正标注，生成标注数据，包括：
[0023]基于选择的多个辅助算法，分别对待标注图像数据进行正向图像连续标注，得到待标注图像数据中目标位置的各辅助算法对应的可视化定位结果；
[0024]若所有辅助算法对应的可视化定位结果的误差均小于置信度阈值，则生成标注数据并结束；
[0025]若存在可视化定位结果的误差小于置信度阈值的辅助算法且存在可视化定位结果的误差大于等于置信度阈值的辅助算法，则中止正向图像连续标注，采用可视化定位结果的误差小于置信度阈值的辅助算法对误差大于等于置信度阈值的辅助算法进行校正，并继续分别采用各辅助算法对待标注图像数据进行正向图像连续标注，直到所有辅助算法对应的可视化定位结果的误差均小于置信度阈值，生成标注数据并结束；
[0026]若所有辅助算法对应的可视化定位结果的误差均大于等于置信度阈值，则中止正向图像连续标注，并重新初始化目标位置坐标，基于重新初始化的目标位置坐标，分别采用选择的多个辅助算法对所述目标位置的可视化定位结果进行倒序连续标注修正，直到符合预设的终止条件，生成标注数据并结束。
[0027]优选的，所述根据所述标注数据和工作流，生成数据集，包括：
[0028]根据所述工作流中设置的数据集类型，选择需要生成数据集类型为的目标检测数据集和/或目标跟踪数据集；
[0029]当需要生成目标检测数据集时，基于相似度算法抽取同一目标相似度最小的标注数据制作目标检测数据集；
[0030]当需要生成目标跟踪数据集时，根据设置的时间间隔、重合率、中心点偏差以及总帧数，从所述标注数据中抽取连续图像构成目标跟踪数据集。
[0031]优选的，所述生成数据集之后，还包括：
[0032]基于目标检测数据集，进行目标检测算法的脚本训练和/或超参数配置，训练检测数据集，生成目标检测算法模型；
[0033]基于目标跟踪数据集，进行单目标跟踪算法的脚本训练和/或超参数配置，训练跟踪数据集，生成单目标跟踪算法模型。
[0034]基于同一技术构思，本专利技术还提供一种算法闭环辅助双向多模型数据标注的装置，包括：人机交互标注界面、标注模块和标注数据生成模块；
[0035]所述人机交互标注界面，用于初始化双向多模型标注工作流；
[0036]所述标注模块，用于基于所述工作流，对待标注图像数据进行标注，生成标注数据；
[0037]所述标注数据生成模块，用于根据所述标注数据和工作流，生成数据集；
[0038]其中，所述标注包括下述中的一种或多种：
[0039]双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注。
[0040]优选的，所述人机交互标注界面，具体用于：
[0041]从预设算法模型库中选择用于标注的辅助算法；
[0042]为所述辅助算法设置置信度阈值，并设置初始目标位置坐标；
[0043]设置数据集类型、格式以及数据集生成配置参数；
[0044]其中，所述数据集类型至少包括下述中的一种或多种：目标检测数据集和目标跟踪数据集；所述辅助算法至少包括下述中的一种或多种：初始目标框推荐算法、目标检测算法、目标框自动校正标注算法和单目标跟踪算法；所述数据集生成配置参数至少包括下述中的一种或多种：相似度、时间间隔、重叠率、中心点偏移以及总帧数。
[0045]优选的，所述标注模块基于所述工作流，对待标注图像数据进行双向单模型标注，生成标注数据，包括：
[0046]基于选择的一个辅助算法，对待标注图像数据进行正向图像连续标注，得到待标注图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种算法闭环辅助双向多模型数据标注的方法，其特征在于，包括：初始化双向多模型标注工作流；基于所述工作流，对待标注图像数据进行标注，生成标注数据；根据所述标注数据和工作流，生成数据集；其中，所述标注包括下述中的一种或多种：双向单模型标注、双向多模型同时校正标注和多目标双向多模型数据校正标注。2.如权利要求1所述的方法，其特征在于，所述初始化双向多模型标注工作流，包括：从预设算法模型库中选择用于标注的辅助算法；为所述辅助算法设置置信度阈值，并设置初始目标位置坐标；设置数据集类型、格式以及数据集生成配置参数；其中，所述数据集类型至少包括下述中的一种或多种：目标检测数据集和目标跟踪数据集；所述辅助算法至少包括下述中的一种或多种：初始目标框推荐算法、目标检测算法、目标框自动校正标注算法和单目标跟踪算法；所述数据集生成配置参数至少包括下述中的一种或多种：相似度、时间间隔、重叠率、中心点偏移以及总帧数。3.如权利要求2所述的方法，其特征在于，基于所述工作流，对待标注图像数据进行双向单模型标注，生成标注数据，包括：基于选择的一个辅助算法，对待标注图像数据进行正向图像连续标注，得到待标注图像数据中目标位置的可视化定位结果；若所述可视化定位结果的误差小于置信度阈值，则生成标注数据并结束，否则中止正向图像连续标注，并重新初始化目标位置坐标；基于重新初始化的目标位置坐标，对所述目标位置的可视化定位结果进行倒序连续标注修正，直到符合预设的终止条件并生成标注数据。4.如权利要求3所述的方法，其特征在于，基于所述工作流，对待标注图像数据进行多目标双向多模型数据校正标注，生成标注数据，包括：基于标注图像数据中的各目标对应的辅助算法，分别对待标注图像数据中的各目标进行双向单模型标注，生成标注数据。5.如权利要求2所述的方法，其特征在于，基于所述工作流，对待标注图像数据进行双向多模型同时校正标注，生成标注数据，包括：基于选择的多个辅助算法，分别对待标注图像数据进行正向图像连续标注，得到待标注图像数据中目标位置的各辅助算法对应的可视化定位结果；若所有辅助算法对应的可视化定位结果的误差均小于置信度阈值，则生成标注数据并结束；若存在可视化定位结果的误差小于置信度阈值的辅助算法且存在可视化定位结果的误差大于等于置信度阈值的辅助算法，则中止正向图像连续标注，采用可视化定位结果的误差小于置信度阈值的辅助算法对误差大于等于置信度阈值的辅助算法进行校正，并继续分别采用各辅助算法对待标注图像数据进行正向图像连续标注，直到所有辅助算法对应的可视化定位结果的误差均小于置信度阈值，生成标注数据并结束；若所有辅助算法对应的可视化定位结果的误差均大于等于置信度阈值，则中止正向图像连续标注，并重新初始化目标位置坐标，基于重新初始化的目标位置坐标，分别采用选择
的多个辅助算法对所述目标位置的可视化定位结果进行倒序连续标注修正，直到符合预设的终止条件，生成标注数据并结束。6.如权利要求2所述的方法，其特征在于，所述根据所述标注数据和工作流，生成数据集，包括：根据所述工作流中设置的数据集类型，选择需要生成数据集类型为的目标检测数据集和/或目标跟踪数据集；当需要生成目标检测数据集时，基于相似度算法抽取同一目标相似度最小的标注数据制作目标检测数据集；当需要生成目标跟踪数据集时，根据设置的时间间隔、重合率、中心点偏差以及总帧数，从所述标注数据中抽取连续图像构成目标跟踪数据集。7.如权利要求2所述的方法，其特征在于，所述生成数据集之后，还包括：基于目标检测数据集，进行目标检测算法的脚本训练和/或超参数配置，训练检测数据集，生成目标检测算法模型；基于目标跟踪数据集，进行单目标跟踪算法的脚本训练和/或超参数配置，训练跟踪数据集，生成单目标跟踪算法模型。8.一种算法闭环辅助双向多模型数据标注的装置，其特征在于，包括：人机交互标注界面、标注模块...

【专利技术属性】
技术研发人员：王浩，杨烟台，于泽婷，张天昊，尹桂信，
申请(专利权)人：天津滨海人工智能军民融合创新中心，
类型：发明
国别省市：