【技术实现步骤摘要】
一种用于批量图像标注的处理系统
[0001]本专利技术涉及数据处理领域，特别涉及一种用于批量图像标注的处理系统
。
技术介绍
[0002]在自动驾驶领域需要采集海量图像用于各类模型训练，并需要对采集到的海量图像进行图像标注
。
目前常规的图像标注工作都是依靠人工完成的，这种常规工作方式的工作效率低
、
标注时间长
、
标注成本高
。
技术实现思路
[0003]本专利技术的目的，就是针对现有技术的缺陷，提供一种用于批量图像标注的处理系统，该系统包括：任务调度模块
、
任务输入模块
、
人工标注模块
、
人工审核模块
、
任务输出模块
、
多模态目标检测模型
、
图像特征学习模型和图像分割模型；其中，任务调度模块用于从任务输入模块接收的标注任务中整理出待检图像序列；人工标注模块则根据标注模式与用户互动进行目标类型文本确认并从待检图像序列中选择部分待检图像进行预标注处理；任务调度模块再调用多模态目标检测模型
、
图像特征学习模型和图像分割模型根据人工标注模块输出的目标类型文本序列和标注框数据集合对待检图像序列进行目标检测
、
低分检测框过滤和语义分割处理得到对应的检测框分割数据集合；人工审核模块则根据待检图像序列
、
检测框数据集合和检测框分割数据集合进行人工审核；任务调度模块再将人工审核模块的审核输出...
【技术保护点】
【技术特征摘要】
1.
一种用于批量图像标注的处理系统，其特征在于，所述系统包括：任务调度模块
、
任务输入模块
、
人工标注模块
、
人工审核模块
、
任务输出模块
、
多模态目标检测模型
、
图像特征学习模型和图像分割模型；所述任务调度模块分别与所述任务输入模块
、
所述人工标注模块
、
所述人工审核模块
、
所述任务输出模块
、
所述多模态目标检测模型
、
所述图像特征学习模型和所述图像分割模型连接；所述多模态目标检测模型默认选用
Grounding DINO
模型；所述图像特征学习模型默认选用
DINOv2
模型；所述图像分割模型默认选用
SAM
模型；所述任务输入模块用于将用户输入的第一标注任务向所述任务调度模块发送；所述第一标注任务包括第一标注模式
、
第一任务数据类型和第一任务数据；所述第一标注模式包括简单标注模式和复杂标注模式；所述第一任务数据类型包括图像类型和视频类型；所述第一任务数据类型为图像类型时对应的所述第一任务数据为一个图像序列，所述第一任务数据类型为视频类型时对应的所述第一任务数据为一个视频数据；所述任务调度模块用于从接收到的所述第一标注任务中提取出对应的所述第一标注模式
、
所述第一任务数据类型和所述第一任务数据；并对所述第一任务数据类型进行识别，若为图像类型则将所述第一任务数据作为对应的第一待检图像序列，若为视频类型则对所述第一任务数据进行视频分帧图像提取处理并将提取出的所有图像按时间先后顺序组成对应的所述第一待检图像序列；并将所述第一标注模式和所述第一待检图像序列向所述人工标注模块发送；所述人工标注模块用于在接收到所述第一标注模式和所述第一待检图像序列时，根据所述第一标注模式与用户互动进行目标类型文本确认得到对应的第一目标类型文本序列；并根据所述第一标注模式和所述第一目标类型文本序列与用户互动从所述第一待检图像序列中选择部分待检图像进行预标注处理得到对应的第一标注框数据集合；并将所述第一目标类型文本序列和所述第一标注框数据集合向所述任务调度模块回发；所述任务调度模块还用于在接收到所述第一目标类型文本序列和所述第一标注框数据集合时，调用所述多模态目标检测模型根据所述第一目标类型文本序列对所述第一待检图像序列进行目标检测处理得到对应的第一检测框数据集合；并调用所述图像特征学习模型分别对所述第一标注框数据集合和所述第一检测框数据集合进行对应的标注
/
检测框图像特征识别处理得到对应的第一标注框特征集合和第一检测框特征集合；并根据所述第一标注框特征集合和所述第一检测框特征集合对所述第一检测框数据集合进行低分检测框过滤处理；并调用所述图像分割模型对过滤后的所述第一检测框数据集合进行检测框图像语义分割处理得到对应的第一检测框分割数据集合；并将所述第一待检图像序列
、
所述第一检测框数据集合和所述第一检测框分割数据集合向所述人工审核模块发送；所述人工审核模块用于根据接收到的所述第一待检图像序列
、
所述第一检测框数据集合和所述第一检测框分割数据集合进行人工审核处理并输出对应的第一审核图像序列
、
第一审核检测框数据集合和第一审核检测框分割数据集合向所述任务调度模块回发；所述任务调度模块还用于由接收到的所述第一审核图像序列
、
所述第一审核检测框数据集合和所述第一审核检测框分割数据集合组成生成对应的第一任务输出数据包；并通过所述任务输出模块将所述第一任务输出数据包向用户输出
。2.
根据权利要求1所述的用于批量图像标注的处理系统，其特征在于，
所述第一待检图像序列包括多个第一待检图像，每个所述第一待检图像对应一个第一图像标识；所述第一目标类型文本序列包括一个或多个第一目标类型文本；所述第一标注模式为简单标注模式时，所述第一目标类型文本序列由多个所述第一目标类型文本组成，且每个所述第一目标类型文本为一个不带定语的目标类型名词；所述第一标注模式为复杂标注模式时，所述第一目标类型文本序列仅包括一个所述第一目标类型文本，且该唯一的所述第一目标类型文本为一个带有一个或多个定语的目标类型名词短语；所述第一标注框数据集合包括多个第一标注框数据；所述第一标注框数据包括第一父图像标识
、
第一标注框图像
、
第一标注框中心点坐标
、
第一标注框尺寸
、
第一标注框朝向和第一标注框类型；所述第一父图像标识与一个所述第一图像标识对应；所述第一标注框类型与一个所述第一目标类型文本对应；所述第一检测框数据集合包括多个第一检测框数据；所述第一检测框数据包括第二父图像标识
、
第一检测框标识
、
第一检测框图像
、
第一检测框中心点坐标
、
第一检测框尺寸
、
第一检测框朝向和第一检测框类型；所述第二父图像标识与一个所述第一图像标识对应；所述第一检测框类型与一个所述第一目标类型文本对应；所述第一检测框分割数据集合包括多个第一检测框分割数据；所述第一检测框分割数据包括第二检测框标识和第一检测框语义分割图；所述第二检测框标识与一个所述第一检测框标识对应；所述第一检测框语义分割图的像素语义包括前景语义和背景语义，所述前景语义与一个所述第一检测框类型对应
。3.
根据权利要求2所述的用于批量图像标注的处理系统，其特征在于，所述人工标注模块具体用于在所述根据所述第一标注模式与用户互动进行目标类型文本确认得到对应的第一目标类型文本序列时，对所述第一标注模式进行识别；若所述第一标注模式为简单标注模式，则向用户提供第一简单目标类型输入页面；并通过所述第一简单目标类型输入页面接收用户输入的多个目标类型名词，并将各个输入的目标类型名词作为对应的所述第一目标类型文本，并由得到的所有所述第一目标类型文本组成对应的所述第一目标类型文本序列；若所述第一标注模式为复杂标注模式，则向用户提供第一复杂目标类型输入页面；并通过所述第一复杂目标类型输入页面接收用户输入的一个带有一个或多个定语的目标类型名词短语作为对应的所述第一目标类型文本，并由该唯一的所述第一目标类型文本组成对应的所述第一目标类型文本序列
。4.
根据权利要求2所述的用于批量图像标注的处理系统，其特征在于，所述人工标注模块具体用于在所述根据所述第一标注模式和所述第一目标类型文本序列与用户互动从所述第一待检图像序列中选择部分待检图像进行预标注处理得到对应的第一标注框数据集合时，向用户提供第一预标注页面，并在所述第一预标注页面上对所述第一待检图像序列的所有所述第一待检图像进行排列显示；并在任一所述第一待检图像被用户选中时，将当前选中的所述第一待检图像作为对应的当前图像；并提供标注框绘制功能以供用户在所述当前图像上进行标注框绘制从而得到对应的一个或多个第一标注框；并将所述当前图像的所述第一图像标识作为各个所述第一标注框的所述第一父图像标识；并将各个所述第一标注框在所述当前图像上的标注框图像
提取出来作为对应的所述第一标注框图像；并将各个所述第一标注框在所述当前图像上的标注框中心点坐标
、
标注框尺寸和标注框朝向作为对应的所述第一标注框中心点坐标
、
所述第一标注框尺寸和所述第一标注框朝向；并在任一所述第一标注框被用户选中时，将当前选中的所述第一标注框作为对应的当前标注框；并对所述第一标注模式进行识别；若所述第一标注模式为简单标注模式，则提供标注框类型标记功能以供用户从所述第一目标类型文本序列中任选一个所述第一目标类型文本作为对应的所述第一标注框类型对所述当前标注框进行目标类型标记；若所述第一标注模式为复杂标注模式，则将所述第一目标类型文本序列中唯一的所述第一目标类型文本作为对应的当前目标类型文本，并向用户显示带有确认选项和取消选项的第一提示消息，并通过所述第一提示消息向用户提示是否要将所述当前目标类型文本作为所述当前标注框对应的所述第一标注框类型，并在用户选中了所述第一提示消息的所述确认选项时将所述当前标注框对应的所述第一标注框类型设为对应的所述当前目标类型文本；并在所述第一预标注页面上预置的预标注提交选项被用户选中时，由各个所述第一标注框对应的所述第一父图像标识
、
所述第一标注框图像
、
所述第一标注框中心点坐标
、
所述第一标注框尺寸
、
所述第一标注框朝向和所述第一标注框类型组成一个对应的所述第一标注框数据；并由得到的所有所述第一标注框数据组成对应的所述第一标注框数据集合
。5.
根据权利要求2所述的用于批量图像标注的处理系统，其特征在于，所述任务调度模块具体用于在所述调用所述多模态目标检测模型根据所述第一目标类型文本序列对所述第一待检图像序列进行目标检测处理得到对应的第一检测框数据集合时，对所述第一待检图像序列的所述第一待检图像进行遍历；并在遍历时，将当前遍历的所述第一待检图像作为对应的当前待检图像，并将所述当前待检图像对应的所述第一图像标识作为对应的当前图像标识；并将所述第一目标类型文本序列和所述当前待检图像输入所述多模态目标检测模型，由所述多模态目标检测模型根据所述第一目标类型文本序列中的一个或多个所述第一目标类型文本对所述当前待检图像进行定向目标检测并输出对应的第一检测框
‑
文本对集合；若所述第一检测框
‑
文本对集合不为空，则根据所述当前图像标识
、
所述当前待检图像和所述第一检测框
‑
文本对集合进行检测框数据组装得到对应的第一检测框数据子集；并在遍历结束时，对得...
【专利技术属性】
技术研发人员：张学森，孙涤非，任轶，
申请(专利权)人：北京道仪数慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。