一种基于人机交互的半自动标注方法及系统技术方案

本发明专利技术公开了一种基于人机交互的半自动标注方法及系统，所述方法包括：将待标注的RGB图像与产生的第一高斯热图进行融合；对融合图像进行预处理；将预处理后的融合图像输入预先建立和训练好的半自动标注模型，对待标注RGB图像标注多个预测框；当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正。本发明专利技术的方法将高斯热图作为先验信息来对目标进行检测，进而达到半自动标注的预期效果；可以摆脱人工标注费时费力的弊端，并提高标注的精度。

【技术实现步骤摘要】
一种基于人机交互的半自动标注方法及系统
本专利技术属于目标检测领域，具体涉及一种利用额外的点击作为先验信息，通过与RGB图像进行融合达到标注目的的方法，特别涉及一种基于人机交互的半自动标注方法及系统。
技术介绍
随着互联网、机器学习、大数据和云计算等技术的飞速发展，各种信息数据以指数级的速度在持续增长，在大数据时代背景下，计算机视觉发展已经相对成熟，因而滋生出多样化的行业应用。标注数据集对深度学习而言是很重要的一步，但是标注数据是件很繁琐的工作，而半自动标注可以减轻工作量。即使现在有开源的半自动标注工具，但使用的前提是模型的精度越高越好，如果检测结果不准确，就会增加工作量，导致无法使用。而且使用半自动标注工具可能有出现检测结果不准确，有目标未被检测出来等情况，因此需要手动标注进行完善。但是由于模型的效率和精度很难达到平衡，所以就目前来看主流方法还是全人工标注。但人工标注数据集有以下几项弊端：1、数据标注人工成本高：目标检测算法需要海量标注样本，而目前海量的数据标注任务依赖人工方式实现，“有多少人工，就有多少智能”，造成制作标注数据集的成本高。2、人工标注的质量难以保证：不同的标注人员和标注团队存在判定尺度不一致问题，标注任务受标注人员和审查人员主观影响大，会引入一定的标注误差，数据一致性难以保证。3、目标检测数据集标注门槛高：相比于海量的数据标注需求，专业领域的标注人员过于稀缺，导致标注门槛高，标注的尺度也难以保持一致。
技术实现思路
本专利技术的目的在于克服上述技术缺陷，提出提供了一种在Fasterrcnn模型基础上基于模拟点击融合RGB通道实现半自动标注的方法，该方法通过提供模拟点击作为先验信息，根据这些信息限定预测框的生成范围。这种方法可以在Fasterrcnn漏检目标时再给图片一个位置信息用来检测目标，并克服了Fasterrcnn在检测目标时因为光照条件，遮挡，阴影等情况的影响，容易错检或漏检的问题。而且根据预先提供的位置信息来限制预测框生成的基础上，抑制了错检框产生的概率，有效的实现了基于人机交互的半自动标注过程，并提高了模型的检测效果和鲁棒性。为实现上述目的，本专利技术的实施例1提出了一种基于人机交互的半自动标注方法，所述方法包括：将待标注的RGB图像与产生的第一高斯热图进行融合；对融合图像进行预处理；将预处理后的融合图像输入预先建立和训练好的半自动标注模型，对待标注RGB图像标注多个预测框；当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正操作。作为上述方法的一种改进，所述将待标注的RGB图像与产生的第一高斯热图进行融合；具体包括：利用与待标注的RGB图像对应的xml文件中左上坐标和右下坐标，在待标注RGB图像上确定目标所在区域，然后将目标所在区域内的所有像素点设为255，将目标所在区域外的像素点设为0，由此生成Mask图像；在Mask图像的中心范围随机生成多个模拟点，由此生成第一高斯热图heat1：其中，(x,y)为图片上的点坐标，(x1,m,y1,m)为第m个模拟点的坐标，M为模拟点的个数；sigma的值为10，r1＝4，代表模拟点的辐射范围；将待标注的RGB图像与生成的第一高斯热图heat1进行add操作。作为上述方法的一种改进，所述半自动标注模型为加入注意力机制的Resnet50+FPN结构。作为上述方法的一种改进，所述方法还包括：对半自动标注模型进行训练的步骤，具体包括：建立用于训练模型的数据集；数据集包括：标签文件集和图像文件集，标签文件集包括多个xml文件，图像文件集包括多个RGB图像，xml文件和RGB图像是一一对应的；遍历数据集中的每一个RGB图像，利用对应的xml文件中左上坐标和右下坐标，在RGB图像上确定目标所在区域，然后将目标所在区域内的所有像素点设为255，将目标所在区域外的像素点设为0；由此生成Mask图像，然后利用Mask图像生成第一高斯热图；将三通道RGB图像与第一高斯热图进行融合，之后对融合后的图像进行预处理；作为半自动标注模型的输入；设定半自动标注模型训练的编码器和解码器的尺寸大小、批处理数量、训练轮次数和各轮的学习率，对模型进行训练。作为上述方法的一种改进，所述当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正操作；具体包括：步骤S1)对模型输出的每个预测框与GT框进行交并比计算，得到IOU的值；若IOU大于阈值，则不对此预测框进行修正处理，否则对该预测框进行处理，进入步骤S2)；步骤S2)将需要修正的预测框与xml文件的坐标进行偏差计算，根据偏差重新随机生成多个模拟点，由此生成第二高斯热图heat2：其中，(x,y)为图像上的点坐标，(x2,n,y2,n)为第n个模拟点，N为模拟点的个数；公式中sigma的值取10，r2＝6；步骤S3)将三通道RGB图像与生成的第二高斯热图的单通道进行拼接，重新输入半自动标注模型，输出标注预测框的图像，转入步骤S1)，直至所有的预测框与GT框的交并比小于阈值。本专利技术的实施例2提出了一种基于人机交互的半自动标注系统，所述系统包括：训练好的半自动标注模型、融合模块、预处理模块、标注模块和修正模块；所述融合模块，用于将待标注的RGB图像与产生的第一高斯热图进行融合；所述预处理模块，用于对融合图像进行预处理；所述标注模块，用于将预处理后的融合图像输入训练好的半自动标注模型，对待标注RGB图像标注多个预测框；所述修正模块，用于当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正。与现有的技术相比，本专利技术的优势在于：1、本专利技术的方法首先将额外点击作为先验信息来对目标进行检测，进而达到半自动标注的预期效果；然后通过对错检目标的惩罚降低误检率，进一步提升检测效果；2、本专利技术的方法的半自动标注模型不仅大幅度提升了原有模型的精度，并对不同的数据集也有很好的迁移效果；可以摆脱人工标注费时费力的弊端，只需要人为提供一个目标所在位置的先验信息，模型就可以主动加强对当前位置附近的检测；3、本专利技术的方法中因为预测的位置可能有时会稍有偏差，因此需要人为的进行修正，但人为修正同样存在着开销大，耗时长的问题；所以本专利技术加了一个修正部分，对预测结果不理想的目标进行修正使其预测正确；4、本专利技术对原有结构进行改进，在交互式检测的基础上又加了一个修正操作，使其达到修正目的。附图说明图1为本专利技术的实施例1的基于人机交互的半自动标注方法的示意图；图2为本专利技术的半自动标注模型结构图；图3为半自动标注模型的SKNet部分的示意图；具体实施方式：为使本申请的目的、技术方案和优点更加清楚，下面将结合本申请具体实施例以及相应的附图对本申请技术方案进行清楚、完整地描述。应当理解，所描述的实施例仅仅本文档来自技高网...

【技术保护点】
1.一种基于人机交互的半自动标注方法，所述方法包括：/n将待标注的RGB图像与产生的第一高斯热图进行融合；/n对融合图像进行预处理；/n将预处理后的融合图像输入预先建立和训练好的半自动标注模型，对待标注RGB图像标注多个预测框；/n当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正。/n

【技术特征摘要】
1.一种基于人机交互的半自动标注方法，所述方法包括：
将待标注的RGB图像与产生的第一高斯热图进行融合；
对融合图像进行预处理；
将预处理后的融合图像输入预先建立和训练好的半自动标注模型，对待标注RGB图像标注多个预测框；
当有预测框不满足要求，则通过产生第二高斯热图对不满足要求的预测框进行修正。


2.根据权利要求1所述的基于人机交互的半自动标注方法，其特征在于，所述将待标注的RGB图像与产生的第一高斯热图进行融合；具体包括：
利用与待标注的RGB图像对应的xml文件中左上坐标和右下坐标，在待标注RGB图像上确定目标所在区域，然后将目标所在区域内的所有像素点设为255，将目标所在区域外的像素点设为0，由此生成Mask图像；
在Mask图像的中心范围随机生成多个模拟点，由此生成第一高斯热图heat1：



其中，(x,y)为图像上的点坐标，(x1,m,y1,m)为第m个模拟点的坐标，M为模拟点的个数；sigma的值为10，r1＝4，代表模拟点的辐射范围；
将待标注的RGB图像与生成的第一高斯热图heat1进行add操作。


3.根据权利要求2所述的基于人机交互的半自动标注方法，其特征在于，所述半自动标注模型为加入注意力机制的Resnet50+FPN结构。


4.根据权利要求3所述的基于人机交互的半自动标注方法，其特征在于，所述方法还包括：对半自动标注模型进行训练的步骤，具体包括：
建立用于训练模型的数据集；数据集包括：标签文件集和图像文件集，标签文件集包括多个xml文件，图像文件集包括多个RGB图像，xml文件和RGB图像是一一对应的；
遍历数据集中的每一个RGB图像，利用对应的xml文件中左上坐标和右下坐标，在RGB图像上确定目标所在区域，然后将目标所在区域内的所有像素...

【专利技术属性】
技术研发人员：张新钰，李骏，李志伟，刘宇红，王力，卢一倩，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11