基于多清晰度集成自训练的小样本低质量图像目标检测方法技术

本发明专利技术涉及一种基于多清晰度集成自训练的小样本低质量图像目标检测方法，属于图像处理技术领域。首先使用有标注的数据对目标检测模型进行初步训练，然后使用该训练模型对无标注的数据进行预测，然后将预测后的数据增加到原始数据中，一起重新对目标检测模型进行训练，以此类推，不断迭代更新得到最终的检测模型；同时每个在使用新的模型对五标注数据进行预测的时候采用多清晰度集成自训练方式，本发明专利技术方法有效将有标签低质量图像数据以及无标签低质量图像数据结合起来，提高了小样本低质量图像目标检测的精度。量图像目标检测的精度。量图像目标检测的精度。

【技术实现步骤摘要】
基于多清晰度集成自训练的小样本低质量图像目标检测方法


[0001]本专利技术属于图像处理
，具体涉及一种基于多清晰度集成自训练的小样本低质量图像目标检测方法。

技术介绍

[0002]随着科学技术的进步以及数字信息技术的飞速发展，数字设备产品不仅被广泛应用于各行各业中，也成为人们的日常生活中必不可少的一部分。从上世纪中叶至今，计算机图像目标检测技术呈现出蓬勃的生机，在航空航天、地形勘探和交通监控方面等领域都有着广泛的应用，在信息高速化发展的时代，特别是数码相机、手持相机等电子产品的普及，目标检测技术更是被用于生活中的方方面面。
[0003]在实际应用中，计算机图像成像条件多样，往往获取的图像质量差。例如在雨雪雾等极端天气下获取的图像对比度降低、细节模糊，质量严重下降，大大限制了后续计算机视觉的应用，尤其是在户外导航、交通监控、目标识别等方面；网络上的视频图像经过频繁的复制、传输、格式转换等常常清晰度较差，信息损失严重；拍摄设备的轻微移动导致图像抖动，画面模糊；又如夜间环境下，由于光照不足、光源单一、拍摄设备等因素影响，采集的图像普遍存在低对比度、高噪声、色彩失真的特点，使得图像的利用率大大降低。总结来说，低质量图像指由于拍摄场景成像条件差或者拍摄设备不稳定等原因造成的不清晰图像，研究图像质量降低的情况下的目标检测问题在计算机视觉领域和实际应用中都具有重要的意义。
[0004]另一方面，相对于传统场景下的目标检测，极端天气低质量的场景图像获取往往更为困难，同时人工标注数据的成本往往较高，因此研究一种在很小的低质量图像标注数据下进行目标检测的方法十分有必要。

技术实现思路

[0005]要解决的技术问题
[0006]为了避免现有技术的不足之处，本专利技术提出一种基于多清晰度集成自训练的小样本低质量图像目标检测方法。使用本专利技术提出的检测框架，可以在有限的小样本标注数据和计算资源下，针对低质量图像目标检测任务充分利用数据，并能适配于不同的目标检测模型，兼顾效率与检测精度的平衡。
[0007]技术方案
[0008]一种基于多清晰度集成自训练的小样本低质量图像目标检测方法，其特征在于步骤如下：
[0009]步骤1：假设输入图像数据为有标注的数据对(X1，Y1)以及无标注数据X2，首先使用有标注的数据对目标检测模型Faster
‑
R
‑
CNN进行初步训练，优化目标为：
[0010]MIN Loss(Y1，F1(X1))
[0011]在得到第一个训练模型F1之后，使用它来对无标注的数据进行预测，即：
[0012]Y2＝F1(X2)
[0013]步骤2：然后将(X2，Y2)当成有标注数据加入到原来的数据中得到增强数据集D1＝(X1，Y1，X2，Y2)，利用D1重新训练目标检测模型Faster
‑
R
‑
CNN得到F2，然后再用F2给X2预测更好的标注信息得到Y3；
[0014]步骤3：以此类推，不断进行迭代式更新得到最终的检测模型F
n
；
[0015]步骤4：使用最终的检测模型F
n
对待检测图像数据进行检测，得到最终的图像目标。
[0016]本专利技术进一步的技术方案：在每次训练得到最新的模型F后，用它对无标注的数据进行预测：首先针对原始的低质量带雾图片使用暗通道去雾模型进行清晰化处理，通过控制其窗口参数来产生不同清晰程度的去雾图片I1I2…
I
k
，其中k表示一共有k种清晰度，然后将上述k种清晰程度的图片分别输入给F进行预测，会产生k组(x，y，w，h，c)五元组预测结果，其中前四个数字预测位置，最后一个数字c预测属于当前类别的置信度；在对k组五元组预测结果进行集成时，根据置信度c的大小：当c大于给定阈值0.8时，则保留当前预测结果到最终结果集合中；当c小于给定阈值0.3时，则将当前预测结果添加到待人工纠正集合中；对于剩下的预测结果，则按照交并比大小进行类内的融合，即对于同类中的任意两个预测框交并比大于给定阈值0.7的坐标框，保留c值较大的那个加入到最终结果集中；最后将上述过程中产生的待人工纠正集合中的“错误”预测结果进行纠正后加入最终结果集。
[0017]本专利技术进一步的技术方案：步骤3中迭代次数为6次。
[0018]有益效果
[0019]本专利技术提出的一种基于多清晰度集成自训练的小样本低质量图像目标检测方法，基于半监督技术中的自训练方法进行改进，加入了主动学习有针对性的利用自训练时被标错的数据，同时针对低质量图像场景提出了多清晰度集成自训练的方式有效将有标签低质量图像数据以及无标签低质量图像数据结合起来，提高了小样本低质量图像目标检测的精度。
附图说明
[0020]附图仅用于示出具体实施例的目的，而并不认为是对本专利技术的限制，在整个附图中，相同的参考符号表示相同的部件。
[0021]图1模型整体结构示意图；
[0022]图2半监督低质量图像目标检测算法主要流程；
[0023]图3多清晰度集成自训练方法。
具体实施方式
[0024]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图和实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。此外，下面描述的本专利技术各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0025]本专利技术的技术方案模块从二个方面进行阐述：模型总体结构、多清晰度集成自训练。总体的模型结构是基于现有的两阶段目标检测框架Faster
‑
R
‑
CNN构建，首先利用提供
的已标注数据对模型进行训练，然后用训练好的模型在无标注样本上预测标注，最后将这些“有标注”数据加入到原训练数据中一起重新训练，得到最后的模型进行测试。
[0026]1.模型总体结构
[0027]如图1所示，本专利技术的模型基于Faster
‑
R
‑
CNN框架进行构建，假设输入数据为有标注的数据对(X1，Y1)以及无标注数据X2，首先第一步使用有标注的数据来对模型进行初步训练，优化目标为：
[0028]MIN Loss(Y1，F1(X1))
[0029]在得到第一个训练模型F1之后，使用它来对无标注的数据进行预测，即：
[0030]Y2＝F1(X2)
[0031]然后将(X2，Y2)当成有标注数据加入到原来的数据中得到增强数据集D1＝(X1，Y1，X2，Y2)，其中Y2的标注信息是带有一定噪音的，可以通过提高最后的置信度阈值来增加其可信程度。同时为了提高标注信息的预测质量，可以重复上述的过程，利用D1重新训练模型得到F2，然后再用F2给X2预测更好的标注信息得到Y3，以此类推，不断进行迭代式更新直到有一个较好的数据标注，毫无疑问数据量的增加会给模型带来较大的结果提升本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多清晰度集成自训练的小样本低质量图像目标检测方法，其特征在于步骤如下：步骤1：假设输入图像数据为有标注的数据对(X1，Y1)以及无标注数据X2，首先使用有标注的数据对目标检测模型Faster
‑
R
‑
CNN进行初步训练，优化目标为：MIN Loss(Y1,F1(X1))在得到第一个训练模型F1之后，使用它来对无标注的数据进行预测，即：Y2＝F1(X2)步骤2：然后将(X2,Y2)当成有标注数据加入到原来的数据中得到增强数据集D1＝(X1,Y1,X2,Y2)，利用D1重新训练目标检测模型Faster
‑
R
‑
CNN得到F2，然后再用F2给X2预测更好的标注信息得到Y3；步骤3：以此类推，不断进行迭代式更新得到最终的检测模型F
n
；步骤4：使用最终的检测模型F
n
对待检测图像数据进行检测，得到最终的图像目标。2.根据权利要求1所述的一种基于多清晰度集成自训练的小样本低质量图像目标检测方法，其特征在于在每次训练得到最新的模型F后，用它对无标注的数据进行预测：首先针对原始的低质量带雾图片使用暗通道去雾模型进行清晰化处理，通过控制其窗口参数来产生不同清晰程度的去...

【专利技术属性】
技术研发人员：王鹏，邓玉岩，林蔚东，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：