模糊图像的目标检测模型训练方法、装置及目标检测方法制造方法及图纸

本公开提供了一种模糊图像的目标检测模型训练方法，可以应用于计算机视觉技术领域。该方法包括：获取目标检测图像集；将模糊图像输入至超分辨率系统，输出恢复图像；将恢复图像和清晰图像输入至目标检测系统的第一特征提取层中，输出与恢复图像对应的第一特征图和与清晰图像对应的第二特征图；将第一特征图输入至目标检测系统的第二特征提取层，输出第一感兴趣区域特征；将恢复图像和清晰图像输入至超分辨率系统，分别输出恢复图像分数和清晰图像分数；确定超分辨率系统的第一损失值；基于第一特征图和第一感兴趣区域特征，确定目标检测系统的第二损失值；基于第一损失值和第二损失值训练超分辨率系统和目标检测系统，得到目标检测模型。标检测模型。标检测模型。

【技术实现步骤摘要】
模糊图像的目标检测模型训练方法、装置及目标检测方法


[0001]本公开涉及计算机视觉
，更具体地，涉及一种模糊图像的目标检测模型训练方法、装置及目标检测方法。

技术介绍

[0002]目标检测被用在多种场景中检测物体，例如自动驾驶、机器人视觉、视频监控等等，它可以在图像中检测出属于某一类别的物体，例如在户外采集到的图像中检测是否有行人出现，而在图像的清晰度较低的情况下，目标检测会受到一定的影响。
[0003]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：相关技术中的目标检测方法依赖与清晰图像的输入，导致目标检测的准确度降低。

技术实现思路

[0004]有鉴于此，本公开提供了一种模糊图像的目标检测模型训练方法、装置及目标检测方法。
[0005]本公开的一个方面提供了一种模糊图像的目标检测模型训练方法，包括：
[0006]获取目标检测图像集，其中，目标检测图像集中包括模糊图像以及与模糊图像对应的清晰图像；
[0007]将模糊图像输入至超分辨率系统，输出恢复图像；
[0008]将恢复图像和清晰图像分别输入至目标检测系统的第一特征提取层中，输出与恢复图像对应的第一特征图和与清晰图像对应的第二特征图；
[0009]将第一特征图输入至目标检测系统的第二特征提取层，输出第一感兴趣区域特征；
[0010]将恢复图像和清晰图像输入至超分辨率系统，分别输出恢复图像分数和清晰图像分数；
[0011]基于恢复图像、清晰图像、第二特征图、第一感兴趣区域特征、恢复图像分数和清晰图像分数，确定超分辨率系统的第一损失值；
[0012]基于第一特征图和第一感兴趣区域特征，确定目标检测系统的第二损失值；
[0013]基于第一损失值和第二损失值训练超分辨率系统和目标检测系统，得到目标检测模型。
[0014]根据本公开的实施例，其中，将第一特征图输入至目标检测系统的第二特征提取层，输出第一感兴趣区域特征，包括：
[0015]将第一特征图输入至目标检测系统的第一区域建议层，输出第一偏移量和第一分数；
[0016]基于第一偏移量与预设检测框，利用非极大值抑制策略确定第一特征图中的目标检测框；
[0017]将目标检测框与第一特征图输入至第二特征提取层，输出第一感兴趣区域特征。
[0018]根据本公开的实施例，其中，超分辨率系统包括生成器，将模糊图像输入至超分辨率系统，输出恢复图像，包括：
[0019]将模糊图像输入至生成器的第一卷积层，输出第三特征图；
[0020]将第三特征图输入至生成器的第一激活层，输出第四特征图；
[0021]将第四特征图输入至生成器的第一残差层，输出第五特征图；
[0022]基于第四特征图和第五特征图，确定第一输出特征图；
[0023]将第一输出特征图输入至生成器的多个上采样层，输出第六特征图；
[0024]基于第三特征图和第六特征图，确定第二输出特征图；
[0025]将第二输出特征图输入至生成器的第二激活层，输出恢复图像。
[0026]根据本公开的实施例，其中，超分辨率系统包括判别器，将恢复图像和清晰图像输入至超分辨率系统，分别输出恢复图像分数和清晰图像分数，包括：
[0027]将恢复图像和清晰图像分别输入至判别器，输出与恢复图像对应的第七特征图和与清晰图像对应的第八特征图；
[0028]将第七特征图、第八特征图和目标检测框分别输入至第四特征提取层，输出与第七特征图对应的第二感兴趣区域特征和与第八特征图对应的第三感兴趣区域特征；
[0029]基于第二感兴趣区域特征和第三感兴趣区域特征，确定恢复图像分数和清晰图像分数。
[0030]根据本公开的实施例，其中，基于恢复图像、清晰图像、第二特征图、第一感兴趣区域特征、恢复图像分数和清晰图像分数，确定超分辨率系统的第一损失值，包括：
[0031]基于恢复图像、清晰图像、恢复图像分数和第二特征图，确定超分辨率系统的生成器的第一子损失值；
[0032]基于第一感兴趣区域特征、恢复图像分数和清晰图像分数，确定超分辨率系统的判别器的第二子损失值；
[0033]基于第一子损失值和第二子损失值确定第一损失值。
[0034]根据本公开的实施例，其中，基于恢复图像、清晰图像、恢复图像分数和第二特征图，确定超分辨率系统的生成器的第一子损失值，包括：
[0035]基于恢复图像和清晰图像的L2范数，确定图像损失值；
[0036]基于第六特征图和第二特征图的L2范数，确定感知损失值；
[0037]基于恢复图像分数确定第一对抗损失值；
[0038]基于图像损失值、感知损失值和第一对抗损失值，确定生成器的第一子损失值。
[0039]根据本公开的实施例，其中，基于第一感兴趣区域特征、恢复图像分数和清晰图像分数，确定超分辨率系统的判别器的第二子损失值，包括：
[0040]基于第一感兴趣区域特征、第二感兴趣区域特征和第三感兴趣区域特征，确定特征相似性损失值；
[0041]基于恢复图像分数和清晰图像分数，确定第二对抗损失值；
[0042]基于特征相似性损失值和第二对抗损失值，确定判别器的第二子损失值。
[0043]根据本公开的实施例，其中，基于第一特征图和第一感兴趣区域特征，确定目标检测系统的第二损失值，包括：
[0044]将第一特征图输入至目标检测系统的第一区域建议层，输出第一偏移量和第一分
数；
[0045]将第一感兴趣区域特征输入至第二区域建议层，输出第二偏移量和第二分数；
[0046]基于第一偏移量、第一分数、第二偏移量和第二分数，确定目标检测系统的第二损失值。
[0047]本公开的另一个方面提供了一种模糊图像的目标检测方法，包括：
[0048]将目标模糊图像输入至如模糊图像的目标检测模型训练方法中训练好的目标检测模型的超分辨率系统，输出目标恢复图像；
[0049]将目标模糊图像和目标恢复图像输入至目标检测模型的目标检测系统，输出第四感兴趣区域特征；
[0050]基于第四感兴趣区域特征，确定目标模糊图像中的目标检测结果。
[0051]本公开的另一个方面提供了一种模糊图像的目标检测模型训练装置，包括：
[0052]获取模块，用于获取目标检测图像集，其中，目标检测图像集中包括模糊图像以及与模糊图像对应的清晰图像；
[0053]第一输出模块，用于将模糊图像输入至超分辨率系统，输出恢复图像；
[0054]第二输出模块，用于将恢复图像和清晰图像分别输入至目标检测系统的第一特征提取层中，输出与恢复图像对应的第一特征图和与清晰图像对应的第二特征图；
[0055]第三输出模块，用于将第一特征图输入至目标检测系统的第二特征提取层，输出第一感兴趣区域特征；
[0056]第四输出模块，用于将恢复图像和清晰图像输入至本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模糊图像的目标检测模型训练方法，包括：获取目标检测图像集，其中，所述目标检测图像集中包括模糊图像以及与所述模糊图像对应的清晰图像；将所述模糊图像输入至超分辨率系统，输出恢复图像；将所述恢复图像和所述清晰图像分别输入至目标检测系统的第一特征提取层中，输出与所述恢复图像对应的第一特征图和与所述清晰图像对应的第二特征图；将所述第一特征图输入至所述目标检测系统的第二特征提取层，输出第一感兴趣区域特征；将所述恢复图像和所述清晰图像输入至所述超分辨率系统，分别输出恢复图像分数和清晰图像分数；基于所述恢复图像、所述清晰图像、所述第二特征图、所述第一感兴趣区域特征、所述恢复图像分数和所述清晰图像分数，确定所述超分辨率系统的第一损失值；基于所述第一特征图和所述第一感兴趣区域特征，确定所述目标检测系统的第二损失值；基于所述第一损失值和所述第二损失值训练所述超分辨率系统和所述目标检测系统，得到目标检测模型。2.根据权利要求1所述的方法，其中，所述将所述第一特征图输入至所述目标检测系统的第二特征提取层，输出第一感兴趣区域特征，包括：将所述第一特征图输入至所述目标检测系统的第一区域建议层，输出第一偏移量和第一分数；基于所述第一偏移量与预设检测框，利用非极大值抑制策略确定所述第一特征图中的目标检测框；将所述目标检测框与所述第一特征图输入至第二特征提取层，输出第一感兴趣区域特征。3.根据权利要求2所述的方法，其中，所述超分辨率系统包括生成器，所述将所述模糊图像输入至超分辨率系统，输出恢复图像，包括：将所述模糊图像输入至所述生成器的第一卷积层，输出第三特征图；将所述第三特征图输入至所述生成器的第一激活层，输出第四特征图；将所述第四特征图输入至所述生成器的第一残差层，输出第五特征图；基于所述第四特征图和所述第五特征图，确定第一输出特征图；将所述第一输出特征图输入至所述生成器的多个上采样层，输出第六特征图；基于所述第三特征图和所述第六特征图，确定第二输出特征图；将所述第二输出特征图输入至所述生成器的第二激活层，输出恢复图像。4.根据权利要求3所述的方法，其中，所述超分辨率系统包括判别器，所述将所述恢复图像和所述清晰图像输入至所述超分辨率系统，分别输出恢复图像分数和清晰图像分数，包括：将所述恢复图像和所述清晰图像分别输入至所述判别器的第三特征提取层，输出与所述恢复图像对应的第七特征图和与所述清晰图像对应的第八特征图；将所述第七特征图、所述第八特征图和所述目标检测框分别输入至第四特征提取层，
输出与所述第七特征图对应的第二感兴趣区域特征和与所述第八特征图对应的第三感兴趣区域特征；基于所述第二感兴趣区域特征和所述第三感兴趣区域特征，确定恢复图像分数和清晰图像分数。5.根据权利要求4所述的方法，其中，所述基于所述恢复图像、所述清晰图像、所述第二特征图、所述第一感兴趣区域特征、所述恢复图像分数和所述清晰图像分数，确定所述超分辨率系统的第一损失值，包括：基于所述恢复图像、所述清晰图像、所述恢复图像分数和所述第二特征图，确定所述超分辨率系统的所述生成器的第一子损失值；基于...

【专利技术属性】
技术研发人员：付琨，杨金泽，戴威，吴有明，尹文昕，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：