【技术实现步骤摘要】
结合相机参数的目标检测模型训练方法和目标检测方法
[0001]本公开涉及计算机视觉
，更具体地，涉及一种结合相机参数的目标检测模型训练方法和目标检测方法。
技术介绍
[0002]相关技术中，光学卫星、浮空器、无人机等新兴设备均采用了光学相机对地采集图像，由于采集图像时存在一定的倾斜角度，因此会造成图像中目标物体与实际差异较大，从而导致对图像的分类、检测等任务带来困难。
[0003]在实现本公开构思的过程中，专利技术人发现相关技术中至少存在如下问题：相关技术中没有充分利用目标检测图像的信息，导致目标检测精度较低。
技术实现思路
[0004]有鉴于此，本公开提供了一种结合相机参数的目标检测模型训练方法、装置、电子设备和目标检测方法。
[0005]本公开的一方面提供了一种结合相机参数的目标检测模型训练方法，包括：
[0006]获取目标检测图像，其中，目标检测图像为采集倾角大于预设角度阈值的图像，目标检测图像带有目标标注信息；
[0007]将目标检测图像输入至初始目标检测网络，输出对目标检测图像的初始目标检测结果；
[0008]根据目标检测图像和相机参数信息，确定带有像素深度信息的像素深度检测图像；
[0009]将像素深度检测图像输入至像素深度检测网络中，输出对像素深度检测图像的像素深度检测结果；
[0010]基于目标标注信息、像素深度信息、初始目标检测结果和像素深度检测结果训练初始目标检测网络和像素深度检测网络，得到训练好的目标检测模型。>[0011]根据本公开的实施例，其中，将目标检测图像输入至初始目标检测网络，输出对目标检测图像的初始目标检测结果，包括：
[0012]将目标检测图像输入至初始目标检测网络的第一下采样层，输出多个尺度的第一特征图；
[0013]将多个尺度的第一特征图输入至初始检测网络的第一融合特征层，输出多个尺度的第二特征图；
[0014]将多个尺度的第二特征图输入至初始检测网络的感兴趣区域提取层，输出多个尺度的第二特征图中每个第二特征图的感兴趣区域；
[0015]将多个感兴趣区域输入至初始检测网络的预测层，输出对目标检测图像的初始目标检测结果。
[0016]根据本公开的实施例，其中，将像素深度检测图像输入至像素深度检测网络中，输
出对像素深度检测图像的像素深度检测结果，包括：
[0017]将像素深度检测图像输入至像素深度检测网络的第二下采样层，输出多个尺度的第三特征图；
[0018]将多个尺度的第三特征图输入至像素深度检测网络的第二融合特征层，输出多个尺度的第四特征图；
[0019]将多个尺度的第四特征图分别输出至像素深度检测网络的三维深度感知层，输出对像素深度检测图像的像素深度检测结果。
[0020]根据本公开的实施例，其中，基于目标标注信息、像素深度信息、初始目标检测结果和像素深度检测结果训练初始目标检测网络和像素深度检测网络，得到训练好的目标检测模型，包括：
[0021]基于初始目标检测结果和目标标注信息，确定目标检测损失值；
[0022]基于像素深度检测结果和像素深度信息，确定像素深度检测损失值；
[0023]基于目标检测损失值和像素深度检测损失值训练初始目标检测网络和像素深度检测网络，得到训练好的目标检测模型。
[0024]根据本公开的实施例，其中，目标标注信息包括目标坐标信息和目标类别信息，基于初始目标检测结果和目标标注信息，确定目标检测损失值，包括：
[0025]基于初始目标检测结果和目标坐标信息，确定目标坐标检测损失值；
[0026]基于初始目标检测结果和目标类别信息，确定目标类别检测损失值；
[0027]基于目标坐标检测损失值和目标类别检测损失值，确定目标检测损失值。
[0028]根据本公开的实施例，其中，根据目标检测图像和相机参数信息，确定带有像素深度信息的像素深度检测图像，包括：
[0029]根据目标标注信息和相机参数信息，确定目标检测图像像素深度信息，得到第一子像素深度检测图像；
[0030]根据预设像素阈值，利用K均值聚类算法确定第一子像素深度检测图像的多个聚类区域；
[0031]根据多个聚类区域中的像素深度值，从多个聚类区域中确定第二子像素深度检测图像；
[0032]基于第一子像素深度检测图像和第二子像素深度检测图像，确定像素深度检测图像。
[0033]根据本公开的实施例，目标检测损失值、目标坐标检测损失值和目标类别检测损失值分别用下式表示：
[0034]L
detection
＝L
loc
+L
cls
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0035][0036][0037]其中，L
detection
表示目标检测损失值，L
loc
表示目标坐标检测损失值，L
cls
表示目标类别检测损失值，x表示目标坐标信息中目标位置框的左上角x轴坐标值，y表示目标坐标信
息中目标位置框的左上角y轴坐标值，w表示目标坐标信息中目标位置框的宽度值，h表示目标坐标信息中目标位置框的高度值，t
i
表示目标坐标信息，μ
i
表示初始目标检测结果中的目标坐标检测结果，T表示目标检测图像中目标类别的个数，y
i
表示目标类别信息，S
j
表示初始目标检测结果中的目标类别检测结果。
[0038]本公开的另一方面提供了一种结合相机参数信息的目标检测方法，包括：
[0039]将待检测目标图像输入至如上述结合相机参数信息的目标检测模型训练方法训练好的目标检测模型中，输出初始目标检测结果和像素深度检测结果；
[0040]基于初始目标检测结果和像素深度检测结果，利用非极大值抑制方法确定目标检测结果。
[0041]本公开的另一方面提供了一种结合相机参数信息的目标检测模型训练装置，包括：
[0042]第一获取模块，用于获取目标检测图像，其中，目标检测图像带有目标标注信息；
[0043]第一输出模块，用于将目标检测图像输入至初始目标检测网络，输出对目标检测图像的初始目标检测结果；
[0044]第一确定模块，用于根据目标检测图像和相机参数信息，确定带有像素深度信息的像素深度检测图像；
[0045]第二输出模块，用于将像素深度检测图像输入至像素深度检测网络中，输出对像素深度检测图像的像素深度检测结果；
[0046]得到模块，用于基于初始目标检测结果和像素深度检测结果训练初始目标检测网络和像素深度检测网络，得到训练好的目标检测模型。
[0047]本公开的另一方面提供了一种电子设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序，其中，当上述一个或多个程序被上述一个或多个处理器执行时，使得上述一个或多个处理器实现本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种结合相机参数的目标检测模型训练方法，包括：获取目标检测图像，其中，所述目标检测图像为采集倾角大于预设角度阈值的图像，所述目标检测图像带有目标标注信息；将所述目标检测图像输入至初始目标检测网络，输出对所述目标检测图像的初始目标检测结果；根据所述目标检测图像和相机参数信息，确定带有像素深度信息的像素深度检测图像；将所述像素深度检测图像输入至像素深度检测网络中，输出对所述像素深度检测图像的像素深度检测结果；基于所述目标标注信息、所述像素深度信息、所述初始目标检测结果和所述像素深度检测结果训练所述初始目标检测网络和所述像素深度检测网络，得到训练好的目标检测模型。2.根据权利要求1所述的方法，其中，所述将所述目标检测图像输入至初始目标检测网络，输出对所述目标检测图像的初始目标检测结果，包括：将所述目标检测图像输入至所述初始目标检测网络的第一下采样层，输出多个尺度的第一特征图；将多个尺度的所述第一特征图输入至所述初始检测网络的第一融合特征层，输出多个尺度的第二特征图；将多个尺度的所述第二特征图输入至所述初始检测网络的感兴趣区域提取层，输出多个尺度的所述第二特征图中每个所述第二特征图的感兴趣区域；将多个所述感兴趣区域输入至所述初始检测网络的预测层，输出对所述目标检测图像的所述初始目标检测结果。3.根据权利要求1所述的方法，其中，所述将所述像素深度检测图像输入至像素深度检测网络中，输出对所述像素深度检测图像的像素深度检测结果，包括：将所述像素深度检测图像输入至所述像素深度检测网络的第二下采样层，输出多个尺度的第三特征图；将多个尺度的所述第三特征图输入至所述像素深度检测网络的第二融合特征层，输出多个尺度的第四特征图；将多个尺度的所述第四特征图分别输出至所述像素深度检测网络的三维深度感知层，输出对所述像素深度检测图像的所述像素深度检测结果。4.根据权利要求1所述的方法，其中，所述基于所述目标标注信息、所述像素深度信息、所述初始目标检测结果和所述像素深度检测结果训练所述初始目标检测网络和所述像素深度检测网络，得到训练好的目标检测模型，包括：基于所述初始目标检测结果和所述目标标注信息，确定目标检测损失值；基于所述像素深度检测结果和所述像素深度信息，确定像素深度检测损失值；基于所述目标检测损失值和所述像素深度检测损失值训练所述初始目标检测网络和所述像素深度检测网络，得到训练好的目标检测模型。5.根据权利要求4所述的方法，其中，所述目标标注信息包括目标坐标信息和目标类别信息，所述基于所述初始目标检测结果和所述目标标注信息，确定目标检测损失值，包括：
基于所述初始目标检测结果和所述目标坐标信息，确定目标坐标检测损失值；基于所述初始目标检测结果和所述目标类别信息，确定目标类别检测损失值；基于所述目标坐标检测损失值和所述目标类别检测损失值，确定所述目标检测损失值。6.根据权利要求1所述的方法，其中，所述根据所述目标检测图像和相...
【专利技术属性】
技术研发人员：刁文辉，林向阳，李学学，曲小飞，李俊希，申志平，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。