针对鱼眼图像的目标检测方法、装置、设备和存储介质制造方法及图纸

本申请涉及计算机视觉技术领域，提供一种针对鱼眼图像的目标检测方法、装置、设备和存储介质，包括：获取待处理的鱼眼图像；提取鱼眼图像上与各预设图像区域对应的待检测区域图像；其中，不同预设图像区域所对应的成像变形程度不同；将各待检测区域图像分别输入至对应的目标检测模型；其中，不同的目标检测模型用于利用不同角度的检测框对不同的预设图像区域对应的图像进行目标检测；检测框的角度与成像变形程度相适应；获取各目标检测模型输出的目标检测结果；根据各目标检测模型输出的目标检测结果，得到鱼眼图像中被检目标所在位置，无需对鱼眼图像进行去畸变校正，减小数据集制作带来的计算成本。

【技术实现步骤摘要】
针对鱼眼图像的目标检测方法、装置、设备和存储介质
本申请涉及计算机视觉
，特别是涉及一种针对鱼眼图像的目标检测方法、装置、计算机设备和存储介质。
技术介绍
基于计算机视觉进行目标检测被广泛应用在各个领域中，尤其是行驶安全领域，借助计算机视觉技术将检测到的预警目标（如车辆、行人等）的位置信息发送给驾驶员，以使驾驶员及时获知当前行驶过程中附近的情况，避免出现行驶安全问题，降低行驶事故的发生。基于计算机视觉的目标检测根据摄像头的类型可以分为基于一般图像的目标检测和基于鱼眼图像的目标检测方法。由于鱼眼图像具备更大范围的观测视野，适合于检测范围更广的目标检测。当前基于鱼眼图像的目标检测技术中，考虑到图像中不同位置的目标变形较大，通常先对鱼眼图像进行去畸变的校正操作，然后设计检测算法进行目标位置的判定。其中，针对鱼眼图像中不同位置的目标形状差异大的问题，如果利用图像去畸变校正解决，则会为数据集制作增加计算成本。
技术实现思路
基于此，有必要针对上述技术问题，提供一种针对鱼眼图像的目标检测方法、装置、计算机设备和存储介质。一种针对鱼眼图像的目标检测方法，所述方法包括：获取待处理的鱼眼图像；提取所述鱼眼图像上与各预设图像区域对应的待检测区域图像；其中，不同预设图像区域所对应的成像变形程度不同；将各待检测区域图像分别输入至对应的目标检测模型；其中，不同的目标检测模型用于利用不同角度的检测框对不同的预设图像区域对应的图像进行目标检测；所述检测框的角度与成像变形程度相适应；获取各目标检测模型输出的目标检测结果；根据所述各目标检测模型输出的目标检测结果，得到所述鱼眼图像中被检目标所在位置。在其中一个实施例中，所述方法还包括：基于在各预设图像区域中选择的任一预设图像区域，从样本鱼眼图像中获取所述任一预设图像区域对应的待标注样本图像；其中，所述待标注样本图像相对于所述样本鱼眼图像水平；按照与所述任一预设图像区域对应的成像变形程度相适应的角度，对所述待标注样本图像进行旋转处理，得到旋转待标注样本图像；其中，所述旋转待标注样本图像中的待标注目标相对于所述样本鱼眼图像水平，且所述旋转待标注样本图像相对于所述样本鱼眼图像旋转；基于所述旋转待标注样本图像，得到尺寸扩充图像；其中，所述尺寸扩充图像的图像尺寸大于所述旋转待标注样本图像的图像尺寸，且相对于所述样本鱼眼图像水平；所述尺寸扩充图像包括所述旋转待标注样本图像以及围绕所述旋转待标注样本图像的黑边图像，所述旋转待标注样本图像相对于所述尺寸扩充图像旋转的角度为所述相适应的角度，且所述待标注目标相对于所述尺寸扩充图像水平；利用相对于所述尺寸扩充图像水平的检测框，对所述旋转待标注样本图像中的待标注目标进行标注，得到对应的水平标注检测框，并将包括所述水平标注检测框的旋转待标注样本图像作为第一标注样本图像；按照所述相适应的角度，对所述第一标注样本图像以及所述水平标注检测框进行针对所述旋转处理的旋回处理，分别得到相对于所述尺寸扩充图像水平的第二标注样本图像、以及相对于所述尺寸扩充图像旋转的旋转标注检测框；其中，所述旋转标注检测框相对于所述尺寸扩充图像旋转的角度为所述相适应的角度，所述尺寸扩充图像的黑边图像从围绕所述旋转待标注样本图像变为围绕所述第二标注样本图像；获取所述尺寸扩充图像中除黑边图像以外的第二标注样本图像，将所述旋转标注检测框所处的坐标系从所述尺寸扩充图像的坐标系转变为所述第二标注样本图像的坐标系；将包括处于所述第二标注样本图像的坐标系的旋转标注检测框的第二标注样本图像作为训练样本图像；基于所述训练样本图像进行模型训练，得到针对所述任一预设区域的目标检测模型。在其中一个实施例中，所述基于所述训练样本图像进行模型训练，得到针对所述任一预设区域的目标检测模型，包括：确定所述训练样本图像的旋转标注检测框的具有对角关系的第一角点和第二角点；根据所述训练样本图像的旋转标注检测框内的各像素点分别相对于所述第一角点和所述第二角点的偏移量，确定所述训练样本图像的位置训练标签；基于所述训练样本图像以及所述位置训练标签进行模型训练，得到针对所述任一预设区域的目标检测模型。在其中一个实施例中，所述根据所述训练样本图像的旋转标注检测框内的各像素点分别相对于所述第一角点和所述第二角点的偏移量，确定所述训练样本图像的位置训练标签，包括：获取图像尺寸与所述训练样本图像的图像尺寸对应的热度图；确定所述热度图中与所述训练样本图像的旋转标注检测框对应的热度区域；所述热度区域包括与所述第一角点对应的第一区域点和与所述第二角点对应的第二区域点；基于所述热度区域中各像素点相对于所述第一区域点或所述第二区域点的偏移量，确定所述热度区域中各像素点在模型训练中对应的预测值；基于具有所述预测值的热度区域的热度图得到所述位置训练标签。在其中一个实施例中，偏移量对应不同的位置训练标签，偏移量包括像素点沿所述样本鱼眼图像的第一图像边方向相对于所述第一角点的偏移量、像素点沿与所述第一图像边正交的所述鱼眼图像的第二图像边方向相对于所述第一角点的偏移量、像素点沿所述第一图像边方向相对于所述第二角点的偏移量、以及像素点沿所述第二图像边相对于所述第二角点的偏移量。在其中一个实施例中，各目标检测模型均包括用于确定目标所属类别的类别检测头和用于确定目标所在位置的位置检测头；所述目标检测结果还包括所述目标检测模型基于所述类别检测头确定的所述被检目标的所属类别；所述位置训练标签是针对所述位置检测头的；作为针对所述类别检测头的类别训练标签的热度图包括：像素点的像素值均为第一预设值的热度区域、以及像素点的像素值均为第二预设值的背景区域；其中，所述热度区域与所述训练样本图像的旋转标注检测框对应，所述背景区域与所述训练样本图像中除所述旋转标注检测框外的背景区域对应，所述第一预设值不同于所述第二预设值。在其中一个实施例中，所述类别训练标签的热度区域是所述类别训练标签与所述训练样本图像的旋转标注检测框对应的原版区域向内缩得到的；在所述原版区域与所述热度区域之间的区域的像素值为第三预设值；所述热度区域各像素点的像素值和所述背景区域各像素点的像素值参与所述模型训练并返回对应的损失，所述原版区域与所述热度区域之间的区域的像素值不参与所述模型训练且不返回对应的损失。在其中一个实施例中，所述基于所述训练样本图像进行模型训练，得到针对所述任一预设区域的目标检测模型，包括：对模型训练中得到的旋转预测检测框与所述训练样本图像的旋转标注检测框进行旋转变换，分别得到水平预测检测框和水平标注检测框；利用针对水平检测框的交并比损失函数，对所述水平预测检测框和水平标注检测框进行交并比损失计算；基于所述交并比损失计算的计算结果反传至被训练的模型，完成模型训练并得到所述目标检测模型。在其中一个实施例中，所述针对水平检测框的交并本文档来自技高网...

【技术保护点】
1.一种针对鱼眼图像的目标检测方法，其特征在于，所述方法包括：/n获取待处理的鱼眼图像；/n提取所述鱼眼图像上与各预设图像区域对应的待检测区域图像；其中，不同预设图像区域所对应的成像变形程度不同；/n将各待检测区域图像分别输入至对应的目标检测模型；其中，不同的目标检测模型用于利用不同角度的检测框对不同的预设图像区域对应的图像进行目标检测；所述检测框的角度与成像变形程度相适应；/n获取各目标检测模型输出的目标检测结果；/n根据所述各目标检测模型输出的目标检测结果，得到所述鱼眼图像中被检目标所在位置。/n

【技术特征摘要】
1.一种针对鱼眼图像的目标检测方法，其特征在于，所述方法包括：
获取待处理的鱼眼图像；
提取所述鱼眼图像上与各预设图像区域对应的待检测区域图像；其中，不同预设图像区域所对应的成像变形程度不同；
将各待检测区域图像分别输入至对应的目标检测模型；其中，不同的目标检测模型用于利用不同角度的检测框对不同的预设图像区域对应的图像进行目标检测；所述检测框的角度与成像变形程度相适应；
获取各目标检测模型输出的目标检测结果；
根据所述各目标检测模型输出的目标检测结果，得到所述鱼眼图像中被检目标所在位置。


2.根据权利要求1所述的方法，其特征在于，
所述方法还包括：
基于在各预设图像区域中选择的任一预设图像区域，从样本鱼眼图像中获取所述任一预设图像区域对应的待标注样本图像；其中，所述待标注样本图像相对于所述样本鱼眼图像水平；
按照与所述任一预设图像区域对应的成像变形程度相适应的角度，对所述待标注样本图像进行旋转处理，得到旋转待标注样本图像；其中，所述旋转待标注样本图像中的待标注目标相对于所述样本鱼眼图像水平，且所述旋转待标注样本图像相对于所述样本鱼眼图像旋转；
基于所述旋转待标注样本图像，得到尺寸扩充图像；其中，所述尺寸扩充图像的图像尺寸大于所述旋转待标注样本图像的图像尺寸，且相对于所述样本鱼眼图像水平；所述尺寸扩充图像包括所述旋转待标注样本图像以及围绕所述旋转待标注样本图像的黑边图像，所述旋转待标注样本图像相对于所述尺寸扩充图像旋转的角度为所述相适应的角度，且所述待标注目标相对于所述尺寸扩充图像水平；
利用相对于所述尺寸扩充图像水平的检测框，对所述旋转待标注样本图像中的待标注目标进行标注，得到对应的水平标注检测框，并将包括所述水平标注检测框的旋转待标注样本图像作为第一标注样本图像；
按照所述相适应的角度，对所述第一标注样本图像以及所述水平标注检测框进行针对所述旋转处理的旋回处理，分别得到相对于所述尺寸扩充图像水平的第二标注样本图像、以及相对于所述尺寸扩充图像旋转的旋转标注检测框；其中，所述旋转标注检测框相对于所述尺寸扩充图像旋转的角度为所述相适应的角度，所述尺寸扩充图像的黑边图像从围绕所述旋转待标注样本图像变为围绕所述第二标注样本图像；
获取所述尺寸扩充图像中除黑边图像以外的第二标注样本图像，将所述旋转标注检测框所处的坐标系从所述尺寸扩充图像的坐标系转变为所述第二标注样本图像的坐标系；
将包括处于所述第二标注样本图像的坐标系的旋转标注检测框的第二标注样本图像作为训练样本图像；
基于所述训练样本图像进行模型训练，得到针对所述任一预设区域的目标检测模型。


3.根据权利要求2所述的方法，其特征在于，
所述基于所述训练样本图像进行模型训练，得到针对所述任一预设区域的目标检测模型，包括：
确定所述训练样本图像的旋转标注检测框的具有对角关系的第一角点和第二角点；
根据所述训练样本图像的旋转标注检测框内的各像素点分别相对于所述第一角点和所述第二角点的偏移量，确定所述训练样本图像的位置训练标签；
基于所述训练样本图像以及所述位置训练标签进行模型训练，得到针对所述任一预设区域的目标检测模型。


4.根据权利要求3所述的方法，其特征在于，所述根据所述训练样本图像的旋转标注检测框内的各像素点分别相对于所述第一角点和所述第二角点的偏移量，确定所述训练样本图像的位置训练标签，包括：
获取图像尺寸与所述训练样本图像的图像尺寸对应的热度图；
确定所述热度图中与所述训练样本图像的...

【专利技术属性】
技术研发人员：董颖，刘国清，郑伟，杨广，
申请(专利权)人：深圳佑驾创新科技有限公司，
类型：发明
国别省市：广东;44