基于鱼眼摄像头的目标检测方法、装置和存储介质制造方法及图纸

本公开涉及一种基于鱼眼摄像头的目标检测方法、装置和存储介质，该方法包括：获取表征所述无人驾驶车辆周围环境的图像；基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非畸变状态；基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深度学习Mobilenet‑SSD算法和AdaBoost算法建立并经对应于所述目标的训练数据集训练得到。用于解决相关技术中利用鱼眼摄像头采集的畸变图像识别目标造成的识别准确率低的技术问题。

Target detection method, device and storage medium based on fisheye camera

【技术实现步骤摘要】
基于鱼眼摄像头的目标检测方法、装置和存储介质
本公开属于目标检测
，具体涉及一种基于鱼眼摄像头的目标检测方法、装置和存储介质。
技术介绍
随着人工智能应用的不断扩大，无人驾驶技术已经成为国内外的研究热点，正处于高速发展的阶段。无人驾驶汽车是集环境感知、行为决策、路径规划和导航控制等多种功能于一体的智能系统，是智能交通系统(IntelligentTrafficSystem,ITS)中很重要的一部分。鱼眼摄像头由于能获得更大的视场角，鱼眼图像得到了越来越广泛的应用，很多的视频监控系统都安装了鱼眼摄像头。鱼眼镜头一般来说是一种焦距小于等于16纳米并且视场角约等于180°的广角镜头。与人的眼睛不同，鱼眼镜头的前部镜片以抛物形状向镜头的凸出而且焦距很短，目的就是希望可以有更大的视场角，这一特性和鱼的眼睛非常相像，因此称作“鱼眼镜头”。由于鱼眼镜头的特殊构造，使得它能获得或者超过人类眼睛所能看到的视角，可以看到更加开阔的内容信息。因此，一副鱼眼图像中浓缩了大量的场景信息，并且它是通过凝视的形式进行观察的，不用扫描旋转，因此可以做到很小的体积，具有很强的隐蔽特性，正是由于以上的特点使得鱼眼镜头在现实中有特别的应用场景。因而鱼眼摄像头为无人驾驶汽车的周围障碍物规避等行为提靠信息。相关技术中，由于采用鱼眼摄像头采集的图像为畸变图像，直接利用畸变图像进行目标识别会导致识别准确率低。
技术实现思路
有鉴于此，本公开的主要目的在于提供一种基于鱼眼摄像头的目标检测方法、装置和存储介质，用于解决相关技术中利用鱼眼摄像头采集的畸变图像识别目标造成的识别准确率低的技术问题。为达到上述目的，本公开实施例的第一方面，提供一种基于鱼眼摄像头的目标检测方法，应用于无人驾驶车辆，包括：获取表征所述无人驾驶车辆周围环境的图像；基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非畸变状态；基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深度学习Mobilenet-SSD算法和AdaBoost算法建立并经对应于所述目标的训练数据集训练得到。可选地，所述畸变图像校正规则基于以下方式建立获得：获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息；基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；基于以下公式建立畸变图像至非畸变图像的变换关系：x＝(u-c′x)/f′xy＝(v-c′y)/f′y|XYW|T＝R-1*|xy1|Tx′＝X/Wy′＝Y/Wx″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)mapx(u，v)＝x″fx+cxmapy(u，v)＝y″fy+cy其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数，X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″，y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数，mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。可选地，基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息，包括：将所述畸变的棋盘格图转换为第一灰度图；对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格图中方格总数的一半；对所述第二灰度图进行膨胀操作，并生成所述第二灰度图中所有方格的轮廓；对任一目标方格，计算该目标方格与其它所有方格的距离，将距离最小的其它方格作为所述目标方格的相邻方格；基于方格的相邻关系建立方格的连接关系；基于所述连接关系对所述方格排序，以获得所述方格的位置信息；基于所述方格的位置信息得到所述畸变的棋盘格图的角点位置信息。可选地，所述目标包括行人和车辆，所述目标识别模型基于如下方式得到：基于深度学习Mobilenet-SSD算法识别训练数据集中的图片，得到图片中的目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息；将所述目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息输入AdaBoost算法进行训练，以得到目标识别模型。本公开实施例的第二方面，提供一种基于鱼眼摄像头的目标检测装置，应用于无人驾驶车辆，包括：图像获取模块，被配置为获取表征所述无人驾驶车辆周围环境的图像；图像校正模块，被配置为基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非畸变状态；目标识别模块，被配置为基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深度学习Mobilenet-SSD算法和AdaBoost算法建立并经对应于所述目标的训练数据集训练得到。可选地，所述畸变图像校正规则基于以下方式建立获得：获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息；基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；基于以下公式建立畸变图像至非畸变图像的变换关系：x＝(u-c′x)/f′xy＝(v-c′y)/f′y|XYW|T＝R-1*|xy1|Tx′＝X/Wy′＝Y/Wx″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)mapx(u，v)＝x″fx+cxmapy(u，v)＝y″fy+cy其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数，X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″，y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数，mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。可选地，基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息，包括：将所述畸变的棋盘格图转换为第一灰度图；对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格图中方格总数的一半；对所述本文档来自技高网...

【技术保护点】
1.一种基于鱼眼摄像头的目标检测方法，其特征在于，应用于无人驾驶车辆，包括：获取表征所述无人驾驶车辆周围环境的图像；基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非畸变状态；基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深度学习Mobilenet‑SSD算法和AdaBoost算法建立并经对应于所述目标的训练数据集训练得到。

【技术特征摘要】
1.一种基于鱼眼摄像头的目标检测方法，其特征在于，应用于无人驾驶车辆，包括：获取表征所述无人驾驶车辆周围环境的图像；基于所述鱼眼摄像头的畸变图像校正规则将所述图像从畸变状态校正为非畸变状态；基于目标识别模型识别所述图像中的目标，其中，所述目标识别模型基于深度学习Mobilenet-SSD算法和AdaBoost算法建立并经对应于所述目标的训练数据集训练得到。2.根据权利要求1所述的方法，其特征在于，所述畸变图像校正规则基于以下方式建立获得：获取基于所述鱼眼摄像头得到的畸变的棋盘格图和该棋盘格图的角点数量信息，其中，所述棋盘格图由黑白两色的正方形的方格间隔排列组成，所述角点数量信息包括所述棋盘格图长度方向和宽度方向上的角点数量；基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息；基于所述角点位置信息获取所述鱼眼摄像头的内参数和畸变系数；基于以下公式建立畸变图像至非畸变图像的变换关系：x＝(u-c′x)/f′xy＝(v-c′y)/f′y|xYW|T＝R-1*|xyl|Tx'＝x/Wy′＝Y/Wx″＝x′(1+k1r2+k2r4+k3r6)+2p1x′y′+p2(r2+2x′2)y″＝y′(1+k1r2+k2r4+k3r6)+2p2x′y′+p1(r2+2y′2)mapx(u，v)＝x″fx+cxmapy(u，v)＝y″fy+cy其中，x、y分别为非畸变图像的像素的横坐标和纵坐标，u、v分别为畸变图像的像素的横坐标和纵坐标，c′x、c′y、f′x、f′y为标定之后的相机内参数，X，Y，W为校正反变换之后得到的矩阵，R-1为校正反变换计算矩阵，|xy1|表征非畸变图像的像素横坐标x、纵坐标y和单位向量组成的矩阵，x′，y′，x″，y″为中间变量，k1，k2，k3，p1，p2为畸变系数，r为鱼眼摄像头有效区域半径，属于摄像头内置参数，cx，cy，fx，fy为鱼眼相机的内参数，mapx(u，v)，mapy(u，v)分别为转换之后得到的图像的横坐标和纵坐标。3.根据权利要求2所述的方法，其特征在于，基于所述畸变的棋盘格图和所述角点数量信息获取所述畸变的棋盘格图的角点位置信息，包括：将所述畸变的棋盘格图转换为第一灰度图；对所述第一灰度图进行腐蚀和膨胀操作，得到第二灰度图；确认所述第二灰度图中黑色方格的数量和白色方格的数量均为所述棋盘格图中方格总数的一半；对所述第二灰度图进行膨胀操作，并生成所述第二灰度图中所有方格的轮廓；对任一目标方格，计算该目标方格与其它所有方格的距离，将距离最小的其它方格作为所述目标方格的相邻方格；基于方格的相邻关系建立方格的连接关系；基于所述连接关系对所述方格排序，以获得所述方格的位置信息；基于所述方格的位置信息得到所述畸变的棋盘格图的角点位置信息。4.根据权利要求1所述的方法，其特征在于，所述目标包括行人和车辆，所述目标识别模型基于如下方式得到：基于深度学习Mobilenet-SSD算法识别训练数据集中的图片，得到图片中的目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息；将所述目标位置、该目标被判断为行人或车辆的置信度以及对应于该目标的特征信息输入AdaBoost算法进行训练，以得到目标识别模型。5.一种基于鱼眼摄像头的目标检测装置，其特征在于，应用于无人驾驶车辆，包括：图像获取模块，被配置为获取表征所述无人驾驶车辆周围环境的图像；图像校正模块，被配置为基于所述鱼眼摄像头的畸变...

【专利技术属性】
技术研发人员：邹应全，黄春晓，黄凯，
申请(专利权)人：四川省客车制造有限责任公司，成都测艺科技有限公司，成都蓝构工业产品设计有限公司，
类型：发明
国别省市：四川,51