【技术实现步骤摘要】
车载摄像头和车载雷达联动的目标检测方法、装置及系统
本申请涉及智能交通领域，特别涉及一种车载摄像头和车载雷达联动的目标检测方法、装置及系统。
技术介绍
自动驾驶是智能交通系统中的一项重要应用，自动驾驶需要车辆检测到其周围的车辆，根据其周围的车辆进行避让，以免交通事故发生。目前车辆中包括摄像头和雷达，车辆可以基于摄像头和雷达检测其周围的车辆。目前存在一种检测汽车周围车辆的方法，可以为：基于摄像头检测车辆周围可能是车辆的每个图像目标的第一位置信息，基于雷达检测车辆周围可能是车辆的每个雷达目标的第二位置信息。通过预设第一透视矩阵将每个图像目标的第一位置信息映射至道路坐标系中得到每个图像目标的第三位置信息，通过预设第二透视矩阵将每个雷达目标的第二位置信息映射至道路坐标系中得到每个雷达目标的第四位置信息。根据每个图像目标的第三位置信息和每个雷达目标的第四位置信息确定至少一个目标对，每个目标对包括属于同一物体的图像目标和雷达目标。由于目标对中的图像目标和雷达目标分别为摄像机和雷达同时检测出的可能是车辆的目标，因此目标对中的目标为...
【技术保护点】
1.一种车载摄像头和车载雷达联动的目标检测方法，其特征在于，所述方法包括：/n从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；/n从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；/n根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图...
【技术特征摘要】
1.一种车载摄像头和车载雷达联动的目标检测方法，其特征在于，所述方法包括：
从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标，以及各个所述图像目标的置信度，以及各个所述图像目标在图像坐标系中的位置信息；
从所述雷达提供的速度距离图像中检测出所述车辆周围的各个雷达目标，以及各个所述雷达目标在雷达坐标系中的位置信息，所述雷达目标的置信度，所述置信度用于表示所述图像目标或所述雷达目标所对应的真实目标的目标类别为指定类别的概率；
根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，所述第一透视矩阵用于表示所述图像像坐标系与预设道路坐标系之间的转换关系；
通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别。
2.如权利要求1所述的方法，其特征在于，所述方法还包括：
根据检测出的各个所述图像目标的置信度，对置信度超过所述第一预设阈值的图像目标进行分类，得到该图像目标对应的真实目标的目标类别，并将该目标类别输出，以及
根据检测出的各个所述雷达目标的置信度，对置信度超过所述第二预设阈值的雷达目标进行分类，得到该雷达目标对应的真实目标的目标类别，并将该目标类别输出。
3.如权利要求1所述的方法，其特征在于，在所述根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵之前，所述方法还包括：
从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定N个关联目标对，任意一个所述关联目标对包括满足预设关联条件的雷达目标和图像目标，所述N为大于或等于1的正整数；
所述根据置信度超过第一预设阈值的图像目标的位置信息和置信度超过第二预设阈值的雷达目标的位置信息，获取第一透视矩阵，包括：
根据所述N个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵。
4.如权利要求3所述的方法，其特征在于，所述从置信度超过第一预设阈值的图像目标和置信度超过第二预设阈值的雷达目标中确定N个关联目标对，包括：
根据第一图像目标的第一位置信息和存储的第二透视矩阵，将所述第一图像目标从所述图像坐标系映射至所述道路坐标系，得到所述第一图像目标在所述道路坐标系中对应的第三位置信息；其中所述第一图像目标为置信度超过第一预设阈值的图像目标，所述第一位置信息为所述第一图像目标在所述图像坐标系中的位置信息；
根据第一雷达目标的第二位置信息和存储的第三透视矩阵，将所述第一雷达目标从所述雷达坐标系映射至所述道路坐标系，得到所述第一雷达目标在所述道路坐标系中对应的第四位置信息；其中所述第一雷达目标为置信度超过第二预设阈值的雷达目标，所述第二位置信息为所述第一雷达目标在所述雷达坐标系中的位置信息；
根据各个所述第一图像目标的所述第三位置信息和各个所述第一雷达目标的所述第四位置信息，对各个所述第一图像目标与各个所述第一雷达目标进行位置关联，得到所述N个关联目标对。
5.如权利要求4所述的方法，其特征在于，所述对各个所述第一图像目标与各个所述第二雷达目标进行位置关联，得到所述N个关联目标对，包括：
根据所述第一图像目标的所述第三位置信息和所述第一雷达目标的所述第四位置信息，确定所述第一图像目标在所述道路坐标系中的投影面积，所述第一雷达目标在所述道路坐标系中的投影面积，以及所述第一图像目标和所述第一雷达目标在所述道路坐标系中的重叠投影面积；
根据所述第一图像目标在所述道路坐标系中的投影面积，所述第一雷达目标在所述道路坐标系中的投影面积，以及所述重叠投影面积，确定各个所述第一图像目标与各个所述第二雷达目标之间的关联代价；
从所述第一图像目标和所述第二图像目标中确定关联代价最小的一个所述第一雷达目标和一个所述第一图像目标为关联目标对，进而得到所述N个关联目标对。
6.如权利要求4所述的方法，其特征在于，所述根据所述N个关联目标对中的雷达目标和图像目标的位置信息，确定所述第一透视矩阵，包括：
针对所述N个关联目标对中的任一个关联目标对，根据所述关联目标对中的所述第一雷达目标的位置信息，修正所述关联目标对中的所述第一图像目标的位置信息；
根据所述N个关联目标对中的各个所述第一图像目标修正后的位置信息，修正所述第二透视矩阵，得到所述第一透视矩阵。
7.如权利要求1至6中任一项所述的方法，其特征在于，所述通过所述第一透视矩阵，从置信度未超过所述第一预设阈值的图像目标和置信度未超过所述第二预设阈值的雷达目标中检测出目标类别，包括：
从置信度未超过第一预设阈值的图像目标和置信度未超过第二预设阈值的雷达目标中确定M个特征融合目标对，任意一个所述特征融合目标对包括满足预设关联条件的一个雷达目标和一个图像目标，所述M为大于或等于1的正整数；
针对任一所述特征融合目标对，将所述特征融合目标对中的所述雷达目标的回波能量特征和所述图像目标的图像特征分别进行卷积计算后进行拼接，得到所述特征融合目标对所对应的融合特征图；
将所述融合特征图进行卷积和全连接计算后输入到分类网络进行目标分类，得到所述融合特征图对应的目标类别。
8.如权利要求7所述的方法，其特征在于，所述从第二图像目标和第二雷达目标中确定M个特征融合目标对，包括：
通过所述第一透视矩阵，将第二图像目标从所述图像坐标系映射至所述道路坐标系中，得到所述第二图像目标在所述道路坐标系中对应的位置信息，以及，通过预先存储的第三透视矩阵，将第二雷达目标从所述雷达坐标系映射至所述道路坐标系中，得到所述第二雷达目标在所述道路坐标系中对应的位置信息，所述第二图像目标为置信度未超过第一预设阈值的图像目标，所述第二雷达目标为置信度未超过第二预设阈值的雷达目标；
根据各个所述第二图像目标在所述道路坐标系中对应的位置信息和各个所述第二雷达目标在所述道路坐标系中对应的位置信息，对各个所述第二图像目标和各个所述第二雷达目标进行位置关联，得到所述M个特征融合目标对。
9.如权利要求1所述的方法，其特征在于，所述从车载摄像头提供的视频图像中检测出车辆周围的各个图像目标的置信度，包括：
根据所述车载摄像头提供的当前帧视频图像，以及与所述当前帧视频图像接近的多帧历史帧视频图像，获取所述任意一个所述图像目标的分类置信度、跟踪帧数置信度和位置置信度；
根据所述分类置信度、位置置信度和跟踪帧数置信度中的一个或多个，确定所述图像目标的置信度；
所述从所述雷达采集的速度距离图像中检测出所述车辆周围的各个雷达目标的置信度，包括：
根据所述当前帧速度距离图像中任一个所述雷达目标的回波能量强度、距离所述车辆的距离，以及所述雷达目标在多帧历史帧速度距离图像中的持续时间，确定所述雷达目标的置信度。
10.一种车载摄像头和车载...
【专利技术属性】
技术研发人员：邝宏武，方梓成，孙杰，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。