一种基于双目相机的车前行人测距方法及终端技术

本发明专利技术提供一种基于双目相机的车前行人测距方法及终端，包括：对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于双目相机预先拍摄的行人视频集训练得到行人识别模型；启动双目相机，采用行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，若识别到行人目标则提取行人目标在当前车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；随机提取行人目标的多个关键节点，并在ROI深度图中获取各个关键节点的深度信息，以各个关键节点的深度信息的均值作为行人距离，并将识别到行人目标的车前图像和行人距离实时显示在车载显示屏中。本发明专利技术可在行人前方有遮挡物的情况下快速且精确地测量车辆与目标行人的距离。距离。距离。

【技术实现步骤摘要】
一种基于双目相机的车前行人测距方法及终端


[0001]本专利技术涉及车辆自动驾驶
，尤其是涉及一种基于双目相机的车前行人测距方法及终端。

技术介绍

[0002]自动驾驶汽车是汽车领域今后发展的主流，在基于视觉导航的自动驾驶系统中，目标的检测和测距是其中的关键技术，决定了自动驾驶系统的性能。
[0003]现有的基于双目相机立体视觉的自动驾驶辅助目标检测的方法主要是通过同步采集双目相机的左右目图像，获取图像的深度图，并输出目标障碍物的位置信息。
[0004]但这种方法非常消耗计算时间，并且当目标障碍物前方有其他障碍物阻挡时，输出的位置信息会存在误差。

技术实现思路

[0005]本专利技术所要解决的技术问题是：提供一种基于双目相机的车前行人测距方法及终端，可以在行人前方有遮挡物的情况下快速且精确地测量车辆与目标行人的距离，克服现有基于双目相机的行人检测和测距中存在的检测速度不足和检测精度不够的缺陷。
[0006]为了解决上述技术问题，本专利技术采用的技术方案为：
[0007]一种基于双目相机的车前行人测距方法，包括步骤：
[0008]S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；
[0009]S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；
[0010]S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。
[0011]为了解决上述技术问题，本专利技术采用的另一个技术方案为：
[0012]一种基于双目相机的车前行人测距终端，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器在执行所述计算机程序时实现以下步骤：
[0013]S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；
[0014]S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；
[0015]S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述
关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。
[0016]本专利技术的有益效果在于：本专利技术提供一种基于双目相机的车前行人测距方法及终端，通过在车辆外侧顶端部署一双目相机，对双目相机进行标定、立体匹配以及行人识别模型训练，当车辆在自动驾驶过程中，可以及时通过行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，并通过获取去除了遮挡在行人前方的遮挡物后的ROI深度图计算行人目标的多个关键节点在ROI深度图上的深度信息的均值，作为当前行人与车辆的距离，并实时显示在车载显示屏中，即通过人体关键节点的检测和感兴趣区域的提取，提高了车前行人检测和测距的速率和精度，并且当行人目标前方有遮挡物阻挡时也不妨碍行人的识别和距离的测量，满足了在复杂的交通环境下自动驾驶车辆快速且精确地测量与车前行人的距离。
附图说明
[0017]图1为本专利技术实施例的一种基于双目相机的车前行人测距方法的整体流程图；
[0018]图2为本专利技术实施例的一种基于双目相机的车前行人测距方法的具体流程图；
[0019]图3为本专利技术实施例的一种基于双目相机的车前行人测距终端的结构示意图。
[0020]标号说明：
[0021]1、一种基于双目相机的车前行人测距终端；2、存储器；3、处理器。
具体实施方式
[0022]为详细说明本专利技术的
技术实现思路
、所实现目的及效果，以下结合实施方式并配合附图予以说明。
[0023]在此之前，对本专利技术中涉及到的英文缩写及专业术语进行如下释义：
[0024]1、ROI，Region Of Interest，感兴趣区域；
[0025]2、AlphaPose代码，一种开源的人体姿态识别代码；
[0026]3、SGBM算法，semi
‑
global block matching，一种用于计算双目视觉中视差(disparity)的半全局匹配算法；
[0027]4、SAD，Sum of absolute differences，一种图像匹配算法；
[0028]5、张氏标定法，张正友博士在1999年发表在国际顶级会议ICCV上的论文《Flexible Camera Calibration By Viewing a Plane From Unknown Orientations》中提出的一种利用平面棋盘格进行相机标定的实用方法；
[0029]6、yolov4神经网络算法，一种基于神经网络的目标检测算法。
[0030]请参照图1及图2，一种基于双目相机的车前行人测距方法，包括步骤：
[0031]S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；
[0032]S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；
[0033]S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述
关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。
[0034]由上述描述可知，本专利技术的有益效果在于：通过在车辆外侧顶端部署一双目相机，对双目相机进行标定、立体匹配以及行人识别模型训练，当车辆在自动驾驶过程中，可以及时通过行人识别模型对双目相机实时拍摄的车前图像进行行人目标识别，并通过获取去除了遮挡在行人前方的遮挡物后的行人目标ROI深度图计算行人目标的多个关键节点在ROI深度图上的深度信息的均值，作为当前行人与车辆的距离，并实时显示在车载显示屏中，即通过人体关键节点的检测和感兴趣区域的提取，提高了车前行人检测和测距的速率和精度，并且当行人目标前方有遮挡物阻挡时也不妨碍行人的识别和距离的精确测量，满足了在复杂的交通环境下自动驾驶车辆快速且精确地测量与车前行人的距离。
[0035]进一步地，所述步骤S2具体为：
[0036]S21、启动所述双目相机，采用本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于双目相机的车前行人测距方法，其特征在于，包括步骤：S1、对部署在车辆外侧顶端的双目相机进行标定和立体匹配，并基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型；S2、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像进行行人目标识别，若识别到所述行人目标则提取所述行人目标在当前所述车前图像上的ROI区域，并去除遮挡物后得到ROI深度图；S3、随机提取所述行人目标的多个关键节点，并在所述ROI深度图中获取各个所述关键节点的深度信息，以各个所述关键节点的所述深度信息的均值作为行人距离，并将识别到所述行人目标的所述车前图像和所述行人距离实时显示在车载显示屏中。2.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S2具体为：S21、启动所述双目相机，采用所述行人识别模型对所述双目相机实时拍摄的车前图像逐帧进行行人目标识别，若识别到所述行人目标，则执行步骤S22和步骤S23，否则继续识别下一帧所述车前图像；S22、截取所述行人目标在当前帧下的所述车前图像上的最小外切矩形区域，并获取所述最小外切矩形的四个顶点坐标，生成图像掩膜；S23、提取所述图像掩膜中所述行人目标所在的ROI区域，去除背景信息及位于所述行人目标前方的遮挡物信息后采用所述立体匹配对所述ROI区域进行立体校正，得到ROI深度图。3.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S3中随机提取所述行人目标的多个关键节点，具体为：利用AlphaPose代码随机提取所述行人目标的18个关键节点。4.根据权利要求1所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S1中对双目相机进行标定，具体为：采用张氏标定法和棋盘格对所述双目相机进行标定，获取所述双目相机的内参、外参和畸变参数；所述步骤S1中对所述双目相机进行立体匹配，具体为：采用SGBM算法，从所述双目相机预先拍摄的所述行人视频集中获取某一帧图像，并利用所述畸变参数对所述某一帧图像进行畸变校正、利用所述内参和所述外参对所述某一帧图像进行立体校正，得到校正完成的图像深度图；对所述图像深度图重复多次调整误匹配率、SAD窗口大小和视差窗口大小三个参数，直到所述图像深度图的深度信息与所述某一帧图像对应帧下的行人距所述双目相机的实际距离之间的误差小于预设距离为止。5.根据权利要求4所述的一种基于双目相机的车前行人测距方法，其特征在于，所述步骤S1中基于所述双目相机预先拍摄的行人视频集训练得到行人识别模型，具体为：采用yolov4神经网络算法，利用所述双目相机预先拍摄车辆行驶过程中在不同场景下的行人图像，对所述行人图像中的行人进行标记，并将标记好的所述行人图像按预设比例随机划分为训练集、测试集和验证集，进行训练、测试和验证后最终得到所述行人识别模型。
6.一种基于双目相机的车前行人测距终端，其特征在于，包括存储...

【专利技术属性】
技术研发人员：郑敏冲，
申请(专利权)人：福建盛海智能科技有限公司，
类型：发明
国别省市：