车载行人定位系统及方法技术方案

本发明专利技术提供了一种车载行人定位系统及方法，该方法包括：根据预设的采样周期获取包含行人的视频图像；通过训练好的神经网络获取所述视频图像中的行人坐标；根据所述视频图像获取图片视差，并根据图片视差与深度值的关系，以及所述视频图像中的行人坐标预估行人相对车辆的距离；获取车辆的实时位置信息；将车辆的实时位置信息转换为本地坐标系下的坐标值，并结合所述行人相对车辆的距离，得到行人的GPS坐标信息；根据行人的GPS坐标信息，在地图上实时显示车辆和行人的位置。本发明专利技术简洁易行，对设备、环境的依赖较少，且可以实时的输出车辆及行人在地图上的位置。

Vehicle pedestrian positioning system and method

【技术实现步骤摘要】
车载行人定位系统及方法
本专利技术涉及图像处理
，具体地，涉及车载行人定位系统及方法。
技术介绍
急速成型的汽车社会让智能交通逐渐成为一个热点问题，利用人工智能技术实现自动驾驶、驾驶预判、交通调度，保护行人安全等成为汽车领域中新的技术发展趋势。根据如今应用于车载行人技术的不同设备、不同精确度，目前有如下几种具有代表性的技术：基于GPS和高精度地图的车载行人定位、基于惯性导航技术的车载行人定位、基于激光雷达技术的车载定位，以及基于机器视觉的车载行人定位等等。由于道路环境具有遮挡较多、光线变化较大、环境复杂多变等现实的特点，车载行人定位技术的实施难点较大，目前的技术仍存在较大的应用瓶颈。上述几种的车载行人定位方式要么对设备的安装布置要求较高，要么需要大量的运算或者需要消耗额外的时间及硬件，要么定位的精度不高。比如基于激光雷达技术的车载行人定位技术需要布置昂贵的激光雷达设备，这阻碍了设施大规模投入应用；再比如基于惯性导航技术的车载行人定位技术的定位误差会随着时间的推进而累积，只适用于较短的时间内的定位。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种车载行人定位系统及方法。第一方面，本专利技术提供一种车载行人定位系统，包括：数据输入模块，用于根据预设的采样周期获取包含行人的视频图像；行人检测模块，用于通过训练好的神经网络获取所述视频图像中的行人坐标；深度估计模块，用于根据所述视频图像获取图片视差，并根据图片视差与深度值的关系，以及所述视频图像中的行人坐标预估行人相对车辆的距离；GPS获取模块，用于获取车辆的实时位置信息；坐标转换模块，用于将车辆的实时位置信息转换为本地坐标系下的坐标值，并结合所述行人相对车辆的距离，得到行人的GPS坐标信息；地图映射模块，用于根据行人的GPS坐标信息，在地图上实时显示车辆和行人的位置。可选地，所述数据输入模块包括：安装在车辆上的摄像头采集模块，所述摄像头采集模块按照预设的采样间隔采集包含行人的视频图像。可选地，所述行人检测模块包括：图像重构模块、神经网络模块和行人检测输出模块；其中，所述图像重构模块将数据输入模块发送的视频图像进行预处理，得到预处理之后的图像；所述神经网络模块将预处理后的图像进行特征提取及边界框的提取，并对边界框进行筛选之后，得到行人的边界框坐标；所述行人检测输出模块将行人的边界框坐标发送给深度估计模块。可选地，所述深度估计模块包括：视差计算模块、距离估计模块、相对距离估计模块、距离输出模块；其中，所述视差计算模块根据数据输入模块发送的视频图像输入得到图片视差；所述距离估计模块根据图片视差与深度之间的比例关系，得到图片的深度值；所述相对距离估计模块将行人检测输出模块与距离估计模块的输出结果相结合，得到行人相对于车辆的距离；所述距离输出模块将行人相对于车辆的距离发送给坐标转换模块。可选地，坐标转换模块包括：正转换模块、坐标计算模块、反转换模块、坐标输出模块；其中，所述正转换模块将GPS获取模块将车辆的实时位置信息转换为本地坐标系下的坐标值；所述坐标计算模块将正转换模块所得的坐标值与行人相对于车辆的距离转换为行人在本地坐标系下的坐标；所述反转换模块将行人在本地坐标系下的坐标转换为GPS下的坐标，得到行人的GPS坐标信息。可选地，所述地图映射模块具体用于：通过http协议访问服务端的地图，并在所述地图上实时显示车辆与行人的位置。第二方面，本专利技术提供一种车载行人定位方法，应用在如第一方面中任一项所述的车载行人定位系统中，所述方法包括：根据预设的采样周期获取包含行人的视频图像；通过训练好的神经网络获取所述视频图像中的行人坐标；根据所述视频图像获取图片视差，并根据图片视差与深度值的关系，以及所述视频图像中的行人坐标预估行人相对车辆的距离；获取车辆的实时位置信息；将车辆的实时位置信息转换为本地坐标系下的坐标值，并结合所述行人相对车辆的距离，得到行人的GPS坐标信息；根据行人的GPS坐标信息，在地图上实时显示车辆和行人的位置。与现有技术相比，本专利技术具有如下的有益效果：本专利技术提供的车载行人定位系统及方法，简洁易行，对设备、环境的依赖较少，且可以实时的输出车辆及行人在地图上的位置；解决了传统定位方法设备复杂昂贵、可拓展性差、准确度低、受遮挡明显等缺点。并且可实现一帧中多行人的定位，只需一次遍历即可提取画面中所有行人的位置，显著提升了行人搜索速度。附图说明通过阅读参照以下附图对非限制性实施例所作的详细描述，本专利技术的其它特征、目的和优点将会变得更明显：图1为本专利技术提供的车载行人定位系统的结构原理图；图2为行人检测的结构原理图；图3为深度估计的结构原理图；图4为坐标转换的结构原理图；图5为地图映射的网络结构图。具体实施方式下面结合具体实施例对本专利技术进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本专利技术，但不以任何形式限制本专利技术。应当指出的是，对本领域的普通技术人员来说，在不脱离本专利技术构思的前提下，还可以做出若干变化和改进。这些都属于本专利技术的保护范围。图1为本专利技术提供的车载行人定位系统的结构原理图；如图1所示，本专利技术中的系统可以包括：数据输入模块100、行人检测模块200、深度估计模块300、GPS获取模块400、坐标转换模块500、地图映射模块600。在一种可选的实施方式中，数据输入模块100可以是安装在车辆上的摄像头采集模块，该摄像头采集模块通过USB线与其他模块通信连接(也可以采用无线方式与其他模块通信连接)。摄像头采集模块用于根据预设的采样周期拍摄视频图像，并将该视频图像发送给其他模块。具体地，根据实验测试结果克制，每20帧进行一次抽取，可同时满足系统的实时性与实际应用中的受检率。可选地，摄像头采集模块也可以通过无线路由器的网线与其他模块通信连接，以实现视频图像的传输。在具体实施时，也可以预先布设局域网，以使得摄像头采集模块和其他模块处于无线连接状态。在一种可选的实施方式中，行人检测模块200可以包括：图像重构模块201、神经网络模块202和行人检测输出模块203。具体地，如图2所示，图像重构模块201将数据输入模块100发送的视频图像进行预处理(如去噪、矫正等)，输出能够使用神经网络进行计算的图片格式；神经网络模块202将预处理后的图像进行特征提取及边界框的提取，之后对边界框进行筛选之后，得到较为准确的行人边界框坐标；行人检测输出模块203将行人的边界框坐标发送给深度估计模块300。行人检测模块200能够实现道路中行人的随时检测：每当摄像头中出现行人时便可将其坐标输出。在一种可选的实施方式中，深度估计模块300可以包括：视差计算模块301、距离估计模块302、相对距离估计模块303、距离输出模块304。具体地，如图3所示，深度估计模块300首先利用视差与深度值之间的关系及双目重构的原理，训练出卷积神经网络的参数(即图3中的视差计算模块301)。视差计算模块301根据数据输入模块100发送的视频图像输入得到图片视差；距离估计模块302根据视差与深度之间的比例关系得到整张图片的深度值；相对距离估计模块303将行人检测输出模块203与距离估计模块302结合，得到行人相对于车辆的距离ΔXΔYΔZ；距离输出模块304将相对距离估计模块303所得的深度信息ΔX本文档来自技高网...

【技术保护点】
1.一种车载行人定位系统，其特征在于，包括：数据输入模块，用于根据预设的采样周期获取包含行人的视频图像；行人检测模块，用于通过训练好的神经网络获取所述视频图像中的行人坐标；深度估计模块，用于根据所述视频图像获取图片视差，并根据图片视差与深度值的关系，以及所述视频图像中的行人坐标预估行人相对车辆的距离；GPS获取模块，用于获取车辆的实时位置信息；坐标转换模块，用于将车辆的实时位置信息转换为本地坐标系下的坐标值，并结合所述行人相对车辆的距离，得到行人的GPS坐标信息；地图映射模块，用于根据行人的GPS坐标信息，在地图上实时显示车辆和行人的位置。

【技术特征摘要】
1.一种车载行人定位系统，其特征在于，包括：数据输入模块，用于根据预设的采样周期获取包含行人的视频图像；行人检测模块，用于通过训练好的神经网络获取所述视频图像中的行人坐标；深度估计模块，用于根据所述视频图像获取图片视差，并根据图片视差与深度值的关系，以及所述视频图像中的行人坐标预估行人相对车辆的距离；GPS获取模块，用于获取车辆的实时位置信息；坐标转换模块，用于将车辆的实时位置信息转换为本地坐标系下的坐标值，并结合所述行人相对车辆的距离，得到行人的GPS坐标信息；地图映射模块，用于根据行人的GPS坐标信息，在地图上实时显示车辆和行人的位置。2.根据权利要求1所述的车载行人定位系统，其特征在于，所述数据输入模块包括：安装在车辆上的摄像头采集模块，所述摄像头采集模块按照预设的采样间隔采集包含行人的视频图像。3.根据权利要求1所述的车载行人定位系统，其特征在于，所述行人检测模块包括：图像重构模块、神经网络模块和行人检测输出模块；其中，所述图像重构模块将数据输入模块发送的视频图像进行预处理，得到预处理之后的图像；所述神经网络模块将预处理后的图像进行特征提取及边界框的提取，并对边界框进行筛选之后，得到行人的边界框坐标；所述行人检测输出模块将行人的边界框坐标发送给深度估计模块。4.根据权利要求1所述的车载行人定位系统，其特征在于，所述深度估计模块包括：视差计算模块、距离估计模块、相对距离估计模块、距离输出模块；其中，所述视差计算模块根据数据输入模块发送的视频图像输入得...

【专利技术属性】
技术研发人员：钱久超，邵华青，刘强，朱肖光，陈俊泓，阳展韬，程宇豪，刘佩林，应忍冬，耿相铭，文飞，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31