本发明专利技术公开了一种基于路侧图像识别与卫星图像的动态建图方法与装置，该方法包括：通过道路的路侧摄像头对车辆和行人进行识别和跟踪，获取车辆移动轨迹和行人移动轨迹；对路侧摄像头拍摄的图像进行叠加递归，提取预设数量的图像中相同的部分作为道路的第一背景图；以预先拍摄的对应道路背景的卫星图像作为第二背景图；计算路侧摄像头图像坐标与卫星图像坐标之间的转换矩阵；根据车辆移动轨迹在第二背景图上确定道路区域，将道路区域与第二背景图结合得到静态地图；将路侧摄像头监控的车辆的动态位置信息和行人的动态位置信息转换为卫星图像坐标，在静态地图上显示车辆和行人的动态位置，实现动态地图。实现动态地图。实现动态地图。
【技术实现步骤摘要】
一种基于路侧图像识别与卫星图像的动态建图方法与装置
[0001]本专利技术涉及自动驾驶
，特别是关于一种基于路侧图像识别与卫星图像的动态建图方法与装置。
技术介绍
[0002]在现实生活中，道路侧的摄像头随处可见。路侧的摄像头被广泛应用于目标识别、人脸识别和交通监控等。除了纯视频的监控录像，还可通过训练一个神经网络模型，以实现目标检测，达到流量监控，个体监控等目的。
[0003]自动驾驶车辆目前使用的地图有高精度地图、拓扑地图、栅格地图等多层地图，根据不同的情景与功能可使用不同形式的地图。
[0004]目前自动驾驶车辆获取地图多需要实际测绘。实际测绘主要通过测绘仪器采集数据，再加以人工绘制；自动驾驶车辆使用的地图，可利用自动驾驶车辆采集数据，从而利用进行地图绘制。地图内容包括对于道路形状，拓扑关系，道路周围的布局，静态障碍物等。
[0005]但是，目前实际测绘的方案需要人工提前去采集数据测绘，比较繁琐。每换一个地方都需要重新实地测绘，可重复利用性差，不能批量生产。而且，实际测绘只能绘制测绘时刻的静态障碍物，无法更新后续的动态障碍物。
技术实现思路
[0006]本专利技术的目的在于提供一种基于路侧图像识别与卫星图像的动态建图方法与装置来克服或至少减轻现有技术的上述缺陷中的至少一个。
[0007]为实现上述目的，本专利技术提供一种基于路侧图像识别与卫星图像的动态建图方法，包括：
[0008]通过道路的路侧摄像头对车辆和行人进行识别和跟踪，获取车辆移动轨迹和行人移动轨迹；
[0009]对路侧摄像头拍摄的图像进行叠加递归，提取预设数量的图像中相同的部分作为道路的第一背景图；
[0010]以预先拍摄的对应道路背景的卫星图像作为第二背景图；
[0011]选择道路中的特征点，根据特征点在第一背景图中的位置与在第二背景图中的位置的对应关系，计算路侧摄像头图像坐标与卫星图像坐标之间的转换矩阵；
[0012]根据道路上车辆移动轨迹在第二背景图上确定道路区域，将道路区域与第二背景图结合得到静态地图；
[0013]将路侧摄像头监控的车辆的动态位置信息和行人的动态位置信息转换为卫星图像坐标，在静态地图上显示车辆和行人的动态位置，实现动态地图。
[0014]优选的，通过道路的路侧摄像头对车辆和行人进行识别和跟踪包括：
[0015]预先利用神经网络模型和数据库中的数据进行车辆和行人的目标识别训练，每一个识别结果包括二维框信息及类别信息，其中二维框信息用于指示目标位置，类别信息用
于指示目标是各类车辆或行人；在目标识别训练后应用路侧摄像头对道路上的车辆和行人进行目标识别和跟踪，获取车辆移动轨迹和行人移动轨迹。
[0016]优选的，对路侧摄像头拍摄的图像进行叠加递归，提取预设数量的图像中相同的部分作为道路的第一背景图，包括：
[0017]通过下式对预设数量的图像进行叠加，去除叠加前后发生变化的图像部分，得到第一背景图：
[0018][0019]其中，为第t次叠加求得的背景图，为第t
‑
1次叠加求得的背景图，为第t次路侧拍摄的图像，n
t
与α为预设经验值。例如，α≈0.01，n
t
≥70。
[0020]优选的，根据车辆移动轨迹在第二背景图上确定道路区域包括：
[0021]获取车辆移动轨迹的集合；其中，每一个车辆移动轨迹为集合中的一个元素；
[0022]对于集合中每一个车辆移动轨迹：
[0023]计算车辆移动轨迹内的边界像素与外部相邻像素的像素差值，如果像素差值满足预设条件，则将车辆移动轨迹与相邻像素之间联通，作为一个连通区域；计算连通区域的边界像素与相邻的非连通区域像素的像素差值，如果像素差值满足预设条件，则将相邻像素合并入连通区域；
[0024]如果像素差值不满足预设条件，则根据相邻像素确定连通区域的边界。
[0025]优选的，该方法还可以包括：同时计算多个车辆移动轨迹与相邻像素的像素差值；
[0026]如果同一像素属于两个连通区域的相邻像素，且与两个连通区域的边界像素的像素差均满足预设条件，则合并两个连通区域。
[0027]优选的，计算路侧摄像头图像坐标与卫星图像坐标之间的转换矩阵包括：
[0028]根据特征点在第一背景图中的位置与在第二背景图中的位置的对应关系计算得到多个转换矩阵，以使特征点位置匹配最多的转换矩阵作为最终的转换矩阵。
[0029]本专利技术还提供一种基于路侧图像识别与卫星图像的动态建图装置，包括：
[0030]通信模块，用于与路侧摄像头进行通信；
[0031]处理模块，用于：
[0032]通过道路的路侧摄像头对车辆和行人进行识别和跟踪，获取车辆移动轨迹和行人移动轨迹；
[0033]对路侧摄像头拍摄的图像进行叠加递归，提取预设数量的图像中相同的部分作为道路的第一背景图；
[0034]以预先拍摄的对应道路背景的卫星图像作为第二背景图；
[0035]选择道路中的特征点，根据特征点在第一背景图中的位置与在第二背景图中的位置的对应关系，计算路侧摄像头图像坐标与卫星图像坐标之间的转换矩阵；
[0036]根据道路上车辆移动轨迹在第二背景图上确定道路区域，将道路区域与第二背景图结合得到静态地图；
[0037]将路侧摄像头监控的车辆的动态位置信息和行人的动态位置信息转换为卫星图像坐标，在静态地图上显示车辆和行人的动态位置，实现动态地图。
[0038]优选的，处理模块用于：
[0039]通过下式对预设数量的图像进行叠加，去除叠加前后发生变化的图像部分，得到第一背景图：
[0040][0041]其中，为第t次叠加求得的背景图，为第t
‑
1次叠加求得的背景图，为第t次路侧拍摄的图像，n
t
与α为预设经验值。例如，α≈0.01，n
t
≥70。
[0042]优选的，处理模块用于：
[0043]获取车辆移动轨迹的集合；其中，每一个车辆移动轨迹为集合中的一个元素；
[0044]对于集合中每一个车辆移动轨迹：
[0045]计算车辆移动轨迹内的边界像素与外部相邻像素的像素差值，如果像素差值满足预设条件，则将车辆移动轨迹与相邻像素之间联通，作为一个连通区域；计算连通区域的边界像素与相邻的非连通区域像素的像素差值，如果像素差值满足预设条件，则将相邻像素合并入连通区域；
[0046]如果像素差值不满足预设条件，则根据相邻像素确定连通区域的边界。
[0047]优选的，处理模块用于：
[0048]同时计算多个车辆移动轨迹与相邻像素的像素差值；
[0049]如果同一像素属于两个连通区域的相邻像素，且与两个连通区域的边界像素的像素差均满足预设条件，则合并两个连通区域。
[0050]本专利技术由于采取以上技术方案，其具有以下优点：
[0本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于路侧图像识别与卫星图像的动态建图方法，其特征在于，包括：通过道路的路侧摄像头对车辆和行人进行识别和跟踪，获取车辆移动轨迹和行人移动轨迹；对路侧摄像头拍摄的图像进行叠加递归，提取预设数量的图像中相同的部分作为道路的第一背景图；以预先拍摄的对应道路背景的卫星图像作为第二背景图；选择道路中的特征点，根据特征点在第一背景图中的位置与在第二背景图中的位置的对应关系，计算路侧摄像头图像坐标与卫星图像坐标之间的转换矩阵；根据道路上车辆移动轨迹在第二背景图上确定道路区域，将道路区域与第二背景图结合得到静态地图；将路侧摄像头监控的车辆的动态位置信息和行人的动态位置信息转换为卫星图像坐标，在静态地图上显示车辆和行人的动态位置，实现动态地图。2.根据权利要求1所述的方法，其特征在于，通过道路的路侧摄像头对车辆和行人进行识别和跟踪包括：预先利用神经网络模型和数据库中的数据进行车辆和行人的目标识别训练，每一个识别结果包括二维框信息及类别信息，其中二维框信息用于指示目标位置，类别信息用于指示目标是各类车辆或行人；在目标识别训练后应用路侧摄像头对道路上的车辆和行人进行目标识别和跟踪，获取车辆移动轨迹和行人移动轨迹。3.根据权利要求1所述的方法，其特征在于，对路侧摄像头拍摄的图像进行叠加递归，提取预设数量的图像中相同的部分作为道路的第一背景图，包括：通过下式对预设数量的图像进行叠加，去除叠加前后发生变化的图像部分，得到第一背景图：其中，为第t次叠加求得的背景图，为第t
‑
1次叠加求得的背景图，为第t次路侧拍摄的图像，n
t
与α为预设经验值。4.根据权利要求1所述的方法，其特征在于，根据车辆移动轨迹在第二背景图上确定道路区域包括：获取车辆移动轨迹的集合；其中，每一个车辆移动轨迹为集合中的一个元素；对于集合中每一个车辆移动轨迹：计算车辆移动轨迹内的边界像素与外部相邻像素的像素差值，如果像素差值满足预设条件，则将车辆移动轨迹与相邻像素之间联通，作为一个连通区域；计算连通区域的边界像素与相邻的非连通区域像素的像素差值，如果像素差值满足预设条件，则将相邻像素合并入连通区域；如果像素差值不满足预设条件，则根据相邻像素确定连通区域的边界。5.根据权利要求4所述的方法，其特征在于，还包括：同时计算多个车辆移动轨迹与相邻像素的像素差值；如果同一像素属于两个连通区域...
【专利技术属性】
技术研发人员：蒲虹旭，王映焓，王雷，
申请(专利权)人：紫清智行科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。