一种基于图像帧的回环检测方法及装置、车载终端制造方法及图纸

本发明专利技术实施例公开一种基于图像帧的回环检测方法及装置、车载终端。该方法包括：获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧；针对每个第一图像帧中的每个像素点，根据该像素点的周围像素点对该像素点的像素值进行更新，将第一图像帧中所有更新后的像素点作为第一图像帧的特征信息；根据每个图像帧的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配，从第一匹配结果指示的第二地点中确定与第一地点指向同一地点的地点。应用本发明专利技术实施例提供的方案，能够提高回环检测时的准确性。

A loop detection method and device based on image frame and vehicle terminal

【技术实现步骤摘要】
一种基于图像帧的回环检测方法及装置、车载终端
本专利技术涉及自动驾驶
，具体而言，涉及一种基于图像帧的回环检测方法及装置、车载终端。
技术介绍
回环检测，是指安装有相机的可移动物体在移动至某一位置时，将所采集的图片与历史图片进行匹配，当匹配成功时，认为可移动物体的移动到了匹配成功的历史图片对应的位置处。例如，可移动物体可以是车辆、机器人等物体。回环检测能够将当前图像对应的地点与历史图像对应的地点进行关联。但是，当车辆再次移动到某一位置处时，车辆上的相机所拍摄的图像的角度会发生变化，将该图像与历史图像进行匹配时，可能无法匹配成功。在将图像与历史图像进行匹配时，通常根据图像中的关键点进行匹配，但是当外界环境的光线、拍摄角度发生变化时，图像中的关键点会相应发生变化，根据关键点进行匹配时可能无法匹配成功。基于上述分析可知，上述回环检测的准确性不够高。
技术实现思路
本专利技术提供了一种基于图像帧的回环检测方法及装置、车载终端，以提高回环检测时的准确性。具体的技术方案如下。第一方面，本专利技术实施例公开了一种基于图像帧的回环检测方法，包括：获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧；针对每个第一图像帧中的每个像素点，根据所述像素点的周围像素点对所述像素点的像素值进行更新，将所述第一图像帧中所有更新后的像素点作为所述第一图像帧的特征信息；根据每个图像帧的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当各个第一图像帧与所述图像数据库中的第二地点对应的多个图像帧中，至少存在预设数量组匹配成功的图像帧时，确定得到满足预设的地点匹配条件的第一匹配结果；其中，所述第一匹配结果指示的地点为所述第二地点；所述图像数据库，用于存储多个第一类地点处的图像帧的特征信息，每个第一类地点处的图像帧包括该地点处车辆周围多个方向的图像帧；从所述第二地点中确定与所述第一地点指向同一地点的地点。可选的，所述图像数据库，还用于存储多个第二类地点处的图像帧的特征信息，每个第二类地点处的图像帧包括该地点处车辆周围一个方向的图像帧；在得到所述第一图像帧的特征信息之后，所述方法还包括：根据每个图像帧的特征信息，将各个第一图像帧分别与所述图像数据库中的每个地点处的一个图像帧进行匹配；当各个第一图像帧中至少存在一个第一图像帧，与所述图像数据库中的图像帧匹配成功时，确定得到满足预设的地点匹配条件的第二匹配结果；其中，所述第二匹配结果指示的第三地点为：所述图像数据库中匹配成功的图像帧对应的地点；从所述第三地点中确定与所述第一地点指向同一地点的地点。可选的，在获取到所述图像采集设备在所述第一地点处采集的各个第一图像帧之后，所述方法还包括：对各个第一图像帧进行拼接，得到所述第一地点处的第一全景图像帧；针对每个第一全景图像帧中的每个像素点，根据所述像素点的周围像素点对所述像素点的像素值进行更新，将所述第一全景图像帧中所有更新后的像素点作为所述第一全景图像帧的特征信息；根据每个全景图像帧的特征信息，将所述第一全景图像帧与图像数据库中多个地点对应的全景图像帧进行匹配；当所述第一全景图像帧与所述图像数据库中的全景图像帧匹配成功时，确定得到满足预设的地点匹配条件的第三匹配结果，所述第三匹配结果指示的第四地点为：所述图像数据库中匹配成功的全景图像帧对应的地点；其中，所述图像数据库，用于存储多个地点处的全景图像帧的特征信息；从所述第四地点中确定与所述第一地点指向同一地点的地点。可选的，当所述第二地点为多个时，所述从所述第二地点中确定与所述第一地点指向同一地点的地点的步骤，包括：获取在所述第一地点之前的上个地点处从所述图像数据库中确定的匹配结果指示的第五地点；判断所述图像数据库中多个所述第二地点对应的图像帧中，是否存在与所述第五地点对应的图像帧连续的目标图像帧；如果存在，则将所述目标图像帧对应的第二地点确定为与所述第一地点指向同一地点的地点。可选的，所述根据每个图像帧的特征信息，将各个第一图像帧分别与图像数据库中每个地点对应的多个图像帧进行匹配的步骤，包括：针对每个第一图像帧和图像数据库中的每个图像帧，计算所述第一图像帧中每个像素点的像素值与所述图像帧中相同位置处的像素点的像素值之差的绝对值，将所述第一图像帧与所述图像帧之间对应的两个像素点的像素值之差的绝对值的和值，作为所述第一图像帧与所述图像帧之间的特征信息相似度；当所述特征信息相似度小于预设相似度阈值时，确定所述第一图像帧与所述图像帧匹配成功。可选的，当确定无法得到满足所述预设的地点匹配条件的匹配结果时，所述方法还包括：将所述第一地点处的各个第一图像帧的特征信息，存储至图像数据库。可选的，所述针对每个第一图像帧中的每个像素点，根据所述像素点的周围像素点对所述像素点的像素值进行更新的步骤，包括：针对每个第一图像帧中的每个像素点，按照以下公式对对所述像素点的像素值进行更新：P’＝(P-Pμ)/Pσ其中，所述P’为所述像素点更新后的像素值，所述P为所述像素点的像素值，所述Pμ为所述像素点的周围像素点的像素值的平均值，所述Pσ为所述像素点的周围像素点的像素值的标准差。可选的，所述获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧的步骤，包括：获取图像采集设备在第一地点处采集的所述车辆周围多个方向的初始图像帧，对各个初始图像帧进行降采样处理，得到各个第一图像帧。第二方面，本专利技术实施例公开了一种基于图像帧的回环检测装置，包括：获取模块，被配置为获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧；第一更新模块，被配置为针对每个第一图像帧中的每个像素点，根据所述像素点的周围像素点对所述像素点的像素值进行更新，将所述第一图像帧中所有更新后的像素点作为所述第一图像帧的特征信息；第一匹配模块，被配置为根据每个图像帧的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当各个第一图像帧与所述图像数据库中的第二地点对应的多个图像帧中，至少存在预设数量组匹配成功的图像帧时，确定得到满足预设的地点匹配条件的第一匹配结果；其中，所述第一匹配结果指示的地点为所述第二地点；所述图像数据库，用于存储多个第一类地点处的图像帧的特征信息，每个第一类地点处的图像帧包括该地点处车辆周围多个方向的图像帧；第一确定模块，被配置为从所述第二地点中确定与所述第一地点指向同一地点的地点。可选的，所述图像数据库，还用于存储多个第二类地点处的图像帧的特征信息，每个第二类地点处的图像帧包括该地点处车辆周围一个方向的图像帧；所述装置还包括：第二匹配模块，被配置为在得到所述第一图像帧的特征信息之后，根据每个图像帧的特征信息，将各个第一图像帧分别与所述图像数据库中的每个地点处的一个图像帧进行匹配；当各个第一图像帧中至少存在一个第一图像帧，与本文档来自技高网...

【技术保护点】
1.一种基于图像帧的回环检测方法，其特征在于，包括：/n获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧；/n针对每个第一图像帧中的每个像素点，根据所述像素点的周围像素点对所述像素点的像素值进行更新，将所述第一图像帧中所有更新后的像素点作为所述第一图像帧的特征信息；/n根据每个图像帧的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当各个第一图像帧与所述图像数据库中的第二地点对应的多个图像帧中，至少存在预设数量组匹配成功的图像帧时，确定得到满足预设的地点匹配条件的第一匹配结果；其中，所述第一匹配结果指示的地点为所述第二地点；所述图像数据库，用于存储多个第一类地点处的图像帧的特征信息，每个第一类地点处的图像帧包括该地点处车辆周围多个方向的图像帧；/n从所述第二地点中确定与所述第一地点指向同一地点的地点。/n

【技术特征摘要】
1.一种基于图像帧的回环检测方法，其特征在于，包括：
获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧；
针对每个第一图像帧中的每个像素点，根据所述像素点的周围像素点对所述像素点的像素值进行更新，将所述第一图像帧中所有更新后的像素点作为所述第一图像帧的特征信息；
根据每个图像帧的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当各个第一图像帧与所述图像数据库中的第二地点对应的多个图像帧中，至少存在预设数量组匹配成功的图像帧时，确定得到满足预设的地点匹配条件的第一匹配结果；其中，所述第一匹配结果指示的地点为所述第二地点；所述图像数据库，用于存储多个第一类地点处的图像帧的特征信息，每个第一类地点处的图像帧包括该地点处车辆周围多个方向的图像帧；
从所述第二地点中确定与所述第一地点指向同一地点的地点。


2.如权利要求1所述的方法，其特征在于，所述图像数据库，还用于存储多个第二类地点处的图像帧的特征信息，每个第二类地点处的图像帧包括该地点处车辆周围一个方向的图像帧；在得到所述第一图像帧的特征信息之后，所述方法还包括：
根据每个图像帧的特征信息，将各个第一图像帧分别与所述图像数据库中的每个地点处的一个图像帧进行匹配；当各个第一图像帧中至少存在一个第一图像帧，与所述图像数据库中的图像帧匹配成功时，确定得到满足预设的地点匹配条件的第二匹配结果；其中，所述第二匹配结果指示的第三地点为：所述图像数据库中匹配成功的图像帧对应的地点；
从所述第三地点中确定与所述第一地点指向同一地点的地点。


3.如权利要求1-2任一项所述的方法，其特征在于，在获取到所述图像采集设备在所述第一地点处采集的各个第一图像帧之后，所述方法还包括：
对各个第一图像帧进行拼接，得到所述第一地点处的第一全景图像帧；
针对每个第一全景图像帧中的每个像素点，根据所述像素点的周围像素点对所述像素点的像素值进行更新，将所述第一全景图像帧中所有更新后的像素点作为所述第一全景图像帧的特征信息；
根据每个全景图像帧的特征信息，将所述第一全景图像帧与图像数据库中多个地点对应的全景图像帧进行匹配；当所述第一全景图像帧与所述图像数据库中的全景图像帧匹配成功时，确定得到满足预设的地点匹配条件的第三匹配结果，所述第三匹配结果指示的第四地点为：所述图像数据库中匹配成功的全景图像帧对应的地点；其中，所述图像数据库，用于存储多个地点处的全景图像帧的特征信息；
从所述第四地点中确定与所述第一地点指向同一地点的地点。


4.如权利要求1所述的方法，其特征在于，当所述第二地点为多个时，所述从所述第二地点中确定与所述第一地点指向同一地点的地点的步骤，包括：
获取在所述第一地点之前的上个地点处从所述图像数据库中确定的匹配结果指示的第五地点；
判断所述图像数据库中多个所述第二地点对应的图像帧中，是否存在与所述第五地点对应的图像帧连续的目标图像帧；
如果存在，则将所述目标图像帧对应的第二地点确定为与所述第一地点指向同一地点的地点。


5.如权利要求1所述的方法，其特征在于，所述根据每个图像帧的特征信息，将各个第一图像帧分别与图像数据库中每个地点对应的多个图像帧进行匹配的步骤，包括：
针对每个第一图像帧和图像数据库中的每个图像帧，计算所述第一图像帧中每个像素点的像素值与所述图像帧中相同位置处的像素点的像素值之差的绝对值，将所述第一图像帧...

【专利技术属性】
技术研发人员：李天威，徐抗，童哲航，刘一龙，谢国富，
申请(专利权)人：北京初速度科技有限公司，
类型：发明
国别省市：北京;11