一种基于车辆的回环检测方法及装置、车载终端制造方法及图纸

本发明专利技术实施例公开一种基于车辆的回环检测方法及装置、车载终端。该方法包括：获取图像采集设备在第一地点处采集的车辆周围多个方向的第一图像帧；根据图像帧中像素点的像素值分布，提取各个第一图像帧中的关键点，并确定第一图像帧中每个关键点的特征信息；根据每个图像帧对应的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当得到满足预设的地点匹配条件的第一匹配结果时，从第一匹配结果指示的第二地点中确定与第一地点指向同一地点的地点。应用本发明专利技术实施例提供的方案，能够提高回环检测时的准确性。

A vehicle based loopback detection method, device and vehicle terminal

【技术实现步骤摘要】
一种基于车辆的回环检测方法及装置、车载终端
本专利技术涉及智能驾驶
，具体而言，涉及一种基于车辆的回环检测方法及装置、车载终端。
技术介绍
回环检测，是指安装有相机的可移动物体在移动至某一位置时，将所采集的图片与历史图片进行匹配，当匹配成功时，认为可移动物体的移动到了匹配成功的历史图片对应的位置处。例如，可移动物体可以是车辆、机器人等物体。回环检测能够将当前图像对应的地点与历史图像对应的地点进行关联。但是，当车辆再次移动到某一位置处时，车辆上的相机所拍摄的图像的角度会发生变化，将该图像与历史图像进行匹配时，可能无法匹配成功。这样也就无法检测到与当前位置相同的位置，回环检测的准确性不够高。
技术实现思路
本专利技术提供了一种基于车辆的回环检测方法及装置、车载终端，以提高回环检测时的准确性。具体的技术方案如下。第一方面，本专利技术实施例公开了一种基于车辆的回环检测方法，包括：获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧；根据图像帧中像素点的像素值分布，提取各个第一图像帧中的关键点，并确定所述第一图像帧中每个关键点的特征信息；根据每个图像帧对应的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当各个第一图像帧与所述图像数据库中的第二地点对应的多个图像帧中，至少存在预设数量组匹配成功的图像帧时，确定得到满足预设的地点匹配条件的第一匹配结果；其中，所述第一匹配结果指示的地点为所述第二地点；其中，所述图像数据库，用于存储多个第一类地点处的图像帧的特征信息，每个第一类地点处的图像帧包括该地点处车辆周围多个方向的图像帧；从所述第二地点中确定与所述第一地点指向同一地点的地点。可选的，所述图像数据库，还用于存储多个第二类地点处的图像帧的特征信息，每个第二类地点处的图像帧包括该地点处车辆周围一个方向的图像帧；在确定所述第一图像帧中每个关键点的特征信息之后，所述方法还包括：根据每个图像帧对应的特征信息，将各个第一图像帧分别与所述图像数据库中的每个地点处的一个图像帧进行匹配；当各个第一图像帧中至少存在一个第一图像帧，与所述图像数据库中的图像帧匹配成功时，确定得到满足预设的地点匹配条件的第二匹配结果；其中，所述第二匹配结果指示的第三地点为：所述图像数据库中匹配成功的图像帧对应的地点；从所述第三地点中确定与所述第一地点指向同一地点的地点。可选的，在获取到所述图像采集设备在所述第一地点处采集的各个第一图像帧之后，所述方法还包括：对各个第一图像帧进行拼接，得到所述第一地点处的第一全景图像帧；根据图像帧中像素点的像素值分布，提取所述第一全景图像帧中的关键点，并确定所述第一全景图像帧中每个关键点的特征信息；根据每个全景图像帧对应的特征信息，将所述第一全景图像帧与图像数据库中多个地点对应的全景图像帧进行匹配；当所述第一全景图像帧与所述图像数据库中的全景图像帧匹配成功时，确定得到满足预设的地点匹配条件的第三匹配结果，所述第三匹配结果指示的第四地点为：所述图像数据库中匹配成功的全景图像帧对应的地点；其中，所述图像数据库，用于存储多个地点处的全景图像帧的特征信息；从所述第四地点中确定与所述第一地点指向同一地点的地点。可选的，当所述第二地点为多个时，所述从所述第二地点中确定与所述第一地点指向同一地点的地点的步骤，包括：获取在所述第一地点之前的上个地点处从所述图像数据库中确定的匹配结果指示的第五地点；判断所述图像数据库中多个所述第二地点对应的图像帧中，是否存在与所述第五地点对应的图像帧连续的目标图像帧；如果存在，则将所述目标图像帧对应的第二地点确定为与所述第一地点指向同一地点的地点。可选的，所述根据每个图像帧对应的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配的步骤，包括：针对每个第一图像帧和图像数据库中的每个图像帧，将所述第一图像帧的各个特征信息分别与所述图像帧的各个特征信息进行对比，得到所述第一图像帧与所述图像帧之间的特征信息重合度；当所述特征信息重合度大于预设重合度阈值时，确定所述第一图像帧与所述图像帧匹配成功。可选的，当确定无法得到满足所述预设的地点匹配条件的匹配结果时，所述方法还包括：将第一地点处的各个第一图像帧的特征信息，存储至所述图像数据库。可选的，确定所述第一图像帧中每个关键点的特征信息的步骤，包括：针对所述第一图像帧中的每个关键点，根据所述关键点以及所述关键点周围预设位置处的像素点，确定所述关键点对应的描述子；从预设的描述子词典中确定所述第一图像帧中每个关键点的描述子对应的单词，将所述第一图像帧中所有关键点对应的单词作为所述第一图像帧的特征信息。第二方面，本专利技术实施例公开了一种基于车辆的回环检测装置，包括：获取模块，被配置为获取图像采集设备在第一地点处采集的车辆周围多个方向的第一图像帧；第一提取模块，被配置为根据图像帧中像素点的像素值分布，提取各个第一图像帧中的关键点，并确定所述第一图像帧中每个关键点的特征信息；第一匹配模块，被配置为根据每个图像帧对应的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当各个第一图像帧与所述图像数据库中的第二地点对应的多个图像帧中，至少存在预设数量组匹配成功的图像帧时，确定得到满足预设的地点匹配条件的第一匹配结果；其中，所述第一匹配结果指示的地点为所述第二地点；其中，所述图像数据库，用于存储多个第一类地点处的图像帧的特征信息，每个第一类地点处的图像帧包括该地点处车辆周围多个方向的图像帧；第一确定模块，被配置为从所述第二地点中确定与所述第一地点指向同一地点的地点。可选的，所述图像数据库，还用于存储多个第二类地点处的图像帧的特征信息，每个第二类地点处的图像帧包括该地点处车辆周围一个方向的图像帧；所述装置还包括：第二匹配模块，被配置为在确定所述第一图像帧中每个关键点的特征信息之后，根据每个图像帧对应的特征信息，将各个第一图像帧分别与所述图像数据库中的每个地点处的一个图像帧进行匹配；当各个第一图像帧中至少存在一个第一图像帧，与所述图像数据库中的图像帧匹配成功时，确定得到满足预设的地点匹配条件的第二匹配结果；其中，所述第二匹配结果指示的第三地点为：所述图像数据库中匹配成功的图像帧对应的地点；第二确定模块，被配置为从所述第三地点中确定与所述第一地点指向同一地点的地点。可选的，所述装置还包括：拼接模块，被配置为在获取到所述图像采集设备在所述第一地点处采集的各个第一图像帧之后，对各个第一图像帧进行拼接，得到所述第一地点处的第一全景图像帧；第二提取模块，被配置为根据图像帧中像素点的像素值分布，提取所述第一全景图像帧中的关键点，并确定所述第一全景图像帧中每个关键点的特征信息；第三匹配模块，被配置为根据每个全景图像帧对应的特征信息，将所述第一全景图像帧与图本文档来自技高网...

【技术保护点】
1.一种基于车辆的回环检测方法，其特征在于，包括：/n获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧；/n根据图像帧中像素点的像素值分布，提取各个第一图像帧中的关键点，并确定所述第一图像帧中每个关键点的特征信息；/n根据每个图像帧对应的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当各个第一图像帧与所述图像数据库中的第二地点对应的多个图像帧中，至少存在预设数量组匹配成功的图像帧时，确定得到满足预设的地点匹配条件的第一匹配结果；其中，所述第一匹配结果指示的地点为所述第二地点；其中，所述图像数据库，用于存储多个第一类地点处的图像帧的特征信息，每个第一类地点处的图像帧包括该地点处车辆周围多个方向的图像帧；/n从所述第二地点中确定与所述第一地点指向同一地点的地点。/n

【技术特征摘要】
1.一种基于车辆的回环检测方法，其特征在于，包括：
获取图像采集设备在第一地点处采集的所述车辆周围多个方向的第一图像帧；
根据图像帧中像素点的像素值分布，提取各个第一图像帧中的关键点，并确定所述第一图像帧中每个关键点的特征信息；
根据每个图像帧对应的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配；当各个第一图像帧与所述图像数据库中的第二地点对应的多个图像帧中，至少存在预设数量组匹配成功的图像帧时，确定得到满足预设的地点匹配条件的第一匹配结果；其中，所述第一匹配结果指示的地点为所述第二地点；其中，所述图像数据库，用于存储多个第一类地点处的图像帧的特征信息，每个第一类地点处的图像帧包括该地点处车辆周围多个方向的图像帧；
从所述第二地点中确定与所述第一地点指向同一地点的地点。


2.如权利要求1所述的方法，其特征在于，所述图像数据库，还用于存储多个第二类地点处的图像帧的特征信息，每个第二类地点处的图像帧包括该地点处车辆周围一个方向的图像帧；在确定所述第一图像帧中每个关键点的特征信息之后，所述方法还包括：
根据每个图像帧对应的特征信息，将各个第一图像帧分别与所述图像数据库中的每个地点处的一个图像帧进行匹配；当各个第一图像帧中至少存在一个第一图像帧，与所述图像数据库中的图像帧匹配成功时，确定得到满足预设的地点匹配条件的第二匹配结果；其中，所述第二匹配结果指示的第三地点为：所述图像数据库中匹配成功的图像帧对应的地点；
从所述第三地点中确定与所述第一地点指向同一地点的地点。


3.如权利要求1-2任一项所述的方法，其特征在于，在获取到所述图像采集设备在所述第一地点处采集的各个第一图像帧之后，所述方法还包括：
对各个第一图像帧进行拼接，得到所述第一地点处的第一全景图像帧；
根据图像帧中像素点的像素值分布，提取所述第一全景图像帧中的关键点，并确定所述第一全景图像帧中每个关键点的特征信息；
根据每个全景图像帧对应的特征信息，将所述第一全景图像帧与图像数据库中多个地点对应的全景图像帧进行匹配；当所述第一全景图像帧与所述图像数据库中的全景图像帧匹配成功时，确定得到满足预设的地点匹配条件的第三匹配结果，所述第三匹配结果指示的第四地点为：所述图像数据库中匹配成功的全景图像帧对应的地点；其中，所述图像数据库，用于存储多个地点处的全景图像帧的特征信息；
从所述第四地点中确定与所述第一地点指向同一地点的地点。


4.如权利要求1-3任一项所述的方法，其特征在于，当所述第二地点为多个时，所述从所述第二地点中确定与所述第一地点指向同一地点的地点的步骤，包括：
获取在所述第一地点之前的上个地点处从所述图像数据库中确定的匹配结果指示的第五地点；
判断所述图像数据库中多个所述第二地点对应的图像帧中，是否存在与所述第五地点对应的图像帧连续的目标图像帧；
如果存在，则将所述目标图像帧对应的第二地点确定为与所述第一地点指向同一地点的地点。


5.如权利要求1所述的方法，其特征在于，所述根据每个图像帧对应的特征信息，将各个第一图像帧分别与图像数据库中多个地点对应的多个图像帧进行匹配的步骤，包括：
针对每个第一图像帧和图像数据库中的每个图像帧，将所述第一图像帧的各个特征信息分别与所述图像帧的各个特征信息进行对比，得到所述第一图像帧与所述图像帧之间的特征信息重合度；当所述特征信息重合度大于预设重合度阈值时，确定所述第一图像帧与所述图像帧匹配成功。


6.如权利要求1所述的方法，其特征在于，当确定无法得到满足...

【专利技术属性】
技术研发人员：李天威，徐抗，童哲航，刘一龙，谢国富，
申请(专利权)人：北京初速度科技有限公司，
类型：发明
国别省市：北京;11