一种多目相机导航方法、装置、设备及存储介质制造方法及图纸

本申请提供一种多目相机导航方法、装置、设备及存储介质，涉及计算机视觉技术领域。该方法包括：首先根据监测场景中的多个相机的世界坐标系，建立导航坐标系，然后对每个相机拍获取到的数据进行检测，得到移动目标在每个相机中的图像坐标中的图像坐标，采用预先训练的每个相机对应的相机标定模型，将移动目标在图像坐标中的图像坐标转换成在世界坐标系中的世界坐标，有多个相机就对应多个世界坐标，并根据多个世界坐标，确定该移动目标的导航世界坐标，最后根据该导航世界坐标，在上述导航坐标系中对该移动目标进行导航。应用本申请实施例，可以提高多目相机对移动目标进行导航的精度。

【技术实现步骤摘要】
一种多目相机导航方法、装置、设备及存储介质
本申请涉及计算机视觉
，具体而言，涉及一种多目相机导航方法、装置、设备及存储介质。
技术介绍
随着科技的发展，人们对室内定位导航技术的要求也越来越高，现有的室内导航技术主要包括超声波定位导航、红外线定位导航、激光定位导航以及视觉定位导航技术等。目前，视觉定位导航技术大多使用光学陀螺仪方式，即在使用多目相机通过寻找视频帧中特征点并在后续视频帧中进行特征点匹配，以此完成对移动目标航向角、步数累计和惯性导航。然而，该视觉定位导航技术中的特征点匹配影响因素较多，特别是在有障碍物较多的监测场景中，无法准确的找到视频帧中特征点，进而使利用多目相机对移动目标进行导航的精度降低。
技术实现思路
本申请的目的在于，针对上述现有技术中的不足，提供一种多目相定位机导航方法、装置、设备及存储介质，可以提高多目相机对目标物体进行导航的精度。为实现上述目的，本申请实施例采用的技术方案如下：第一方面，本申请实施例提供了种多目相机导航方法，所述方法包括：根据监测场景中的多个相机的世界坐标，建立导航坐标系；对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标；根据所述移动目标在所述每个相机的图像坐标系中的图像坐标，采用预先训练的所述每个相机对应的相机标定模型进行处理，得到所述移动目标的一个世界坐标，所述一个世界坐标为所述移动目标在所述每个相机的图像坐标系所对应的世界坐标系中的世界坐标；根据所述移动目标的多个世界坐标，确定所述移动目标的导航世界坐标；根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航。可选地，所述对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标，包括：采用背景差分算法，从所述每个相机的图像数据中提取所述移动目标，并确定所述移动目标在所述每个相机的图像坐标系中的点坐标为所述移动目标在所述每个相机的图像坐标系中的图像坐标。可选地，所述根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航，包括：根据所述移动目标的导航世界坐标和所述导航坐标系，确定所述移动目标在所述监测场景中的位置；根据所述移动目标在所述监测场景中的位置，在所述导航坐标系中对所述移动目标进行导航。可选地，所述每个相机对应的相机标定模型为采用下述步骤进行训练得到的模型：通过所述每个相机获取预设多个标定图像数据，所述多个标定图像数据为预设标定板在多个不同角度的图像数据；根据所述多个标定图像数据，获取训练数据，所述训练数据包括：所述预设标定板上顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标；根据所述训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到所述每个相机对应的相机标定模型。可选的，所述根据所述多个标定图像数据，获取训练数据，包括：采用预设的检测算法，检测所述多个标定图像数据中的顶点；记录所述顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标。可选地，所述根据所述训练数据进行模型训练，得到所述相机标定模型，包括：根据所述训练数据，对预先建立的神经网络模型进行优化处理，直至满足预设迭代条件；将满足所述预设迭代条件时的神经网络模型确定为所述相机标定模型。第二方面，本申请实施例还提供了一种多目相机导航装置，所述装置包括：建立模块，用于根据监测场景中的多个相机的世界坐标，建立导航坐标系；检测模块，用于对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标；处理模块，用于根据所述移动目标在所述每个相机的图像坐标系中的图像坐标，采用预先训练的所述每个相机对应的相机标定模型进行处理，得到所述移动目标的一个世界坐标，所述一个世界坐标为所述移动目标在所述每个相机的图像坐标系所对应的世界坐标系中的世界坐标；确定模块，用于根据所述移动目标的多个世界坐标，确定所述移动目标的导航世界坐标；导航模块，用于根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航。可选地，所述检测模块，具体用于：采用背景差分算法，从所述每个相机的图像数据中提取所述移动目标，并确定所述移动目标在所述每个相机的图像坐标系中的点坐标为所述移动目标在所述每个相机的图像坐标系中的图像坐标。可选地，所述导航模块，具体用于：根据所述移动目标的导航世界坐标和所述导航坐标系，确定所述移动目标在所述监测场景中的位置；根据所述移动目标在所述监测场景中的位置，在所述导航坐标系中对所述移动目标进行导航。可选地，所述每个相机对应的相机标定模型为采用下述模块进行训练得到的模型：第一获取模块，用于通过所述每个相机获取预设多个标定图像数据，所述多个标定图像数据为预设标定板在多个不同角度的图像数据；第二获取模块，用于根据所述多个标定图像数据，获取训练数据，所述训练数据包括：所述预设标定板上顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标；训练模块，用于根据所述训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到所述每个相机对应的相机标定模型。可选地，所述第二获取模块，具体用于：采用预设的检测算法，检测所述多个标定图像数据中的顶点；记录所述顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标。可选地，所述训练模块，具体用于：根据所述训练数据，对预先建立的神经网络模型进行优化处理，直至满足预设停止条件；将满足所述预设停止条件时的神经网络模型确定为所述相机标定模型。第三方面，本申请实施例提供了一种电子设备，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面的多目相机导航方法的步骤。第四方面，本申请实施例提供了一种存储介质，所述计算机程序被处理器运行时执行上述第一方面的多目相机导航方法的步骤。本申请的有益效果是：本申请实施例提供的一种多目相机导航方法、装置、设备及存储介质，首先根据监测场景中的多个相机的世界坐标系，建立导航坐标系，然后对每个相机拍获取到的数据进行检测，得到移动目标在每个相机中的图像坐标中的图像坐标，采用预先训练的每个相机对应的相机标定模型，将移动目标在图像坐标中的图像坐标转换成在世界坐标系中的世界坐标，有多个相机就对应多个世界坐标，并根据多个世界坐标，确定该移动目标的导航世界坐标，最后根据该导航世界坐标，在上述导航坐标系中对该移动目标进行导航。采用本文档来自技高网...

【技术保护点】
1.一种多目相机导航方法，其特征在于，所述方法包括：/n根据监测场景中的多个相机的世界坐标，建立导航坐标系；/n对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标；/n根据所述移动目标在所述每个相机的图像坐标系中的图像坐标，采用预先训练的所述每个相机对应的相机标定模型进行处理，得到所述移动目标的一个世界坐标，所述一个世界坐标为所述移动目标在所述每个相机的图像坐标系所对应的世界坐标系中的世界坐标；/n根据所述移动目标的多个世界坐标，确定所述移动目标的导航世界坐标；/n根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航。/n

【技术特征摘要】
1.一种多目相机导航方法，其特征在于，所述方法包括：
根据监测场景中的多个相机的世界坐标，建立导航坐标系；
对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标；
根据所述移动目标在所述每个相机的图像坐标系中的图像坐标，采用预先训练的所述每个相机对应的相机标定模型进行处理，得到所述移动目标的一个世界坐标，所述一个世界坐标为所述移动目标在所述每个相机的图像坐标系所对应的世界坐标系中的世界坐标；
根据所述移动目标的多个世界坐标，确定所述移动目标的导航世界坐标；
根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航。


2.根据权利要求1所述的方法，其特征在于，所述对每个相机的图像数据进行检测，得到所述监测场景中的移动目标在所述每个相机的图像坐标系中的图像坐标，包括：
采用背景差分算法，从所述每个相机的图像数据中提取所述移动目标，并确定所述移动目标在所述每个相机的图像坐标系中的点坐标为所述移动目标在所述每个相机的图像坐标系中的图像坐标。


3.根据权利要求1所述的方法，其特征在于，所述根据所述移动目标的导航世界坐标，在所述导航坐标系中对所述移动目标进行导航，包括：
根据所述移动目标的导航世界坐标和所述导航坐标系，确定所述移动目标在所述监测场景中的位置；
根据所述移动目标在所述监测场景中的位置，在所述导航坐标系中对所述移动目标进行导航。


4.根据权利要求1-3中任一所述的方法，其特征在于，所述每个相机对应的相机标定模型为采用下述步骤进行训练得到的模型：
通过所述每个相机获取预设多个标定图像数据，所述多个标定图像数据为预设标定板在多个不同角度的图像数据；
根据所述多个标定图像数据，获取训练数据，所述训练数据包括：所述预设标定板上顶点在所述每个相机的图像坐标系中的图像坐标，以及所述顶点在世界坐标系中的世界坐标；
根据所述训练数据，对预先建立的神经网络模型进行训练，直至满足预设停止条件，得到所述每个相机对应的相机标定模型。


5.根据权利要求4所述的方法，其特征在于，所述根据所...

【专利技术属性】
技术研发人员：汪宝康，徐天计，张宗品，王能，张家荣，蔡葆锐，廖晓峰，孙灿，余云江，朱聪，王斌，杨洋，程亚晶，
申请(专利权)人：云南电网有限责任公司楚雄供电局，
类型：发明
国别省市：云南;53