多路传感数据融合的方法和系统技术方案
【技术实现步骤摘要】
【国外来华专利技术】多路传感数据融合的方法和系统版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本专利技术实施例涉及导航领域，并且更具体地涉及多路传感数据融合的方法和系统。
技术介绍
无人载具，例如，无人飞行器(UnmannedAerialVehicle，简称为“UAV”)，也称为无人机、无人驾驶的汽车等在搜救、勘探等很多领域有着越来越广泛的应用。通常采用远程控制器对无人载具进行控制和导航。但在一些场景中，无人载具能够根据环境信息进行自主遥感和导航。可以通过多种传感器获取无人载具的位置信息和运动信息来实现无人载具的控制和导航。但是目前无人载具的传感系统并不是太理想。例如，大多数的传感系统都是采用单线决策模式并未充分考虑冗余裕度，单线决策模式在由于特定环境(例如，室内、室外、高空、低空)导致一个或多个传感器故障或获取到不准确的数据时，无法选择可用的传感器和/或传感数据。由此会降低无人载具的安全性能。因此，有必要提供一种多路传感数据融合的方法，提高无人载具的安全性能。
技术实现思路
本专利技术实施例提供多路传感数据融合的方法和系统，能够通过对可移动设备中的多路传感器获取到的数据进行融合，提高可移动设备的安全性能。第一方面，提供了一种用于确定可移动设备的状态的方法，所述可移动设备包括第一传感器系统和第二传感器系统，所述第一传感器系统与所述第二传感器系统的数据采样频率不同，所述方法包括：在所述第二传感器系统获取到的第二传感数据不可用或未更新的时段内，根据所述第一传感器系统...
【技术保护点】
一种用于确定可移动设备的状态的方法，其特征在于，所述可移动设备包括第一传感器系统和第二传感器系统，所述第一传感器系统与所述第二传感器系统的数据采样频率不同，所述方法包括：在所述第二传感器系统获取到的第二传感数据不可用或未更新的时段内，根据所述第一传感器系统获取到的第一传感数据，确定所述可移动设备的预测状态；当确定所述第二传感器系统获取到的所述第二传感数据可用或更新时，根据所述第二传感数据，确定所述可移动设备的第一观测状态；根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否根据所述第一观测状态更新所述可移动设备的状态，其中，所述第一偏差用于指示所述第二传感数据是否可用。
【技术特征摘要】
【国外来华专利技术】1.一种用于确定可移动设备的状态的方法，其特征在于，所述可移动设备包括第一传感器系统和第二传感器系统，所述第一传感器系统与所述第二传感器系统的数据采样频率不同，所述方法包括：在所述第二传感器系统获取到的第二传感数据不可用或未更新的时段内，根据所述第一传感器系统获取到的第一传感数据，确定所述可移动设备的预测状态；当确定所述第二传感器系统获取到的所述第二传感数据可用或更新时，根据所述第二传感数据，确定所述可移动设备的第一观测状态；根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否根据所述第一观测状态更新所述可移动设备的状态，其中，所述第一偏差用于指示所述第二传感数据是否可用。2.根据权利要求1所述的方法，其特征在于，所述第一传感数据包括第一组位置数据和第一组运动数据，所述第二传感数据包括第二组位置数据和第二组运动数据。3.根据权利要求1或2所述的方法，其特征在于，所述第一传感器系统包括惯性测量单元IMU。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述第二传感器系统包括全球定位系统GPS接收器。5.根据权利要求1至3中任一项所述的方法，其特征在于，所述第二传感器系统包括一个或多个视觉传感器。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述方法还包括：根据所述可移动设备的至少一个先验预测状态，确定所述第一传感数据。7.根据权利要求1至6中任一项所述的方法，其特征在于，所述根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否使用所述第一观测状态更新所述可移动设备的状态，包括：根据所述第一偏差和第一预设阈值，确定是否使用所述第一观测状态更新所述可移动设备的状态。8.根据权利要求7所述的方法，其特征在于，所述根据所述第一偏差和第一预设阈值，确定是否使用所述第一观测状态更新所述可移动设备的状态，包括：当确定所述第一偏差小于或等于所述第一预设阈值时，确定根据所述第一观测状态更新所述可移动设备的状态；当确定所述第一偏差大于所述第一预设阈值时，确定不使用所述第一观测状态更新所述可移动设备的状态。9.根据权利要求8所述的方法，其特征在于，所述第一偏差为所述第一观测状态与所述预测状态之间的马氏距离或欧式距离。10.根据权利要求8或9所述的方法，其特征在于，当确定根据所述第一观测状态更新所述可移动设备的状态时，所述方法还包括：根据所述预测状态和所述第一观测状态更新所述可移动设备的状态。11.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：当确定不使用所述第一观测状态更新所述可移动设备的状态时，将所述预测状态确定为所述可移动设备的状态。12.根据权利要求7至11中任一项所述的方法，其特征在于，所述方法还包括：根据下列信息中的至少一种确定所述第一预设阈值：所述可移动设备的运行环境信息、所述可移动设备的运动特征信息、所述可移动设备的位置信息和所述可移动设备的高度信息。13.根据权利要求1或2所述的方法，其特征在于，所述可移动设备还包括第三传感器系统，所述第三传感器系统的数据采样频率与所述第一传感器系统和所述第二传感器系统不同，所述方法还包括：当确定所述第三传感器系统获取到的第三传感数据可用或更新时，根据所述第三传感数据，确定所述可移动设备的第二观测状态；当确定所述第二传感数据可用或更新时，根据所述第一观测状态与所述第二观测状态之间的第二偏差，确定是否根据所述第二观测状态更新所述可移动设备的状态，其中，所述第二偏差用于指示所述第三传感数据是否可用。14.根据权利要求13所述的方法，其特征在于，所述根据所述第一观测状态与所述第二观测状态之间的第二偏差，确定是否根据所述第二观测状态更新所述可移动设备的状态，包括：根据所述第二偏差和第二预设阈值，确定是否使用所述第二观测状态更新所述可移动设备的状态。15.根据权利要求14所述的方法，其特征在于，所述根据所述第二偏差和第二预设阈值，确定是否使用所述第二观测状态更新所述可移动设备的状态，包括：当确定所述第二偏差值小于或等于所述第二预设阈值时，确定根据所述第二观测状态更新所述可移动设备的状态；当确定所述第二偏差值大于所述第二预设阈值时，确定不使用所述第二观测状态更新所述可移动设备的状态。16.根据权利要求15所述的方法，其特征在于，所述第一传感器系统包括IMU，所述第二传感器系统包括GPS接收器，所述第三传感器系统包括一个或多个视觉传感器。17.根据权利要求15或16所述的方法，其特征在于，当确定根据所述第二观测状态更新所述可移动设备的状态时，所述方法还包括：根据所述预测状态和所述第二观测状态更新所述可移动设备的状态；或，根据所述预测状态、所述第一观测状态和所述第二观测状态更新所述可移动设备的状态。18.根据权利要求15或16所述的方法，其特征在于，当确定不根据所述第二观测状态更新所述可移动设备的状态时，所述方法包括：根据所述预测状态和所述第一观测状态更新所述可移动设备的状态。19.根据权利要求13至18中任一项所述的方法，其特征在于，所述方法还包括：根据下列信息中的至少一种确定所述第二预设阈值：所述可移动设备的运行环境信息、所述可移动设备的运动特征信息、所述可移动设备的位置信息和所述可移动设备的高度信息。20.一种用于在可移动设备中选择成像设备的方法，其特征在于，所述可移动设备上设置有多个成像设备，所述多个成像设备包括至少一个第一成像设备和至少一个第二成像设备，所述第一成像设备工作在多目视觉模式下，所述第二成像设备工作在单目视觉模式下，所述方法包括：确定所述多个成像设备中每个成像设备相对于其他成像设备的第一相对位置，和所述每个成像设备相对于所述可移动设备的第二相对位置；根据选择信息，从所述多个成像设备中选择目标成像设备，其中，所述选择信息包括下列信息中的至少一种：每个成像设备相对于该成像设备的视野范围内的物体或地面的距离、通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的视差、和所述多个成像设备的工作环境，其中，所述距离是根据所述第一相对位置和所述第二相对位置确定的；采用所述目标成像设备获取图像数据。21.根据权利要求20所述的方法，其特征在于，所述至少一个第一成像设备设置在所述可移动设备的多个位置处，所述多个位置相对于所述可移动设备的方向至少为两个。22.根据权利要求20或21所述的方法，其特征在于，所述至少一个第二成像设备安装在所述可移动设备的载体上，所述至少一个第二成像设备能够沿至少一个方向相对于所述可移动设备进行旋转。23.根据权利要求20至22中任一项所述的方法，其特征在于，所述多目视觉模式包括双目视觉模式，当所述第一成像设备工作在双目视觉模式下时，所述第一成像设备获取到的图像数据中包括视频数据，所述视频数据能够采用多目联合编码方式进行编码。24.根据权利要求20至23中任一项所述的方法，其特征在于，所述方法还包括：通过距离传感器确定所述每个成像设备相对于该成像设备的视野范围内的物体的距离；或，通过距离传感器和/或气压计确定所述每个成像设备相对于地面的距离。25.根据权利要求20至24中任一项所述的方法，其特征在于，所述根据选择信息，从所述多个成像设备中选择目标成像设备，包括：根据所述选择信息和预设距离阈值，从所述多个成像设备中选择目标成像设备。26.根据权利要求25所述的方法，其特征在于，所述根据所述选择信息和预设距离阈值，从所述多个成像设备中选择目标成像设备，包括：当所述每个成像设备相对于该成像设备的视野范围内的物体或地面的距离小于或等于所述预设距离阈值时，将所述至少一个第一成像设备确定为所述目标成像设备；或，当所述每个成像设备相对于该成像设备的视野范围内的物体或地面的距离大于所述预设距离阈值时，将所述至少一个第二成像设备确定为所述目标成像设备。27.根据权利要求20至24中任一项所述的方法，其特征在于，所述根据选择信息，从所述多个成像设备中选择目标成像设备，包括：根据所述选择信息和预设视差阈值，从所述多个成像设备中选择目标成像设备。28.根据权利要求27所述的方法，其特征在于，所述根据所述选择信息和预设视差阈值，从所述多个成像设备中选择目标成像设备，包括：当通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的视差大于或等于所述预设视差值时，将所述至少一个第一成像设备确定为所述目标成像设备；或，当通过所述至少一个第一成像设备获取到的至少一帧立体图像中的匹配点的差异小于所述预设视差值时，将所述至少一个第二成像设备确定为所述目标成像设备。29.根据权利要求20至28中任一项所述的方法，其特征在于，所述方法还包括：根据所述图像数据确定所述可移动设备的至少一个运动特性。30.一种用于确定可移动设备上用于视觉传感的成像设备的可用性的方法，其特征在于，包括：根据多个用于视觉传感的成像设备获取到的图像数据，确定所述可移动设备的多个第一观测状态；根据惯性测量单元IMU获取到的传感数据，确定所述可移动设备的多个预测状态；根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性。31.根据权利要求30所述的方法，其特征在于，所述多个用于视觉传感的成像设备包括多个第一成像设备和第二成像设备，其中，所述多个第一成像设备安装在所述可移动设备的不同方向上，所述第二成像设备通过载体与所述可移动设备连接。32.根据权利要求31所述的方法，其特征在于，所述第二成像设备能够沿至少一个方向相对于所述可移动设备进行旋转。33.根据权利要求30至32中任一项所述的方法，其特征在于，所述根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性，包括：根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定第一成像设备集合，其中，所述第一成像设备集合中的成像设备可用。34.根据权利要求33所述的方法，其特征在于，所述方法还包括：将根据所述第一成像设备集合中的成像设备获取到的图像数据确定的第一观测状态和目标预测状态进行融合处理，其中，所述目标预测状态为所述多个预测状态中与所述第一成像设备集合中的成像设备获取到的图像数据确定的第一观测状态相对应的预测状态。35.根据权利要求30至32中任一项所述的方法，其特征在于，所述根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性，包括：根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定第二成像设备集合，其中，所述第二成像设备集合中的成像设备不可用。36.根据权利要求35所述的方法，其特征在于，所述方法还包括：丢弃所述第二成像设备集合中的成像设备获取到的图像数据。37.根据权利要求30至36中任一项所述的方法，其特征在于，在根据预测状态与第一观测状态之间的第一偏差和第一预设阈值，确定每个用于视觉传感的成像设备的可用性之前，所述方法还包括：根据全球定位系统GPS获取到的传感数据，确定第二观测状态；确定所述第二观测状态与预测状态之间的第二偏差小于或等于第二预设阈值。38.一种用于确定可移动设备的状态的系统，其特征在于，包括：存储器，用于存储程序；至少一个处理器，通过执行所述存储器中的程序，单独地或共同地用于：获取与所述可移动设备相关联的多个传感器获取的传感数据，其中，所述多个传感器包括第一传感器系统和第二传感器系统，所述第一传感器系统与所述第二传感器系统的数据采样频率不同；在所述第二传感器系统获取到的第二传感数据不可用或未更新的时段内，根据所述第一传感器系统获取到的第一传感数据，确定所述可移动设备的预测状态；当确定所述第二传感器系统获取到的所述第二传感数据可用或更新时，根据所述第二传感数据，确定所述可移动设备的第一观测状态；根据所述第一观测状态与所述预测状态之间的第一偏差，确定是否根据所述第一观测状态更新所述可移动设备的状态，其中，所述第一偏差用于指示所述第二传感数据是否可用。39.根据权利要求38所述的系统，其特征在于，所述第一传感数据包括第一组位置数据和第一组运动数据，所述第二传感数据包括第二组位置数据和第二组运动数据。40.根据权利要求38或39所述的系统，其特征在于，所述第一传感器系统包括惯性测量单元IMU。41.根据权利要求38至40中任一项所述的系统，其特征在于，所述第二传感器系统包括全球定位系统GPS接收器。42.根据权利要求38至40中任一项所述的系统，其特征在于，所述第二传感器系统包括一个或多个视觉传感器。43.根据权利要求38至42中任一项所述的系统，其特征在于，所述处理器还用于：根据所述可移动设备的至少一个先验预测状态，确定所述第一传感数据。44.根据权利要求38至43中任一项所述的系统，其特征在于，所述处理器具体用于：根据所述第一偏差和第一预设阈值，确定是否使用所述第一观测状态更新所述可移动设备的状态。45.根据权利要求44所述的系统，其特征在于，所述处理器具体用于：当确定所述第一偏差小于或等于所述第一预设阈值时，确定根据所述第一观测状态更新所述可移动设备的状态；当确定所述第一偏差大于所述第一预设阈值时，确定不使用所述第一观测状态更新所述可移动设备的状态。46.根据权利要求45所述的系统，其特征在于，所述第一偏差为所述第一观测状态与所述预测状态之间的马氏距离或欧式距离。47.根据权利要求45或46所述的系统，其特征在于，当确定根据所述第一观测状态更新所述可移动设备的状态时，所述处理器还用于：根据所述预测状态和所述第一观测状态更新所述可移动设备的状态。48.根据权利要求45或46所述的系统，其特征在于，所述处理器还用于：当确定不使用所述第一观测状态更新所述可移动设备的状态时，将所述预测状态确定为所述可移动设备的状态。49.根据权利要求44至48中任一项所述的系统，其特征在于，所述处理器还用于：根据下列信息中的至少一种确定所述第一预设阈值：所述可移动设备的运行环境信息、所述可移动设备的运动特征信息、所述可移动设备的位置信息和所述可移动设备的高度信息。50.根据权利要求38或39所述的系统，其特征在于，所述可移动设备还包括第三传感器系统，所述第三传感器系统的数据采样频率与所述第一传感器系统和所述第二传感器系统不同，所述处理器还用于：当确定所述第三传感器系统获取到的第三传感数据可用或更新时，根据所述第三传感数据，确定所述可移动设备的第二观测状态；当确定所述第二传感数据可用或更新时，根据所述第一观测状态与所述第二观测状态之间的第二偏差，确定是否根据所述第二观测状态更新所述可移动设备的状态，其中，所述第二偏差用于指示所述第三传感数据是否可用。51.根据权利要求50所述的系统，其特征在于，所述处理器具体用于：根据所述第二偏差和第二预设阈值，确定是否使用所述第二观测状态更新所述可移动设备的状态。52.根据权利要求51所述的系统，其特征在于，所述处理器具体用于：当确定所述第二偏差值小于或等于所述第二预设阈值时，确定根据所述第二观测状态更新所述可移动设备的状态；当确定所述第二偏差值大于所述第二预设阈值时，确定不使用所述第二观测状态更新所述可移动设备的状态。53.根据权利要求52所述的系统，其特征在于，所述第一传感器系统包括IMU，所述第二传感器系统包括GPS接收器，所述第三传感器系统包括一个或多个视觉传感器。54.根据权利要求52或53所述的系统，其特征在于，当确定根据所述第二观测状态更新所述可移动设备的状态时，所述处理器还用于：根据所述预测状态和所述第二观测状态更新所述可移动设备的状态；或，根据所述预测状态、所述第一观测状态和所述第二观测状态更新所述可移动设备的状态。55.根据权利要求52或53所述的系统，其特征在于，当确定不根据所述第二观测状态更新所述可移动设备的状态时，所述处理器还用于：根据所述预测状态和所述第一观测状态更新所述可移动设备的状态。56.根据权利要求50至55中任一项所述的系统，其特征在于，所述处理器还用于：根据下列信息中的至少一种确定所述第二预设阈值：所述可移动设备的运行环境信息、所述可移动设备的运动特征信息、...
【专利技术属性】
技术研发人员：叶长春，严嘉祺，周游，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。