车辆落水检测方法、车辆、计算机可读存储介质及芯片技术

本公开涉及自动驾驶领域，具体涉及一种车辆落水检测方法、车辆、计算机可读存储介质及芯片，包括获取惯性测量单元IMU输出的传感器检测信息和相机捕获到的多帧图像，根据传感器检测信息、相机的内部参数和多帧图像的特征点确定车辆位姿，根据车辆位姿确定车辆与水面的距离，在车辆与水面的距离小于预定阈值的情况下，确定车辆即将落水；能够在车辆落水前预判车辆落水并发出车辆即将落水信号，提升了车辆的安全性，减少安装液位传感器及其维护，降低了车辆成本。了车辆成本。了车辆成本。

【技术实现步骤摘要】
车辆落水检测方法、车辆、计算机可读存储介质及芯片


[0001]本公开涉及自动驾驶，尤其涉及一种车辆落水检测方法、车辆、计算机可读存储介质及芯片。

技术介绍

[0002]自动驾驶技术日新月异，自动驾驶车辆也开始普及，驾乘人员在使用自动驾驶车辆时，存在落水危险，目前落水检测主要为液位检测或液位检测融合惯性测量单元。需要等落水后才能检测到，具有一定的滞后性，无法保障驾乘人员的安全。

技术实现思路

[0003]为克服相关技术中存在的问题，本公开提供一种车辆落水检测方法、车辆、计算机可读存储介质及芯片。
[0004]根据本公开实施例的第一方面，提供一种车辆落水检测方法，包括获取惯性测量单元IMU输出的传感器检测信息和相机捕获到的多帧图像；根据所述传感器检测信息、所述相机的内部参数和所述多帧图像的特征点确定车辆位姿；根据所述车辆位姿确定车辆与水面的距离；在所述距离小于预定阈值的情况下，确定所述车辆即将落水。
[0005]可选地，所述传感器检测信息包括方向加速度和角加速度；所述根据所述传感器检测信息、所述相机的内部参数和所述多帧图像的特征点确定车辆位姿的步骤包括：根据所述相机的内部参数和所述多帧图像的特征点确定初始车辆位姿；将所述传感器检测信息与所述初始车辆位姿融合，以矫正所述初始车辆位姿，得到矫正后的车辆位姿；通过无损卡尔曼滤波器将所述矫正后的车辆位姿与所述传感器检测信息进行融合滤波，以得到所述车辆位姿。
[0006]可选地，所述根据所述相机的内部参数和所述多帧图像的特征点确定初始车辆位姿的步骤包括：提取所述多帧图像中的关键帧；所述关键帧为所述多帧图像中能代表车辆位姿的图像帧；基于所述相机的内部参数，通过数学转换方式对所述关键帧的特征点进行深度恢复，得到所述车辆在三维空间的位置，作为所述初始车辆位姿。
[0007]可选地，所述根据所述车辆位姿确定车辆与水面的距离的步骤包括：在所述车辆位姿满足所述车辆坠落条件的情况下，触发所述相机对所述多帧图像进行语义分割，以区分所述多帧图像中每一帧的水面区域及非水面区域，及提高所述惯性检测量单元的检测帧率和所述相机的检测帧率；在任一帧图像中的所述水面区域大于指定阈值的情况下，输出车辆与水面的距离。
[0008]可选地，根据所述车辆位姿确定车辆是否满足车辆坠落条件；所述车辆位姿包括所述车辆的姿态角、径向加速度和角加速度；或通过车辆坠落网络确定所述车辆是否满足所述车辆坠落条件。
[0009]可选地，所述通过车辆坠落网络确定所述车辆是否满足所述车辆坠落条件的步骤包括：采集车辆坠落场景的第一IMU时序信号和非坠落场景的第二IMU时序信号；根据第一
IMU时序信号和第二IMU时序信号训练得到所述车辆坠落网络；获取车辆运行过程中的IMU时序信号，通过所述车辆坠落网络识别所述IMU时序信号，以确定车辆是否满足所述车辆坠落条件。
[0010]可选地，在所述距离小于预定阈值的情况下，开启车辆落水监测模式及执行车辆落水保护程序；所述车辆落水监测模式包括实时检测车辆的超声波传感器、毫米波传感器和所述IMU的数据；所述车辆落水保护程序包括车窗的紧急预开启和/或发出求救信号。
[0011]根据本公开实施例的第二方面，提供一种车辆落水检测装置，包括：获取模块，被配置为获取惯性测量单元IMU输出的传感器检测信息和相机捕获到的多帧图像；第一处理模块，被配置为根据所述传感器检测信息、所述相机的内部参数和所述多帧图像的特征点确定车辆位姿；第二处理模块，被配置为根据所述车辆位姿确定车辆与水面的距离；第三处理模块，被配置为在所述距离小于预定阈值的情况下，确定所述车辆即将落水。
[0012]根据本公开实施例的第三方面，提供一种车辆，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行所述可执行指令实现上述的车辆落水检测方法的步骤。
[0013]根据本公开实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机程序指令，该计算机程序指令被处理器执行时实现本公开第一方面所提供的车辆落水检测方法的步骤。
[0014]根据本公开实施例的第五方面，提供一种芯片，包括：处理器和接口；所述处理器用于读取指令以执行前述的车辆落水检测方法。
[0015]本公开的实施例提供的技术方案可以包括以下有益效果：获取惯性测量单元IMU输出的传感器检测信息和相机捕获到的多帧图像，根据传感器检测信息、相机的内部参数和多帧图像的特征点确定车辆位姿，根据车辆位姿确定车辆与水面的距离，在车辆与水面的距离小于预定阈值的情况下，确定车辆即将落水；能够在车辆落水前预判车辆落水并发出车辆即将落水信号，提升了车辆的安全性，减少安装液位传感器及其维护，降低了车辆成本。
[0016]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
[0017]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
[0018]图1是根据一示例性实施例示出的一种车辆落水检测方法的流程图。
[0019]图2是根据一示例性实施例示出的子步骤S12的流程图。
[0020]图3是根据一示例性实施例示出的一种车辆落水检测装置框图。
[0021]图4是根据一示例性实施例示出的一种车辆的功能框图示意图。
具体实施方式
[0022]这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例
中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0023]需要说明的是，本申请中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
[0024]可以理解的是，本公开中“多个”是指两个或两个以上，其它量词与之类似。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。
[0025]进一步可以理解的是，术语“第一”、“第二”等用于描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开，并不表示特定的顺序或者重要程度。实际上，“第一”、“第二”等表述完全可以互换使用。例如，在不脱离本公开范围的情况下，第一IMU时序信号也可以被称为第二IMU时序信号，类似地，第二IMU时序信号也可以被称为第一IMU时序信号。
[0026]进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车辆落水检测方法，其特征在于，包括：获取惯性测量单元IMU输出的传感器检测信息和相机捕获到的多帧图像；根据所述传感器检测信息、所述相机的内部参数和所述多帧图像的特征点确定车辆位姿；根据所述车辆位姿确定车辆与水面的距离；在所述距离小于预定阈值的情况下，确定所述车辆即将落水。2.根据权利要求1所述的方法，其特征在于，所述传感器检测信息包括方向加速度和角加速度；所述根据所述传感器检测信息、所述相机的内部参数和所述多帧图像的特征点确定车辆位姿的步骤包括：根据所述相机的内部参数和所述多帧图像的特征点确定初始车辆位姿；将所述传感器检测信息与所述初始车辆位姿融合，以矫正所述初始车辆位姿，得到矫正后的车辆位姿；通过无损卡尔曼滤波器将所述矫正后的车辆位姿与所述传感器检测信息进行融合滤波，以得到所述车辆位姿。3.根据权利要求2所述的方法，其特征在于，所述根据所述相机的内部参数和所述多帧图像的特征点确定初始车辆位姿的步骤包括：提取所述多帧图像中的关键帧；所述关键帧为所述多帧图像中能代表车辆位姿的图像帧；基于所述相机的内部参数，通过数学转换方式对所述关键帧的特征点进行深度恢复，得到所述车辆在三维空间的位置，作为所述初始车辆位姿。4.根据权利要求1所述的方法，其特征在于，所述根据所述车辆位姿确定车辆与水面的距离的步骤包括：在所述车辆位姿满足所述车辆坠落条件的情况下，触发所述相机对所述多帧图像进行语义分割，以区分所述多帧图像中每一帧的水面区域及非水面区域，及提高所述惯性检测量单元的检测帧率和所述相机的检测帧率；在任一帧图像中的所述水面区域大于指定阈值的情况下，输出车辆与水面的距离。5.根据权利要求4所述的方法，其特征在于，还包括：根据所述车辆位姿确定车辆是否满足车辆坠落条件；所述车辆位姿包括所述车辆的姿态...

【专利技术属性】
技术研发人员：但强飞，
申请(专利权)人：小米汽车科技有限公司，
类型：发明
国别省市：