本发明专利技术涉及汽车智能感知技术领域，特别涉及一种基于视触融合的夜间路面多维立体特征感知方法。方法包括：实时获取车身环视摄像头系统采集的视觉数据和轮胎触觉感知系统采集的触觉数据；当视觉数据无效时，将触觉数据输入至预先训练好的感知模型，以利用感知模型中的伪视觉重构模型和视触觉关联模型，生成该触觉数据对应的伪视觉数据；利用感知模型中的路面重构模型，基于该触觉数据和伪视觉数据组成的视触融合数据对，得到实时的路面感知结果。本方案能够在视觉数据失效(如黑夜、大雾、反光等情况)时仍依靠单触觉数据与训练好的感知模型进行路面重构任务，且仍保持较高的感知准确率。
【技术实现步骤摘要】
本专利技术实施例涉及汽车智能感知，特别涉及一种基于视触融合的夜间路面多维立体特征感知方法。
技术介绍
1、随着汽车的智能化发展，车辆自动驾驶、主动控制等技术日渐成熟，对更全面、更准确可靠的感知系统的需求也每日具增。如今，基于视触觉融合的车辆感知手段开始被广泛研究。
2、然而，在夜间进行路面感知任务时，由于视觉模态数据质量下降，视触觉融合模型的识别精度与鲁棒性也会显著下降，在实车应用时可能会造成严重后果。
3、因此，亟需一种基于视触融合的夜间路面多维立体特征感知方法。
技术实现思路
1、为了解决夜间视觉数据失效时无法实现高精度路面感知的问题，本专利技术实施例提供了一种基于视触融合的夜间路面多维立体特征感知方法。
2、第一方面，本专利技术实施例提供了一种基于视触融合的夜间路面多维立体特征感知方法，应用于车载计算机，方法包括：
3、实时获取车身环视摄像头系统采集的视觉数据和轮胎触觉感知系统采集的触觉数据；
4、当所述视觉数据无效时，将所述触觉数据输入至预先训练好的感知模型，以利用所述感知模型中的伪视觉重构模型和视触觉关联模型，生成该触觉数据对应的伪视觉数据；其中，所述感知模型包括视触觉关联模型、伪视觉重构模型和路面重构模型，所述视触觉关联模型、所述伪视觉重构模型以及所述路面重构模型串联连接；
5、利用所述感知模型中的路面重构模型，基于该触觉数据和所述伪视觉数据组成的视触融合数据对，得到实时的路面感知结果。
>6、第二方面，本专利技术实施例还提供了一种基于视触融合的夜间路面多维立体特征感知装置，设置于车载计算机，装置包括：7、获取单元，用于实时获取车身环视摄像头系统采集的视觉数据和轮胎触觉感知系统采集的触觉数据；
8、重构单元，用于当所述视觉数据无效时，将所述触觉数据输入至预先训练好的感知模型，以利用所述感知模型中的伪视觉重构模型和视触觉关联模型，生成该触觉数据对应的伪视觉数据；其中，所述感知模型包括视触觉关联模型、伪视觉重构模型和路面重构模型，所述视触觉关联模型与所述伪视觉重构模型连接，所述伪视觉重构模型与所述路面重构模型连接；
9、感知单元，用于利用所述感知模型中的路面重构模型，基于该触觉数据和所述伪视觉数据组成的视触融合数据对，得到实时的路面感知结果。
10、第三方面，本专利技术实施例还提供了一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现本说明书任一实施例所述的方法。
11、第四方面，本专利技术实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行本说明书任一实施例所述的方法。
12、本专利技术实施例提供了一种基于视触融合的夜间路面多维立体特征感知方法，当黑暗条件下仅有触觉数据时，伪视觉重构模型能够根据预训练后的视触觉关联模型生成相应的伪视觉数据。该伪视觉特征包含与输入触觉信息匹配的视觉模态特征，能够代替失效的真实视觉数据输入路面重构模型。因此，本方案能够在视觉数据失效(如黑夜、大雾、反光等情况)时仍依靠单触觉数据与训练好的感知模型进行路面重构任务，且仍保持较高的感知准确率。
本文档来自技高网...
【技术保护点】
1.一种基于视触融合的夜间路面多维立体特征感知方法，其特征在于，应用于车载计算机，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述感知模型是通过如下方式训练生成的：
3.根据权利要求2所述的方法，其特征在于，所述第一训练集和所述第二训练集中的视觉样本由所述车身环视摄像头系统中的车身四角的鱼眼摄像头共同采集，所述第一训练集和所述第二训练集中的触觉样本由设置于四轮轮心的第一加速度计、轮胎内壁内嵌的PVDF压电传感器、轮胎内壁内嵌的第二加速度计以及轮胎内壁内嵌的胎压传感器同时采集。
4.根据权利要求3所述的方法，其特征在于，车上还设置有数据采集模块、数据传输模块、数据存储模块以及供电模块；
5.根据权利要求4所述的方法，其特征在于，所述车载计算机是通过如下方式进行剔除离群值处理的：
6.根据权利要求2所述的方法，其特征在于，所述利用所述第二训练集和所述视触觉关联模型，对所述初始伪视觉重构模型和所述初始路面重构模型进行优化训练，得到最终的伪视觉重构模型和路面重构模型，包括：
7.根据权利要求1-5中任一项所述的方法，其特征在于，所述视触觉关联模型为backbone网络，所述伪视觉重构模型为生成式对抗网络，所述路面重构模型基于transformer网络构建。
8.一种基于视触融合的夜间路面多维立体特征感知装置，其特征在于，设置于车载计算机，所述装置包括：
9.一种计算设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器执行所述计算机程序时，实现如权利要求1-7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-7中任一项所述的方法。
...
【技术特征摘要】
1.一种基于视触融合的夜间路面多维立体特征感知方法，其特征在于，应用于车载计算机，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述感知模型是通过如下方式训练生成的：
3.根据权利要求2所述的方法，其特征在于，所述第一训练集和所述第二训练集中的视觉样本由所述车身环视摄像头系统中的车身四角的鱼眼摄像头共同采集，所述第一训练集和所述第二训练集中的触觉样本由设置于四轮轮心的第一加速度计、轮胎内壁内嵌的pvdf压电传感器、轮胎内壁内嵌的第二加速度计以及轮胎内壁内嵌的胎压传感器同时采集。
4.根据权利要求3所述的方法，其特征在于，车上还设置有数据采集模块、数据传输模块、数据存储模块以及供电模块；
5.根据权利要求4所述的方法，其特征在于，所述车载计算机是通过如下方式进行剔除离群值处理的：
6.根据权利要求2所...
【专利技术属性】
技术研发人员：杨世春，李卓阳，曹耀光，陈昱伊，王锐，童泽翔，彭朝霞，闫啸宇，周帆，刘新华，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。