【技术实现步骤摘要】
本专利技术属于深度学习目标检测、自动驾驶技术和图像语义分割，具体涉及一种利用大型视觉模型vit实现非结构化场景下可通行区域检测的方法及装置。该方法通过仅对rgb数据进行处理，实现实时非结构化场景下可通行区域的检测，适用于自动驾驶系统中的道路规划辅助功能。
技术介绍
1、近年来，自动驾驶吸引了越来越多的关注和研究。可通行区域检测在自动驾驶中扮演着基础性的角色，对于车辆规划和控制的可导航区域至关重要。大多数研究主要集中在城市道路场景上，这些场景有车道和交通标志等明确特征为特点。相比之下，对非结构化场景的研究较少受到关注。这些无路场景呈现出更高程度的复杂性和多样性，可通行区域的界限不那么明显。车辆需要穿越各种地形，包括草原、沙地、冰面、雪地和泥泞地带，无路场景中可通行区域的边界是模糊的。
2、为了应对上述困难，以前的技术主要依赖于rgb图像与深度信息，例如激光雷达lidar数据的多模态融合。rgb图像更多地关注表面颜色、纹理和其他视觉信息，而lidar数据则更多地关注距离、深度和位置。多模态融合可以帮助这两种模态相互补充，以实现更...
【技术保护点】
1.一种基于视觉大模型的非结构化场景下通行区域检测方法，其特征在于，包括：
2.如权利要求1所述的基于视觉大模型的非结构化场景下通行区域检测方法，其特征在于，该通行区域检测模型的图像编码器为预训练的ViT-S模型；在训练该通行区域检测模型时，仅采用有监督训练方式训练该图像解码器。
3.如权利要求1或2所述的基于视觉大模型的非结构化场景下通行区域检测方法，其特征在于，该编码步骤具体包括：
4.如权利要求1所述的基于视觉大模型的非结构化场景下通行区域检测方法，其特征在于，该解码步骤具体包括：
5.一种基于视觉大模型的非结构化...
【技术特征摘要】
1.一种基于视觉大模型的非结构化场景下通行区域检测方法，其特征在于，包括：
2.如权利要求1所述的基于视觉大模型的非结构化场景下通行区域检测方法，其特征在于，该通行区域检测模型的图像编码器为预训练的vit-s模型；在训练该通行区域检测模型时，仅采用有监督训练方式训练该图像解码器。
3.如权利要求1或2所述的基于视觉大模型的非结构化场景下通行区域检测方法，其特征在于，该编码步骤具体包括：
4.如权利要求1所述的基于视觉大模型的非结构化场景下通行区域检测方法，其特征在于，该解码步骤具体包括：
5.一种基于视觉大模型的非结构化场景下通行区域检测装置，其特征在于，包括：
6.如权利要求5所述的基于视觉大模型的非结构化场景下通行区域检测装置，其特征在于，该通行区域检测模型的图像编码器为...
【专利技术属性】
技术研发人员：梅继林，孙同，胡瑜，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。