【技术实现步骤摘要】
本专利技术涉及自动驾驶，具体涉及用于corner case样本生成的大语言模型系统及方法。
技术介绍
1、长期以来，人类一直致力实现真正的人工智能（ai），希望人工智能把人类从繁重的工作中解放出来。
2、随着大语言模型技术的逐渐兴起，利用网络上规模庞大的数据进行自监督学习，让nlp领域的各个任务有了更大的突破。大模型在nlp领域获得巨大的成功后，被越来越多的研发人员运用到计算机视觉领域，执行各种视觉任务，诸如目标检测，语义分割，图像检索等。
3、现在的研究发现，当大模型将文本-视觉感知-决策信息等多模态的数据结合起来，强化模型的逻辑推理能力，在自动驾驶等领域可能会产生巨大的影响。经过多模态数据训练的模型可以执行多项自动驾驶相关的任务，包括corner case训练样本的生成，路径规划和决策等，其中corner case指的是在某种情况下造成自动驾驶系统发生异常的案例，由于corner case训练数据的采集困难，因此需要通过gan网络或者扩散模型对样本进行生成。
4、自动驾驶
中有很多任务，比如...
【技术保护点】
1.用于corner case样本生成的大语言模型系统，其特征在于，包括：
2.根据权利要求1所述的用于corner case样本生成的大语言模型系统，其特征在于：所述感知器包括主动感知器、被动感知器，所述主动感知器用于感知系统的运行状态信息，所述被动感知器包括文本输入处理模块、图像信息处理模块、多模态信息融合处理模块；所述文本输入处理模块用于对输入的文本信息进行预处理以得到文本特征，所述图像信息处理模块用于提取图像信息的特征以得到图像特征，所述多模态信息融合处理模块采用注意力机制对文本特征和图像特征进行加权融合，形成多模态的融合特征。
3.根...
【技术特征摘要】
1.用于corner case样本生成的大语言模型系统，其特征在于，包括：
2.根据权利要求1所述的用于corner case样本生成的大语言模型系统，其特征在于：所述感知器包括主动感知器、被动感知器，所述主动感知器用于感知系统的运行状态信息，所述被动感知器包括文本输入处理模块、图像信息处理模块、多模态信息融合处理模块；所述文本输入处理模块用于对输入的文本信息进行预处理以得到文本特征，所述图像信息处理模块用于提取图像信息的特征以得到图像特征，所述多模态信息融合处理模块采用注意力机制对文本特征和图像特征进行加权融合，形成多模态的融合特征。
3.根据权利要求2所述的用于corner case样本生成的大语言模型系统，其特征在于：所述文本输入处理模块采用transformer构成，对输入文本的预处理操作包括追加提示词、文本纠错、无用字符的剔除和文本的向量化。
【专利技术属性】
技术研发人员：冯偲，李红雁，薛寒，项榆皓，
申请(专利权)人：宁算南京科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。