【技术实现步骤摘要】
智能座舱环境下的语义分割方法及相关设备
[0001]本申请涉及智能座舱
,更具体地,涉及一种智能座舱环境下的语义分割方法及相关设备。
技术介绍
[0002]智能座舱旨在集成多种IT和人工智能技术,打造全新的车内一体化数字平台,为驾驶员提供智能体验,促进行车安全。图像语义分割是人工智能和计算机视觉领域的基本任务之一,其目的是根据图像内容识别出图像中每一个像素点的语义类别。
[0003]智能座舱环境的语义分割对于司乘人员的状态理解,司机驾驶安全等方面至关重要。在当前的智能座舱环境语义分割中,大部分技术采用RGB图像语义分割技术,通过采集智能座舱环境的RGB图像信息,然后预先对图像中的不同实体进行手动分割标注,最后通过视觉算法对智能座舱环境图像进行分割,以实现的智能座舱的语义理解。然而,由于不同时间段或不同环境下座舱内的光线有很大的差别,座舱内光线不足时,RGB图像的可辨识度较低,这种情况下的语义分割准确度会下降。
[0004]因此,如何提高智能座舱环境下语义分割的准确度,是目前有待解决的技术问题。
【技术保护点】
【技术特征摘要】
1.一种智能座舱环境下的语义分割方法,其特征在于,所述方法包括:获取智能座舱环境中预设目标区域的RGB图像和深度图像;基于预设编码器对所述RGB图像和所述深度图像进行特征提取,获取多个融合特征;基于预设解码器对各所述融合特征进行解码,得到语义分割结果;其中,所述预设编码器包括N级融合模块、符合预设下采样结构的N级第一下采样层和N级第二下采样层,各级第一下采样层用于对所述RGB图像或上一级RGB融合特征进行特征提取并输出本级RGB特征,各级第二下采样层用于对所述深度图像或上一级深度融合特征进行特征提取并输出本级深度特征,各级融合模块用于,将本级RGB特征和本级深度特征进行特征融合,并将得到的本级RGB融合特征和本级深度融合特征分别输出到下一级第一下采样层和下一级第二下采样层,以及将得到的本级融合特征输出到所述预设解码器,或,仅将本级融合特征输出到所述预设解码器,N为大于1的整数。2.如权利要求1所述的方法,其特征在于,所述预设解码器包括N级与所述预设下采样结构对应的上采样层,各级上采样层的输入为最后一级融合特征或上一级拼接特征,最后一级上采样层的输出为所述语义分割结果,其中,所述上一级拼接特征由上一级上采样层的输出和目标融合特征拼接生成,所述目标融合特征为各级融合特征中与上一级上采样层的上采样倍数对应的融合特征。3.如权利要求1所述的方法,其特征在于,各级融合模块将本级RGB特征和本级深度特征进行特征融合,包括:将本级RGB特征分别进行平均池化处理和最大池化处理,获取第一RGB特征和第二RGB特征;将本级深度特征分别进行平均池化处理和最大池化处理,获取第一深度特征和第二深度特征;将所述第一RGB特征、所述第二RGB特征、所述第一深度特征和所述第二深度特征进行拼接,并通过MLP操作获取全局特征;根据所述全局特征、本级RGB特征和本级深度特征生成本级RGB融合特征和本级深度融合特征;将本级RGB融合特征和本级深度融合特征输入预设自注意力模块进行特征融合,生成本级融合特征。4.如权利要求3所述的方法,其特征在于,所述根据所述全局特征、本级RGB特征和本级深度特征生成本级RGB融合特征和本级深度融合特征,包括:将所述全局特征与本级RGB特征相乘,并将相乘结果与本级RGB特征相加,生成本级RGB融合特征;将所述全局特征与本级深度特征相乘,并将相乘结果与本级深度特征相加,生成本级深度融合特征。5.如权利要求3所述的方法,其特征在于,所述将本级RGB融合特征和本级深度融合特征输入预设自注意力模块进行特征融合,生成本级融合特征,包括:基于Channel Embedding操作将本级RGB融合特征由大小转换为大小,并通过线性层生成大小为的第一Q向量、以及与第一Q向量对应的第一K向量和第一V向
量;基于Channel Embedding操作将本级深度融合特征由大小转换为大小,并通过线性层生成大小为的第二Q向量、以及与第二Q向量对应的第二K向量和第二V向量;根据所述第一Q向量、所述第一K向量、所述第一V向量、所述第二Q向量、所述第二K向量和所述第二V向量确定RGB注意力结果和深度注意力结果;将所述RGB注意力结果和深度注意力结果进行拼接并进行MLP操作,生...
【专利技术属性】
技术研发人员:胡敏,宁欣,唐小江,李爽,周嵘,候旭晴,李冬冬,
申请(专利权)人:北京中科睿途科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。