【技术实现步骤摘要】
一种面向自动驾驶的跨模态行人检索方法
[0001]本专利技术属于计算机视觉、模式识别、自动驾驶、人工智能领域，具体涉及一种面向自动驾驶的跨模态行人检索方法。
技术介绍
[0002]环境感知是实现智能驾驶的第一环节，能够解决自动驾驶中“我在哪”、“我去哪”的核心问题。摄像头是环境感知重要的传感器，能对物体几何特征、表面纹理等信息进行识别，通过算法实现对障碍物的探测，技术成熟、造价较低，最远可超过500米。自动驾驶中的图像感知信息受到广泛关注。同时，行人是道路上最重要的分析对象之一。
[0003]近年来，行人检索因其在自动驾驶、智能监控中的重要作用，得到了学术界和工业界的广泛关注。它主要研究在不同摄像机下搜索相同行人的方法。然而普通的行人检索模型无法应用于24小时全天候监测，为了克服这种限制，跨模态行人检索技术应运而生。跨模态行人检索不仅面临普通行人检索的挑战，还需要面对模态差异的巨大挑战。
[0004]近期，很多跨模态行人检索方法提出通过学习两个模态图像的特征表达以及利用度量函数减小两个模态特征的距离进而克服模...
【技术保护点】
【技术特征摘要】
1.一种面向自动驾驶的跨模态行人检索方法，其特征在于，所述方法包括以下步骤：步骤S1，利用预训练深度学习模型构建局部特征提取模块，将可见光模态训练行人图像和红外模态训练行人图像输入所述局部特征提取模块，每张训练行人图像得到P个局部特征；步骤S2，根据可见光模态训练行人图像和红外模态训练行人图像的局部特征之间的差异，获取与每个区域对应的局部成对图注意力网络；步骤S3，根据相同身份相同区域的可见光模态训练行人图像和红外模态训练行人图像的局部特征，计算得到另一模态训练行人图像相应身份和区域的异构中心，根据局部特征及其对应的异构中心构建得到总对比损失函数；步骤S4，构建总损失函数，并利用所述总损失函数，对跨模态行人检索模型参数进行更新，得到最优跨模态行人检索模型，其中，所述跨模态行人检索模型包括局部特征提取模块、局部成对图注意力网络以及分类全连接层；步骤S5，在测试阶段，利用所述最优跨模态行人检索模型提取得到待查询模态行人图像多个区域的局部特征，将所述多个区域的局部特征串联起来，作为所述待查询模态行人图像的查询特征，基于所述查询特征在跨模态行人库图像中进行检索，得到跨模态行人检索结果。2.根据权利要求1所述的方法，其特征在于，所述步骤S1包括以下步骤：步骤S11，分别构建两个预训练深度学习模型，并对其进行参数初始化，得到所述局部特征提取模块；步骤S12，对训练集中的可见光模态训练行人图像以及红外模态训练行人图像进行预处理；步骤S13，将预处理后得到的可见光模态训练行人图像和红外模态训练行人图像分别输入所述局部特征提取模块中，得到与所述可见光模态训练行人图像和红外模态训练行人图像分别对应的特征图；步骤S14，基于得到的特征图执行平均池化，分别得到所述可见光模态训练行人图像和红外模态训练行人图像的P个局部特征。3.根据权利要求1所述的方法，其特征在于，所述步骤S2包括以下步骤：步骤S21，将第i张可见光模态训练行人图像和第j张红外模态训练行人图像第p个区域的局部特征做差，得到不同模态同一区域的局部特征差异并将所述局部特征差异作为第p个区域的局部成对图注意力网络中的第j个节点，其中，局部成对图注意力网络的数量为P；步骤S22，计算每个局部成对图注意力网络中各个节点之间的距离，构建基于距离的可变系数，其中，节点间距离越小，相应的可变系数就越大，从而增强了节点间的相关性；步骤S23，将所述每个局部成对图注意力网络中的节点成对的串联在一起，利用可学习参数向量，结合所述可变系数，计算得到每个局部成对图注意力网络中节点之间的语义图注意力系数；步骤S24，利用每个局部成对图注意力网络中节点之间的语义图注意力系数对相应的节点进行更新，以学习节点间的相关性以及不同模态之间...
【专利技术属性】
技术研发人员：张重，董清，刘爽，夏鹏，魏所库，马瑞，
申请(专利权)人：天津海豚智行科技有限公司天津圣纳科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。