特征融合方法、装置、设备、存储介质以及程序产品制造方法及图纸

本公开提供了一种特征融合方法、装置、设备、存储介质以及程序产品，涉及人工智能领域，具体为计算机视觉和深度学习技术，可应用于智能地图场景下。该方法的一具体实施方式包括：获取图像的输入矩阵和输入向量；将输入矩阵输入至特征融合网络的第一分支，得到输入矩阵的特征向量；将输入向量输入至特征融合网络的第二分支，得到输出向量的特征向量；将输入矩阵的特征向量与输入向量的特征向量拼接，得到图像的融合特征向量。该实施方式通过增加网络分支，实现了不同空间维度的多输入的特征融合。

【技术实现步骤摘要】
特征融合方法、装置、设备、存储介质以及程序产品
本公开涉及人工智能领域，具体为计算机视觉和深度学习技术，可应用于智能地图场景下。
技术介绍
在深度学习领域中，对于存在不同输入的情况，将不同输入有效进行特征融合，才能很好地实现后续任务的功能。以视觉多模块分类任务为例，会使用如目标检测、语义分割等技术提取图像或视频的特定特征矩阵，结合一些先验信息向量，通过这两个输入进行最终分类。然而，现有的分类任务大部分只能接受一个输入。即使像孪生网络这种可接受两个输入的分类网络也要求输入是相同维度。对于输入为两个不同空间维度的分类任务，现有深度学习技术会直接在分类网络的全连接层将输入向量和输入矩阵的特征进行拼接。
技术实现思路
本公开实施例提出了一种特征融合方法、装置、设备、存储介质以及程序产品。第一方面，本公开实施例提出了一种特征融合方法，包括：获取图像的输入矩阵和输入向量；将输入矩阵输入至特征融合网络的第一分支，得到输入矩阵的特征向量；将输入向量输入至特征融合网络的第二分支，得到输出向量的特征向量；将输入矩阵的特征向量与输本文档来自技高网...

【技术保护点】
1.一种特征融合方法，包括：/n获取图像的输入矩阵和输入向量；/n将所述输入矩阵输入至特征融合网络的第一分支，得到所述输入矩阵的特征向量；/n将所述输入向量输入至所述特征融合网络的第二分支，得到所述输出向量的特征向量；/n将所述输入矩阵的特征向量与所述输入向量的特征向量拼接，得到所述图像的融合特征向量。/n

【技术特征摘要】
1.一种特征融合方法，包括：
获取图像的输入矩阵和输入向量；
将所述输入矩阵输入至特征融合网络的第一分支，得到所述输入矩阵的特征向量；
将所述输入向量输入至所述特征融合网络的第二分支，得到所述输出向量的特征向量；
将所述输入矩阵的特征向量与所述输入向量的特征向量拼接，得到所述图像的融合特征向量。


2.根据权利要求1所述的方法，其中，所述特征融合网络还包括全连接层；以及
所述方法还包括：
将所述融合特征向量输入至所述全连接层进行分类，得到所述图像中的目标的类别。


3.根据权利要求2所述的方法，其中，所述第一分支与所述全连接层组成残差网络，所述第二分支是浅层卷积神经网络。


4.根据权利要求1所述的方法，其中，所述第一分支与所述第二分支的最后一层用于将分支的输出转换为向量，包括以下至少一种：全局平均池化层、全连接层、1*1卷积层。


5.根据权利要求1-4之一所述的方法，其中，所述输入矩阵是所述图像的图像矩阵或中间特征矩阵，所述输入向量是先验信息向量或图像的中间特征向量。


6.一种特征融合装置，包括：
获取模块，被配置成获取图像的输入矩阵和输入向量；
第一提取模块，被配置成将所述输入矩阵输入至特征融合网络的第一分支，得到所述输入矩阵的特征向量；
第二提取模块，被配置成将所述输入向量输入至所述特征融合网络的第二分支，得到所述输出向量的特征向量；
拼接模块，被配置成将所...

【专利技术属性】
技术研发人员：张为明，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11