【技术实现步骤摘要】
基于多模态紧致双线性池的图像分类方法及相关设备
[0001]本申请涉及图像深度信息应用
，尤其涉及一种基于多模态紧致双线性池的图像分类方法及相关设备。
技术介绍
[0002]基于图像的目标识别是利用专用的图像处理系统，根据图像的像素分布和亮度、颜色等信息，转变成数字化信号，图像处理系统对这些信号进行各种运算来抽取目标的特征，再根据预设的允许度和其他条件输出结果，实现自动识别功能。
[0003]基于图像的目标识别在社会生活领域有着广泛应用，由于社会应用需求的爆炸性增长，再加上目标识别也是目标跟踪、行为分析等其他高层任务的基础，因此如何充分利用数据信息，提升目标识别准确度，更好的完成后续任务，成为了一个目标识别的重要问题。
技术实现思路
[0004]有鉴于此，本申请的目的在于提出一种基于多模态紧致双线性池的图像分类方法及相关设备。
[0005]基于上述目的，本申请提供了一种基于多模态紧致双线性池的图像分类方法，，包括：
[0006]对获取的图像数据和信号数据进行特征提取，得到特征图像...
【技术保护点】
【技术特征摘要】
1.一种基于多模态紧致双线性池的图像分类方法，其特征在于，包括：对获取的图像数据和信号数据进行特征提取，得到特征图像数据和特征信号数据；将所述特征图像数据和所述特征信号数据在第一信号多模态紧致双线性池中进行融合，得到第一融合特征信号；对所述第一融合特征信号进行注意力权值分配，得到注意力视觉信号；将所述注意力视觉信号和所述特征信号数据在第二信号多模态紧致双线性池中进行融合，得到第二融合特征信号；将所述第二融合特征信号输入到分类器，得到图像分类结果。2.根据权利要求1所述的方法，其特征在于，所述对获取的图像数据和信号数据进行特征提取，得到特征图像数据和特征信号数据，包括：通过深度残差网络对所述图像数据进行特征提取，得到图像特征向量；对所述图像特征向量进行规范化约束，得到所述特征图像数据；通过双层LSTM网络对所述信号数据进行特征提取，得到特征信号数据。3.根据权利要求1所述的方法，其特征在于，所述将所述特征图像数据和所述特征信号数据在第一信号多模态紧致双线性池中进行融合，得到第一融合特征信号，包括：根据如下公式，使用技术草图映射函数分别对所述特征图像数据和所述特征信号数据进行降维操作，得到降维后的特征图像数据和降维后的特征信号数据：Ψ(x,h,s)＝{(Qx)1,
…
,(Qx)
d
}(Qx)
k
＝∑s(t)x
t
其中，Ψ(x,h,s)表示计数草图映射函数；x表示输入的特征数据，特征数据包括特征图像数据和特征信号数据；h表示将数据映射到低维空间的哈希函数；s表示是映射到{1，
‑
1}的哈希函数；(Qx)
k
表示第k个特征数据的特征信号数据；s(t)x
t
表示将x
t
进行随机映射，x
t
表示在t时刻的输入数据；d表示输入的特征数据共有d个；根据如下公式，将所述降维后的特征图像数据和所述降维后的特征信号数据进行模态融合，得到第一融合特征信号：其中，表示第一融合特征数据，表示输出数据维度是d；x
i
表示输入的第i个特征图像数据；x
j
表示输入的第j个特征信号数据，表示输入的第j个特征信号数据，表示输入的第j个特征信号数据，表示输入数据维度是c；h
k
表示第k个独立的哈希函数，表示第k个独立的哈希函数，表示哈希表大小是c,h
k
(i)表示第i个数据经过哈希函数h
k
的映射值,h
k
(i)∈{1,2,
…
,d}；s
k
表示第k个哈希函数,s
k
∈{+1,
‑
1}
c
,s
k
(i)表示第i个数据经过哈希函数s
k
的映射值,s
k
(i)∈{+1,
‑
1}；表示元素乘法；FFT表示快速傅立叶变换；FFT
‑1表示快速傅里叶逆变换。4.根据权利要求1所述的方法，其特征在于，所述对所述第一融合特征信号进行注意力权值分配，得到注意力视觉信号，包括：计算所述第一融合特征数据和所述特征数据的相关性，得到相关性数值：Sim(x,x
i,j
)＝x
·
x
i,j
对所述相关性数值进行归一化处理，得到归一化数值：a
i,j
＝SoftMax(sim(x,x
i,j
))对所述归一化数值求和得到注意力视觉信号：其中，Sim()表示相关性函数，x表示输入的特征图像数据和特征信号数据；表示第一融合特征数据；a
i,j
表示x
i.j
对应归一化数值；A( )表示注意力函数；W表示特征图像数据总数；H表示...
【专利技术属性】
技术研发人员：景晓军，崔原豪，穆俊生，黄海，张荣辉，张芳沛，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。