【技术实现步骤摘要】
本专利技术涉及计算机视觉，特别是涉及一种多模态特征融合和分类的方法。
技术介绍
1、深度视频是计算机视觉应用中一个活跃领域，常用于人机交互、安全监视、自动驾驶以及机器人应用等。动作识别的研究可分为基于三原色（red,green,blue,rgb）视频、深度视频、深度骨架以及加速度数据等四类。深度视频易于采集，无需额外的算法或设备，并提供了额外的几何和形状信息，提高了准确性。特征映射是表征人类行为的紧凑有效表示方法，包括空间和时间信息的制造设备互连（manufacturing equipmentintercommunication,mei）、台式机管理接口（desktop management interface，dmi）、数字万用表（digital multimeter,dmm）、模块化软管接口（modular hose interface,mhi）高精度数字万用表（high-precision digital multimeter,hp-dmm）、模块化软管接口系统（modular hose interface system,mhis）等。由于这些特征映射并未充分利用深度视频序列关键的时空信息，研究者通常只采用单一特征映射，难以捕捉到足够的时空纹理信息。
技术实现思路
1、为了解决以上技术问题，本专利技术提供一种多模态特征融合和分类的方法，包括以下步骤：
2、s1、将来自不同模态的原始特征映射到公共语义特征空间中；设表示n个多模型训练样本，每个训练样本包含m个来自不同
3、s2、计算每个特征类空间的高置信中心；
4、s3、使用联合损失函数学习样本类空间的边界和中心信息；
5、s4、多模态局部特征选择，通过分析各模态的语义特征，融合多模态信息进行分类；
6、s5、多模态全局特征选择，通过选择最优的交叉特征组合来融合多模态信息；
7、s6、采用基于半二次最小化的迭代算法计算投影矩阵；
8、s7、在获得投影矩阵后，将测试样本的原始特征矩阵投影到动作语义空间中，得到它们的语义特征矩阵；
9、s8、最终输出测试样本的预测标签。
10、本专利技术进一步限定的技术方案是：
11、进一步的，步骤s1中，还对特征类空间的边界和中心信息进行学习：
12、
13、其中，up是投影矩阵，ep是对应于xp的高置信度中心矩阵。
14、前所述的一种多模态特征融合和分类的方法，步骤s2中，设是原始特征矩阵xp的第ith个样本，其中表示的第jth个特征属性；设表示所有来自pth模态的cth类原始特征的第jth个特征属性集，服从正态分布，且，。
15、前所述的一种多模态特征融合和分类的方法，步骤s2中，对于xp的第cth特征类空间，首先用极大似然估计对每个特征属性集进行参数估计，最大似然估计函数形式化如下：
16、
17、其中，si是的样本，n是样本数；和分别为均值和方差的统计值；
18、通过取最大似然估计函数公式中偏导数得到均值和方差的估计：
19、
20、其中，和是的均值和方差的估计量；
21、将特征属性集按和进一步划分为三个区间，两个边缘区间和是噪声特征属性概率出现的低置信区间，中间区间是一个高置信区间；
22、接着计算每个特征属性集的高置信区间的新均值，形成第cth个特征类空间的高置信中心；通过在xp中使用每个特征类空间的高置信中心替换原始特征数据的方式生成高置信中心矩阵ep。
23、前所述的一种多模态特征融合和分类的方法，步骤s3中，使用联合损失函数学习样本类空间的边界和中心信息，如下式所示：
24、
25、其中，λ是一个调整参数，用于平衡特征类空间中边界和中心信息的学习；λ的灵敏度用于反映训练样本的噪声水平，λ值的灵敏度越高，训练样本的噪声水平越高。
26、前所述的一种多模态特征融合和分类的方法，步骤s4中，将多模态局部特征选择问题表述为一个最小化问题：
27、
28、其中，是调整投影矩阵稀疏性的正则化参数；δ是一个利用范数惩罚来降低过拟合风险的正则化项；经过范数惩罚的投影矩阵是稀疏的，具有嵌入选择特征的能力。
29、前所述的一种多模态特征融合和分类的方法，步骤s5中，将多模态全局特征选择问题表述为一个最小化问题：
30、
31、其中，x是连接所有模态的原始特征矩阵的多模态特征矩阵；e和u分别是高置信中心矩阵和对应于x的投影矩阵；和分别是弗罗贝尼乌斯范数和范数。
32、前所述的一种多模态特征融合和分类的方法，步骤s4中，对于微分，将多模态局部特征选择问题重新表述为：
33、
34、其中，rp是通过对up的辅助向量rp进行对角化得到的；rp中的第ith元素通过以下式计算：
35、
36、其中，是up中的第ith行向量，ε是一个用于防止分母变为零的常量；
37、将用于表述多模态局部特征选择问题的公式的损失函数对进行微分，并将其设置为零，如下所示：
38、
39、将公式改写为：
40、。
41、前所述的一种多模态特征融合和分类的方法，步骤s6中，采用基于半二次最小化的迭代算法计算投影矩阵，如下式所示：
42、。
43、前所述的一种多模态特征融合和分类的方法，步骤s7中，在获得投影矩阵后，将测试样本的原始特征矩阵投影到动作语义空间中，得到它们的语义特征矩阵：
44、
45、其中，，为测试样本数为测试样本数；
46、
47、其中，是测试来自第pth模态的样本的第ith语义特征，而表示属于第jth类的概率；
48、设表示由来自不同模态的m个原始特征组成的ith测试样本，即；经过多模态投影后，分别产生的m个语义特征；
49、测试样本的类标签计算如下：
50、
51、其中，ap是每个模态语义特征的权重；设置，即表示每个模态样本对标签预测的影响是相同的。
52、本专利技术的有益效果是：
53、（1）本专利技术中，采用中心边界平衡投影方法提高了特征融合和分类的兼容性；针对多模态数据信息冗余和孤立的问题，提出了两种特征选择和融合方案，并进行了测试；
54、（2）本专利技术中，使用不同的数据模态（深度视频数据、rgb视频数据、骨架数据和加速度数据）在msr action 3d、本文档来自技高网...
【技术保护点】
1.一种多模态特征融合和分类的方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S1中，还对特征类空间的边界和中心信息进行学习：
3.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S2中，设是原始特征矩阵Xp的第ith个样本，其中表示的第jth个特征属性；设表示所有来自pth模态的cth类原始特征的第jth个特征属性集，服从正态分布，且，。
4.根据权利要求3所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S2中，对于Xp的第cth特征类空间，首先用极大似然估计对每个特征属性集进行参数估计，最大似然估计函数形式化如下：
5.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S3中，使用联合损失函数学习样本类空间的边界和中心信息，如下式所示：
6.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S4中，将多模态局部特征选择问题表述为一个最小化问题：
7.根据权利要求1所述
8.根据权利要求6所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S4中，对于微分，将多模态局部特征选择问题重新表述为：
9.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S6中，采用基于半二次最小化的迭代算法计算投影矩阵，如下式所示：
10.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S7中，在获得投影矩阵后，将测试样本的原始特征矩阵投影到动作语义空间中，得到它们的语义特征矩阵：
...【技术特征摘要】
1.一种多模态特征融合和分类的方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤s1中，还对特征类空间的边界和中心信息进行学习：
3.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤s2中，设是原始特征矩阵xp的第ith个样本，其中表示的第jth个特征属性；设表示所有来自pth模态的cth类原始特征的第jth个特征属性集，服从正态分布，且，。
4.根据权利要求3所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤s2中，对于xp的第cth特征类空间，首先用极大似然估计对每个特征属性集进行参数估计，最大似然估计函数形式化如下：
5.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤s3中，使用联合损失函数学习样本类空间的边界和中...
【专利技术属性】
技术研发人员：黄倩，谢梦婷，胡鹤轩，狄峰，周晓军，张丽华，
申请(专利权)人：河海大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。