一种多模态特征融合和分类的方法技术

本发明专利技术公开了一种多模态特征融合和分类的方法，涉及计算机视觉技术领域，首先，采用中心边界平衡投影来平衡特征类空间的中心和边界信息，减轻噪声数据的负面影响，提高特征融合和分类阶段的兼容性。然后，采用两种方案将每个特定于情态的特征投射到一个语义空间中。根据多模态动作语义特征对样本的标签进行赋值。最后，设计出一种多模态特征融合和分类方法，用于深度视频序列中的行为识别。从而提高特征融合和分类的兼容性，同时也大大提搞了识别准确率。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，特别是涉及一种多模态特征融合和分类的方法。

技术介绍

1、深度视频是计算机视觉应用中一个活跃领域，常用于人机交互、安全监视、自动驾驶以及机器人应用等。动作识别的研究可分为基于三原色（red,green,blue,rgb）视频、深度视频、深度骨架以及加速度数据等四类。深度视频易于采集，无需额外的算法或设备，并提供了额外的几何和形状信息，提高了准确性。特征映射是表征人类行为的紧凑有效表示方法，包括空间和时间信息的制造设备互连（manufacturing equipmentintercommunication,mei）、台式机管理接口（desktop management interface，dmi）、数字万用表（digital multimeter,dmm）、模块化软管接口（modular hose interface,mhi）高精度数字万用表（high-precision digital multimeter,hp-dmm）、模块化软管接口系统（modular hose interface system,mhis）等。由于这些特征映本文档来自技高网...

【技术保护点】

1.一种多模态特征融合和分类的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S1中，还对特征类空间的边界和中心信息进行学习：

3.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S2中，设是原始特征矩阵Xp的第ith个样本，其中表示的第jth个特征属性；设表示所有来自pth模态的cth类原始特征的第jth个特征属性集，服从正态分布，且，。

4.根据权利要求3所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤S2中，对于Xp的第cth特征类空间，首先用极大似然...

【技术特征摘要】

1.一种多模态特征融合和分类的方法，其特征在于：包括以下步骤：

2.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤s1中，还对特征类空间的边界和中心信息进行学习：

3.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤s2中，设是原始特征矩阵xp的第ith个样本，其中表示的第jth个特征属性；设表示所有来自pth模态的cth类原始特征的第jth个特征属性集，服从正态分布，且，。

4.根据权利要求3所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤s2中，对于xp的第cth特征类空间，首先用极大似然估计对每个特征属性集进行参数估计，最大似然估计函数形式化如下：

5.根据权利要求1所述的一种多模态特征融合和分类的方法，其特征在于：所述步骤s3中，使用联合损失函数学习样本类空间的边界和中...

【专利技术属性】
技术研发人员：黄倩，谢梦婷，胡鹤轩，狄峰，周晓军，张丽华，
申请(专利权)人：河海大学，
类型：发明
国别省市：