【技术实现步骤摘要】
本专利技术属于计算机领域，尤其涉及一种基于多模态双线性池化的运动模式识别方法、装置及介质。
技术介绍
1、本专利技术是为了解决物理世界中多模态感知和环境理解的问题。当前已经有各种多模态传感器通过模拟人类的感官感知和认知能力，无论是在机器人上部署的视觉、听觉、触觉等传感器，还是可穿戴式传感器均是为了通过多传感器感知环境，然后，通过对传感器数据进行知识挖掘，以此推测和理解场景状态。然而，随着智能手机的快速发展以及广泛应用，智能手机已经成为集多种传感器与一体的“半穿戴式传感器集合体”。由于，人类对场景理解和环境感知具有自主的驱动力，所以，以人类作为多传感器的携带主体，可以助力多模态传感器对物理世界中环境的感知和理解。虽然，已有关于多模态传感器感知能力的研究和专利技术，但是，基于人类多感官感知和理解环境时感官之间是相互协作（这种协作过程称为“联觉”），已有的研究和专利技术均忽略了相互协作的过程，以及模态之间不是单存的拼接组合关系，而是存在复杂的相互增强与去冗的过程。
技术实现思路
1、本专利技术的目的在于针对现有技术的不足，提供一种基于多模态双线性池化的运动模式识别方法、装置及介质，以解决面向场景理解中多模态感知数据间信息互补和增强问题。
2、本专利技术的目的是通过以下技术方案来实现的：一种基于多模态双线性池化的运动模式识别方法，包括：
3、获取用户的多模态传感器数据；
4、从所述多模态传感器数据中提取多个单模态传感器数据特征；
5、将每个所
6、将多模态特征序列输入lstm，得到多模态时序特征序列，然后，通过软注意力机制，将多模态特征序列与多模态时序特征序列进行加权以及信息融合；
7、将融合了时序信息的多模态特征输入多层感知机，预测运动模式。
8、进一步地，所述传感器包括加速度传感器、陀螺仪、磁力计和气压计。
9、进一步地，在提取多个单模态传感器数据特征之前，还需对所述多模态传感器数据进行预处理；所述预处理包括：移除脏数据、去噪、归一化和使用滑动窗口进行分割。
10、进一步地，所述从所述多模态传感器数据中提取多个单模态传感器数据特征具体为：将所述多模态传感器数据输入残差层，通过卷积神经网络提取多个单模态传感器数据特征。
11、进一步地，所述融合操作包括：模态内融合和模态间融合。
12、进一步地，所述模态内融合为：将同一传感器内的不同维度数据特征进行两两融合，将不同组合融合后的特征进行注意力加权融合。
13、所述模态间融合：将经过同一传感器内多维数据融合后的所有特征融合；若单模态传感器数据特征为一维数据特征，则直接与将经过同一传感器内多维数据融合的特征融合。
14、进一步地，所述融合操作具体为：将每个单模态内的不同维度进行两两分组，将分组后每一组中的两维度数据特征使用count sketch投影到低维空间，将count sketch投影变换后的两个向量进行快速傅里叶变换并进行元素乘积，之后进行快速傅里叶逆变换得到3组两两融合后的多模态数据；再将多模态数据通过软性注意力机制为每个两两组合分配权重，其中，每个维度的数据特征均被计算了两次，则每个维度的数据特征的融合权重为其所在的所有两两组合的注意力权重和的平均，即amcbp；然后，将每个维度的数据特征同amcbp得到的权重进行加权融合；最后，将所有模态的融合后的特征通过卷积层后拼接为一个多模态特征序列。
15、本专利技术还提供了一种基于多模态双线性池化的运动模式识别装置，包括：
16、多模态传感数据获取模块，用于获取多模态传感器数据；
17、多模态数据预处理模块：用于对所述多模态传感器数据进行预处理；所述预处理包括移除脏数据、去噪、归一化和使用滑动窗口进行分割；
18、单模态传感器数据特征提取模块，用于从预处理后的多模态传感器数据中提取多个单模态传感器数据特征；
19、多模态特征融合模块，用于将每个所述单模态传感器数据特征进行融合操作并拼接为一个多模态特征序列；
20、多模态时序特征获取模块，用于将多模态特征序列输入lstm，得到多模态时序特征序列，然后，通过软注意力机制，将多模态特征序列与多模态时序特征序列进行加权以及信息融合；
21、运动模式识别模块，用于将融合了时序信息的多模态特征输入多层感知机，预测运动模式。
22、本专利技术还提供了一种基于多模态双线性池化的运动模式识别装置，包括一个或多个处理器，用于实现上述的一种基于多模态双线性池化的运动模式识别方法。
23、本专利技术还提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时，用于实现上述的一种基于多模态双线性池化的运动模式识别方法。
24、本专利技术的有益效果是：本专利技术基于具体应用场景中多模态传感器数据，多模态感知数据是通过应用场景中的多模态传感器感知环境得到的，所以，通过挖掘多模态感知数据中的多模态知识，从而能够对识别运动模式有很好的帮助。本专利技术提出多模态双线性注意力池化对多模态感知数据进行特征融合，通过利用模态间的信息增强、互补性来指导多运动模式识别；解决了多模态特征学习中面向复杂场景理解的信息间可信互补和增强问题。
本文档来自技高网...【技术保护点】
1.一种基于多模态双线性池化的运动模式识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述传感器包括加速度传感器、陀螺仪、磁力计和气压计。
3.根据权利要求1所述的方法，其特征在于，在提取多个单模态传感器数据特征之前，还需对所述多模态传感器数据进行预处理；所述预处理包括：移除脏数据、去噪、归一化和使用滑动窗口进行分割。
4.根据权利要求1所述的方法，其特征在于，所述从所述多模态传感器数据中提取多个单模态传感器数据特征具体为：将所述多模态传感器数据输入残差层，通过卷积神经网络提取多个单模态传感器数据特征。
5.根据权利要求1所述的方法，其特征在于，所述融合操作包括：模态内融合和模态间融合。
6.根据权利要求5所述的方法，其特征在于，所述模态内融合为：将同一传感器内的不同维度数据特征进行两两融合，将不同组合融合后的特征进行注意力加权融合；
7.根据权利要求6所述的方法，其特征在于，所述融合操作具体为：将每个单模态内的不同维度进行两两分组，将分组后每一组中的两维度数据特征使用Count Sk
8.一种基于多模态双线性池化的运动模式识别装置，其特征在于，包括：
9.一种基于多模态双线性池化的运动模式识别装置，其特征在于，包括一个或多个处理器，用于实现权利要求1-7中任一项所述的一种基于多模态双线性池化的运动模式识别方法。
10.一种计算机可读存储介质，其上存储有程序，其特征在于，该程序被处理器执行时，用于实现权利要求1-7中任一项所述的一种基于多模态双线性池化的运动模式识别方法。
...【技术特征摘要】
1.一种基于多模态双线性池化的运动模式识别方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述传感器包括加速度传感器、陀螺仪、磁力计和气压计。
3.根据权利要求1所述的方法，其特征在于，在提取多个单模态传感器数据特征之前，还需对所述多模态传感器数据进行预处理；所述预处理包括：移除脏数据、去噪、归一化和使用滑动窗口进行分割。
4.根据权利要求1所述的方法，其特征在于，所述从所述多模态传感器数据中提取多个单模态传感器数据特征具体为：将所述多模态传感器数据输入残差层，通过卷积神经网络提取多个单模态传感器数据特征。
5.根据权利要求1所述的方法，其特征在于，所述融合操作包括：模态内融合和模态间融合。
6.根据权利要求5所述的方法，其特征在于，所述模态内融合为：将同一传感器内的不同维度数据特征进行两两融合，将不同组合融合后的特征进行注意力加权融合；
7.根据权利要求6所述的方法，其特征在于，所述融合操作具体为：将每个单模态内的不同维度进行两两分组，将分组后...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。