【技术实现步骤摘要】
本专利技术涉及一种步态情绪联合识别方法，特别是一种基于异空间神经架构搜索的步态情绪联合识别方法。
技术介绍
1、本部分提供的仅仅是与本公开相关的背景信息,其并不必然是现有技术。
2、步态情绪识别是一项基于计算机视觉和机器学习技术的研究领域，旨在通过分析个体的步行方式来推断其情绪状态。研究表明，情绪状态可以影响人的生物特征，如姿势、步幅、步行速度和姿态变化。这为步态情绪识别提供了理论基础，因为情绪状态可能在步行中体现出独特的特征。随着人工智能领域的不断进步，深度学习相关技术，如卷积神经网络(cnn)和循环神经网络(rnn)，已被广泛用于步态情绪识别。这些深度学习方法可以自动提取和学习特征，提高了情绪识别的准确性和鲁棒性。步态情绪识别具有广泛的应用前景，包括健康监测、自动驾驶、虚拟现实、情感智能辅助工具等。不同领域的需求推动了步态情绪识别技术的不断发展和应用。
3、现有基于深度学习的步态情绪识别主要通过手工设计深度学习模型提取人体实时位置步态信息特征，并基于此特征完成步态情绪识别。目前，获取人体步态情绪特征主要通过深度学习模型提取直角坐标系中人体关节点特征完成，从而忽略了人体关节点之间的角度信息对步态情绪特征的重要性。此外，通过人工设计的深度学习模型，十分受限于设计者的创造力和经验，无法充分发挥模型结构中的潜在优势。并且当面临新任务或数据时，手工设计的模型可能需要重新设计或调整，这使得手工设计的模型在步态情绪识别中具有一定的局限性。
4、需要说明的是，在上述
技术介绍
部分公开的信息仅用于加强对本公开
技术实现思路
1、专利技术目的：本专利技术所要解决的技术问题是针对现有技术的不足，提供一种基于异空间神经架构搜索的步态情绪联合识别方法。
2、为了解决上述技术问题，本专利技术公开了一种基于异空间神经架构搜索的步态情绪联合识别方法，包括以下步骤：
3、步骤1，提取不同情绪视频数据中的三维人体姿态关节点；
4、步骤2，将所提取到的三维人体姿态关节点进行空间转换，分别转换至直角坐标系和球坐标系中，并基于相似度最小化策略将不同坐标系中的关节点进行位置信息空间映射和角度信息空间映射；
5、步骤3，构建不同空间下的神经架构搜索空间和联合搜索策略，利用联合搜索策略，在不同空间下的神经架构搜索空间中分别搜索得到最优骨干网络，用于在所述位置信息空间和角度信息空间中提取时空情感特征，并分别训练上述最优骨干网络；
6、步骤4，利用训练好的最优骨干网络，提取不同空间中的人体时序步态情感特征，并输入softmax分类器，得到不同情绪的得分；
7、步骤5，通过联合打分模块对其输入的不同空间中的不同情绪得分进行联合打分，完成基于异空间神经架构搜索的步态情绪联合识别。
8、进一步的，步骤1中所述的三维人体姿态关节点，包括：根关节点、脊柱关节点、颈部关节点、头部关节点、左肩关节点、左肘关节点、左手关节点、右肩关节点、右肘关节点、右手关节点、左髋关节点、左膝关节点、左脚关节点、右髋关节点、右膝关节点和右脚关节点等。
9、进一步的，步骤2中所述的空间转换，具体包括：
10、将1中提取得到的直角坐标系下的三维人体姿态关节点，转换至球坐标系中：
11、
12、
13、
14、其中，直角坐标系中的任一点为(x,y,z)，转换后的球坐标系中对应的点为
15、进一步的，步骤3中所述的得到最优骨干网络，具体包括以下步骤：
16、步骤3-1，构建不同空间下的神经架构搜索空间，其中，所述不同空间为：位置信息空间和角度信息空间，所述神经架构搜索空间中包含构建骨干网络的子模块；
17、步骤3-2，构建联合空间搜索策略，具体表示如下：
18、
19、其中，g表示联合空间搜索策略，maximize表示最大化，acc代表联合步态情绪识别精度，tc代表位置信息空间下的神经架构搜索空间中各子模块构建的骨干网络特征提取速度，tc代表预定义的特征提取速度，ts代表这角度信息空间下的神经架构搜索空间中各子模块构建的骨干网络特征提取速度，ts代表预定义的特征提取速度，w1和w2是权重因子，具体如下：
20、
21、
22、其中，α1，β1，α2，β2是常数；
23、步骤3-3，根据步骤3-2构建的联合搜索策略，搜索出位置信息空间和角度信息空间下的神经架构搜索空间中各子模块的最优组合，作为最优骨干网络。
24、进一步的，步骤3-1中所述的包含构建骨干网络的子模块，具体包括：3*3卷积子模块、5*5卷积子模块、3*3最大池化子模块、3*3平均池化子模块、stgcn子模块、通道注意力子模块和空间注意力子模块。
25、进一步的，步骤3-3中所述的搜索出位置信息空间和角度信息空间下的神经架构搜索空间中各子模块的最优组合，具体包括：
26、步骤3-3-1，使用控制器分别搜索出位置信息空间和角度信息空间下的初始骨干网络，所述骨干网络为所述神经架构搜索空间中各子模块的随机组合；
27、步骤3-3-2，利用步态情感数据集对上述初始骨干网络进行训练评估，分别得到联合步态情绪识别精度和各空间下的初始骨干网络的特征提取速度；
28、步骤3-3-3，根据步骤3-2中所述的联合空间搜索策略进行计算，并将结果反馈给控制器；
29、步骤3-3-4，控制器重新优化搜索位置信息空间和角度信息空间下的新的骨干网络，即将所述神经架构搜索空间中各子模块重新进行随机组合，得到新的骨干网络；
30、步骤3-3-5，将新的骨干网络作为初始骨干网络，重复迭代执行步骤3-3-2至步骤3-3-4，直至预设的迭代轮次，分别获得位置信息空间和角度信息空间中最优的骨干网络。
31、进一步的，步骤3中所述的训练最优骨干网络，具体包括：
32、利用包含情绪标签的步态情感数据集，对所述最优骨干网络进行训练。
33、进一步的，步骤4中所述的得到不同情绪的得分，具体包括：
34、步骤4-1，利用步骤3中训练好的最优骨干网络，分别提取位置信息空间和角度信息空间中的情感特征；
35、步骤4-2，分别利用softmax分类器对步骤4-1中提取的不同空间中的情感特征进行情感分类打分，得到不同情绪的得分。
36、进一步的，步骤5中所述的进行联合打分，具体包括：
37、通过联合打分模块对步骤4中得到的不同情绪的得分进行联合打分，得到不同情感基于不同空间的联合得分，将得分最高的情绪，判定位为所述情绪识别最终的结果。
38、进一步的，步骤5中所述的联合打分模块，具体如下：
39、fi＝si+ci
40、其中，i表示情绪类别，s本文档来自技高网...
【技术保护点】
1.一种基于异空间神经架构搜索的步态情绪联合识别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于异空间神经架构搜索的步态情绪联合识别方法，其特征在于，步骤1中所述的三维人体姿态关节点，包括：根关节点、脊柱关节点、颈部关节点、头部关节点、左肩关节点、左肘关节点、左手关节点、右肩关节点、右肘关节点、右手关节点、左髋关节点、左膝关节点、左脚关节点、右髋关节点、右膝关节点和右脚关节点。
3.根据权利要求1所述的一种基于异空间神经架构搜索的步态情绪联合识别方法，其特征在于，步骤2中所述的空间转换，具体包括：
4.根据权利要求1所述的一种基于异空间神经架构搜索的步态情绪联合识别方法，其特征在于，步骤3中所述的得到最优骨干网络，具体包括以下步骤：
5.根据权利要求4所述的一种基于异空间神经架构搜索的步态情绪联合识别方法，其特征在于，步骤3-1中所述的包含构建骨干网络的子模块，具体包括：3*3卷积子模块、5*5卷积子模块、3*3最大池化子模块、3*3平均池化子模块、STGCN子模块、通道注意力子模块和空间注意力子模块。
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。