【技术实现步骤摘要】
本专利技术涉及姿态识别领域，特别涉及一种基于openpose的旗语识别方法。
技术介绍
1、旗语是一种特殊的信息传递方式，主要用于下达简短命令、保障协同和相互识别。旗语姿态识别技术在建筑、交通、航海、军事等协同仿真训练中被广泛应用，其部署灵活性和识别准确率是衡量旗语姿态识别技术的人机交互性能和训练仿真水平的重要指标。旗语识别主要是通过计算机识别旗语动作含义，本质上属于人体姿态识别技术范畴。
2、随着计算机软硬件性能的飞速提升，越来越多的专家学者基于人工智能、计算机视觉等领域知识来研究人体姿态识别技术。目前，人体姿态识别技术已广泛应用于智能家居、社交分析、游戏娱乐等领域。可按照数据来源将人体姿态识别技术分为两类，一种是基于可穿戴式智能设备(例如数据手套、数据手环等)的人体姿态识别技术，通过设备传感器来获得人体姿态动作，但这种方法属于接触式人体姿态识别技术，需要专门穿戴繁琐且累赘的智能设备，实现起来较为困难。另一种是基于计算机视觉的人体姿态识别技术，计算机通过摄像头采集图像数据并用算法加以分析，从而识别出图像中的人体姿态动作，这种方法属于非接触式人体姿态识别技术，更加符合人类的使用习惯，免去了穿戴设备的不便。尽管基于计算机视觉的人体识别技术由于其自身优势备受学界青睐，但现有的一些方法仍存在以下几点缺陷和不足：
3、1)很多方法依赖深度相机(如kinect等)捕获人体姿态数据，这类方法在一些严苛的使用环境下，获取的数据往往不够准确，例如，当人与摄像头距离较远时，摄像头获取的深度信息存在较大误差；此外，这类深度相
4、2)另外，一些方法计算复杂，对计算资源有较高要求，对于计算资源稀缺的场景来说，不具有现实的使用价值，难以满足实时性检测需求。
5、3)摄像头捕捉的图像可能存在背景复杂、画面中人像小、画面中人像不清晰等问题，一些方法鲁棒性差，在获取的人体姿态数据不佳的情况下识别准确率大大降低。
6、考虑到实际应用时场景复杂，人员干扰或遮挡情况众多，还需要兼顾有效载荷能力以及可分配的计算资源，如何研究出一个模型较为轻量、精度高、鲁棒性高且满足实时性处理需求的旗语识别方法具有十分重要的意义。
技术实现思路
1、本公开针对现有技术的不足，提供一种基于openpose的旗语识别方法，通过openpose提取人体骨骼和关节点信息，设计旗语姿态人体骨骼特征手动提取高层信息，省去了复杂的特征提取网络带来庞大的网络参数，搭建一种轻量的旗语姿态识别卷积神经分类网络，避免了传统方法中光纤传感器和可穿戴式设备部署不够灵活以及传统图像识别方法准确性和实时性不高的弊端，实现了旗语姿态较高精度和鲁棒性的实时判读。
2、本公开提供的基于openpose的旗语识别方法，包括以下步骤：
3、s1，实时采集或从现有数据中获取视频流；
4、s2，使用openpose完成人体姿态估计，获得每张图片对应的骨骼图片，同时将获得的关节点坐标组成数据集合；
5、s3，对步骤s2中由关节点坐标组成的数据集合执行异常检测；
6、s4，旗语动作骨骼特征的设计和提取，其中，设计的骨骼特征包括不同旗语动作下骨骼关节点之间的距离特征和夹角特征；
7、s5，构建全连接特征值网络和卷积神经网络，分别用于基于骨骼特征的旗语姿态分类和基于骨骼图片的旗语姿态分类；
8、s6，利用所述全连接特征值网络和卷积神经网络分类网络，并结合各自的分类结果，进行旗语姿态判读，实现旗语识别。
9、进一步的，所述步骤s2具体包括：
10、调用openpose完成人体姿态估计，获取图像中人体关节点坐标，其中关注的关节点包括：鼻，锁骨中央，右肩，右肘，右手首，左肩，左肘，左手首，腹部中央，右腰，右膝，右足首，左腰，左膝，左足首；
11、将上述关节点坐标按固定顺序组成数据集合。
12、进一步的，所述步骤s4具体包括：
13、设计骨骼特征，包括：选取若干组不同旗语姿态下人体骨骼关节点之间的距离作为特征，同时选取若干组关节点之间的夹角作为角度特征，整合到一个数组中；其中，距离特征选取在不同旗语姿态中具有明显差异的关节点间距离；
14、根据关节点坐标计算距离和角度，其中，距离特征以两两关节点之间的欧式距离来表示，角度特征则通过三个关节点之间夹角的余弦值来表示；
15、保存上述过程中获取的特征值参数。
16、进一步的，所述步骤s5中，所述全连接特征值网络设计方法包括：
17、采用4层全连接神经网络，输入数据包括骨骼特征中的距离特征和角度特征，输出数据是一维数组，对应27种旗语姿态的索引，数组最大值所在索引即为旗语姿态所属类别，分类标签[0,26]分别表示旗语姿态从a-z和杂项；第一层隐藏层神经元个数设为256，第二层隐藏层神经元个数设为128，第三层隐藏层神经元个数设为64；激活函数采用线性整流relu函数，损失函数采用交叉熵函数，全连接网络使用随机梯度下降的方式进行网络优化。
18、进一步的，所述步骤s5中，卷积神经网络设计方法包括：
19、将二维卷积conv2d、非线性激活函数relu、以及二维池化maxpool2d进行组合，重复3次后与一层全连接层相连构成分类卷积神经网络；
20、输入为骨骼图片，输出与全连接特征值网络输出一样，为一个一维数组，数组最大值所在索引对应旗语姿态的分类类别；
21、网络的batch_size设置为8，优化算法使用mini-batch gd即少批量梯度下降算法，每次更新使用多个样本参与计算损失loss，使得loss下降更稳定，并且每次执行小批量计算，不必占用大量计算资源。
22、进一步的，所述步骤s5中，对所述全连接特征值网络和卷积神经网络的训练方法包括：
23、获取按照标准旗语动作拍摄的视频，读取视频文件并将视频分帧成多张图片，根据标准旗语动作手动对图片名称进行重命名，图片名称最后一个数字表示旗语动作类别，26种标准旗语动作每个采集500张，杂项采集1000张图片，数据集共包含14000张图片；
24、将训练集、验证集和测试集按照8:1:1的比例进行设置；
25、将上述采集到的图片输入openpose骨架提取网络，获得每一张图片对应的骨骼图片和骨骼特征值，分别用于输入卷积神经网络和全连接特征值网络；
26、运行程序执行训练。
27、进一步的，所述步骤s6具体包括：
28、将实时采集的旗语姿态骨骼特征值输入全连接网络进行一次正向传播，输出一维数组，数组最大值所在索引对应判读的指令结果；同时将实时获取的旗语姿态人体骨骼图片输入卷积神经网络进行分类，同样输出一维数组，数组最大索引值对应判读的姿态类别；
29、结合两个输出结果，两者输出判读的指本文档来自技高网...
【技术保护点】
1.一种基于OpenPose的旗语识别方法，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤S2具体包括：
3.根据权利要求1或2所述的方法，其特征在于，所述步骤S4具体包括：
4.根据权利要求1或2所述的方法，其特征在于，所述步骤S5中，所述全连接特征值网络设计方法包括：
5.根据权利要求4所述的方法，其特征在于，所述步骤S5中，卷积神经网络设计方法包括：
6.根据权利要求4或5所述的方法，其特征在于，所述步骤S5中，对所述全连接特征值网络和卷积神经网络的训练方法包括：
7.根据权利要求4或5所述的方法，其特征在于，所述步骤S6具体包括：
【技术特征摘要】
1.一种基于openpose的旗语识别方法，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述步骤s2具体包括：
3.根据权利要求1或2所述的方法，其特征在于，所述步骤s4具体包括：
4.根据权利要求1或2所述的方法，其特征在于，所述步骤s5中，所述全连接特征值网络设计...
【专利技术属性】
技术研发人员：魏晶晶，邓剑，丁赫，王煜东，杨旭东，张新辉，
申请(专利权)人：中国电子科技集团公司第五十三研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。