基于深度图像的旗语识别方法及装置制造方法及图纸

本发明专利技术公开一种基于深度图像的旗语识别方法及装置，方法包括：(10)根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；(20)基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；(30)根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；(40)通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。装置包括人体骨架特征提取单元、人体动作描述单元、手臂姿态模式定义单元和旗语识别单元。本发明专利技术方法及装置，受环境因素影响小，实时性好，识别率高。

【技术实现步骤摘要】

本专利技术属于旗语识别
，特别是一种受环境因素影响小，实时性好，识别率 高的基于深度图像的旗语识别方法及装置。
技术介绍
旗语作为一种特殊信息传递方式，在军事领域被广泛应用，例如门桥漕渡、飞机牵 引及航母飞机起降等操作过程中都需要旗语（或手势动作）进行指挥引导。目前，模拟训练 在军事训练中的作用与地位越来越重要，模拟训练相关技术的研宄也越来越受到关注。对 于与旗语指挥相关的军事模拟训练科目，需要通过计算机对旗语进行识别，从而使系统获 得旗语动作的指令含义，完成受训人员与模拟训练系统的交互。旗语识别技术是通过计算 机理解手势动作，进而识别出旗语信号的语义。如何实现快速、准确的识别成为这一应用中 的关键问题。 现有的旗语识别方法主要有以下两种：1)接触式手势识别技术，如数据手套；2) 非接触式手势识别技术，主要采用计算机视觉实现手势识别，如单目视觉传感器，双目立体 视觉传感器等。在基于视觉的手势识别技术中，主要有采用纹理、网格等构建的3D模型以 及基于各种表观特征模型。但由于这些方法受环境因素的影响，并且缺乏动作本身的深度 信息，难以对旗语运动特征进行有效提取。 总之，现有技术存在的问题是：旗语识别受环境因素影响大，实时性差，准确率低。
技术实现思路
本专利技术的目的在于提供一种基于深度图像的旗语识别方法，受环境因素影响小， 实时性好，识别率高。 本专利技术的另一目的在于提供一种基于深度图像的旗语识别装置。 实现本专利技术目的的技术解决方案为：一种基于深度图像的旗语识别方法，包括如 下步骤： (10)人体骨架特征提取：根据人体动作深度图像，将人体与背景进行分割，对人 体区域逐步细化，提取人体骨架线； (20)人体动作描述：基于关节点空间关系人体模型，利用人体骨架线对人体手臂 动作进行描述； (30)手臂姿态模式定义：根据由大臂、小臂、手腕三个基本分量构成的手臂不同 空间位置及运动轨迹定义手臂姿态模式； (40)旗语识别：通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该 手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。 本专利技术与现有技术相比，其显著优点： 1、受环境因素影响小：本专利技术基于结构光获取的深度图像，避免了单纯依靠可见 光图像分析技术中对环境干扰的敏感性，保证了系统在正常自然环境中工作的可靠性； 2、实时性好：本专利技术采用基于空间位置关系的旗语识别技术，算法计算量小，保证 了系统工作的实时性； 3、识别率高：在使用测试中，对于旗语动作的平均识别率达到95. 41%，完全可以 满足使用要求； 4、使用方便：本专利技术提供了一种自然人机交互方式，使用者不需要佩戴任何辅助 设备就可以完成对其作出旗语动作的识别； 5、使用成本低：本专利技术的硬件成本低，不存在易损件，使用过程也没有对设备的损 耗。 下面结合附图和【具体实施方式】对本专利技术作进一步的详细描述。【附图说明】 图1为本专利技术基于深度图像的旗语识别方法流程图。 图2为手臂位置坐标参数原理图。 图3为旗语信号判别窗口原理图。 图4为普通灰度图像原理图。 图5为深度图像原理图。 图6为结构光获取原理示意图。【具体实施方式】 如图1所示，本专利技术基于深度图像的旗语识别方法，包括如下步骤： (10)人体骨架特征提取：根据人体动作深度图像，将人体与背景进行分割，对人 体区域逐步细化，提取人体骨架线。 所述（10)人体骨架特征提取步骤包括： (11)图像分割：在深度图中，使用直接阈值分割的方法对人体区域与背景进行分 割； (12)骨架提取：通过腐蚀运算和开运算，逐步将图像边界向内缩小，最终形成骨 架效果，如下式，【主权项】1. 一种基于深度图像的旗语识别方法，其特征在于，包括如下步骤： (10) 人体骨架特征提取：根据人体动作深度图像，将人体与背景进行分割，对人体区 域逐步细化，提取人体骨架线； (20) 人体动作描述：基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作 进行描述； (30)手臂姿态模式定义：根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间 位置及运动轨迹定义手臂姿态模式； (40)旗语识别：通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂 姿态模式最接近的预定义动作作为该人体动作对应的旗语。2. 根据权利要求1所述的旗语识别方法，其特征在于，所述（10)人体骨架特征提取步 骤包括： (11) 图像分割：在深度图中，使用直接阈值分割的方法对人体区域与背景进行分割； (12) 骨架提取：通过腐蚀运算和开运算，逐步将图像边界向内缩小，最终形成骨架效 果，如下式， thin, =ΧΘ{Β]} (I), think Θ{Βμ}^Φ ⑵， think+l = think ? {Bk+l}- (3), 式中，X为人体分割区域图，B为腐蚀运算的结构算子；k代表A细化的次数，think表 示第k次细化的结果。3. 根据权利要求1所述的旗语识别方法，其特征在于，所述（20)人体动作描述步骤包 括： (21) 头颈部节点确定：根据人体骨架线，确定骨架线顶点为人体头部节点、两肩部连 线与头部连线交叉点为颈部节点； (22) 肩部节点确定：根据肩部节点以颈部节点为中点，肩部的长度为颈部长度的3/2， 确定左、右肩节点； (23) 肘部节点确定：根据上臂长度为肩宽的2/3,确定肘部节点； (24) 手部节点确定：根据小臂长度为肩宽的5/9,确定手部节点。4. 根据权利要求1所述的旗语识别方法，其特征在于，所述（30)手臂姿态模式定义步 骤中，小臂长度If表示为：式中，（xh，yh)为手部节点坐标，（xe，ye)为肘部节点坐标，（ xh，yh)为肩部节点坐标。5. 根据权利要求1所述的旗语识别方法，其特征在于，所述（40)旗语识别步骤具体为： 由一个或两个窗口形成判别区域，将手臂姿态模式与旗语库中的预定义动作模式的匹配， 以与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语，其中， 肘部坐标点的窗口如下式，手部坐标点的窗口如下式：其中，α是常量，β为规定信号格式的试验边界值，0uk为肩部角度，Θ fk为肘部角度， (Θ u\ Θ fk)为旗语动作信号模式，k为信号模式种类。6. -种基于深度图像的旗语识别装置，其特征在于，包括： 人体骨架特征提取单元（1〇〇)，用于根据人体动作深度图像，将人体与背景进行分割， 对人体区域逐步细化，提取人体骨架线； 人体动作描述单元（200)，用于基于关节点空间关系人体模型，利用人体骨架线对人体 手臂动作进行描述； 手臂姿态模式定义单元（300)，用于根据由大臂、小臂、手腕三个基本分量构成的手臂 不同空间位置及运动轨迹定义手臂姿态模式； 旗语识别单元（400)，用于通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将 与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。【专利摘要】本专利技术公开一种基于深度图像的旗语识别方法及装置，方法包括：(10)根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；(20)基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；(30)根据由大臂、小臂、手腕三个基本分量构成的手臂不同本文档来自技高网...

【技术保护点】
一种基于深度图像的旗语识别方法，其特征在于，包括如下步骤：(10)人体骨架特征提取：根据人体动作深度图像，将人体与背景进行分割，对人体区域逐步细化，提取人体骨架线；(20)人体动作描述：基于关节点空间关系人体模型，利用人体骨架线对人体手臂动作进行描述；(30)手臂姿态模式定义：根据由大臂、小臂、手腕三个基本分量构成的手臂不同空间位置及运动轨迹定义手臂姿态模式；(40)旗语识别：通过手臂姿态模式与旗语库中的预定义动作模式的匹配，将与该手臂姿态模式最接近的预定义动作作为该人体动作对应的旗语。

【技术特征摘要】

【专利技术属性】
技术研发人员：芮挺，方虎生，刘凡，周遊，杨成松，朱经纬，廖明，马光彦，
申请(专利权)人：中国人民解放军理工大学，
类型：发明
国别省市：江苏;32