一种基于手势识别的人机交互方法技术

本发明专利技术涉及一种基于手势识别的人机交互方法，人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；根据手部HSV信息和手部特征信息建立个人特征库；操作中，采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。本发明专利技术局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率；采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制手术辅助系统实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能。

A Human-Computer Interaction Method Based on Gesture Recognition

【技术实现步骤摘要】
一种基于手势识别的人机交互方法
本专利技术涉及计算机视觉和人工智能领域，具体地说是一种基于手势识别的人机交互方法。
技术介绍
手势是人与人之间非语言交流的最重要方式，若把手势交互运用到手术辅助导航系统控制上，可使系统与人更方便自然地交互。二者紧密协调，有利于人机共融的实现。手势识别是人与机器人手势交互的重要组成部分，手势识别的准确性和快速性直接影响人与机器人交互的准确性、流畅性和自然性。基于视觉的手势交互，用户无需穿戴设备，具有交互方便、表达丰富和交互自然的优点，符合人机自然交互的大趋势，适用范围广。然而目前的手术辅助系统在交互方式还是传统的触摸和键盘鼠标等接触式人机交互方式。这种基于接触式设备的控制方式对医生而言并非是一种符合人类本能习惯的交互方式，并且接触式的交互不能保证医生的无菌操作；但如果专利技术一种符合人类自然交互习惯的、通过手势对无人机进行操控的技术，则这将是迈向更自然的人机交互的一大步。并且，这种可靠性高、实时性好的手势识别在人机协作领域中，应用前景广泛。
技术实现思路
针对现有技术的不足，本专利技术提供一种基于手势识别的人机交互方法。本专利技术为实现上述目的所采用的技术方案是：一种基于手势识别的人机交互方法，包括以下步骤：步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；步骤2：操作前，根据手部HSV信息和手部特征信息建立个人特征库；步骤3：操作中，采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。根据手部HSV信息建立个人特征库包括以下过程：步骤1：分别获取多帧图像的HSV信息；步骤2：计算HSV信息的均值和方差；步骤3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库。根据手部特征信息建立个人特征库包括以下过程：步骤1：根据ROI区域的HSV空间提取每帧图像的手部区域；步骤2：对每帧图像的手部区域进行二值化，获取每帧图像的手部区域的二值图像；步骤3：提取二值图像的手部特征信息；步骤4：计算手部特征信息的均值和方差，并将手部特征信息的均值和方差存储在个人特征库。所述提取二值图像的手部特征信息包括以下过程：步骤1：对手部区域的二值图像进行meanshift聚类，得到聚类中心区域；步骤2：对聚类中心区域利用PCA主成分分析法，得到手掌的横宽比θ1，以及偏转角度θ2；步骤3：对聚类中心区域同时进行凸包性分析，将手部各顶点连线，得到手部的凸多边形面积S1和手部二值图高亮面积S2，将二者相除，得到手部凸包性参数θ3＝S1/S2。所述采用多特征分层滤波算法识别当前手势信息包括以下过程：根据个人特征库存储的ROI区域的HSV空间对当前手势图像进行分割，获取手部特征信息θi，并带入公式(1)、(2)获得当前手势图像与个人特征库中第n个手势的相似概率权重ρn，如果ρn＝0，则表示当前手势是未知手势，否则，ρn最大时对应的序号n为识别出的个人特征库中第n个手势的序号；ρn＝ρn1×ρn2×ρn3(2)其中，μni和δni分别是个人特征库中样本手势n的第i个特征的均值和方差，θi是当前手势的第i个特征，ρni为当前手势图像与个人特征库中第n个手势第i个特征的相似权重；ρn为当前手势图像与个人特征库中第n个手势的相似概率权重；i＝1，2，3分别对应手部形状、手部旋转角度、手部凸包性。本专利技术具有以下有益效果及优点：1.本专利技术实时将用于人机交互的手势信息进行编码，每种特定的手势信号对应控制三维人体模型执行一种动作。可以让医生无接触的操作三维人体模型显示，并在手术过程中允许对病人病灶的三维模型360度无死角观测，大的方便了医生手术时对模型的操作，也是对病人健康的一种负责；2.本专利技术病人人体模型的获取创新性地使用3Dslicer软件，基于病人CTA数据对人体局部建模并openGL显示，局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率，避免模型太大，而降低系统的工作效率；3.本专利技术采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制手术辅助系统实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能。附图说明图1是本专利技术的方法流程图；图2是本专利技术的手势静态识别工作流程图；图3是本专利技术的手势特征与手势信息对照图。具体实施方式下面结合附图及实施例对本专利技术做进一步的详细说明。如图1所示为本专利技术的方法流程图。本专利技术方法从功能上看主要分为两大大功能：1)三维人体模型实时显示、2)手势信号的识别与对显示系统的手势控制编码；其中人体模型建模的工作包括操作前获取人体CT数据转换成的点云数据利用openGL显示出来；1.人体模型的建立及实时显示首先获得患者医疗CTA图片数据，使用3DSlicer打开数据，并建立三维人体模型导出点云数据，然后将点云数据使用openMesh载入，在openGL显示窗口中显示。CTA扫描数据建立三维模型、点云数据导出、openGL显示三维模型。2.手术过程中通过手势与手术辅助导航系统进行人机交互。如图2所示为本专利技术的手势静态识别工作流程图。步骤2.1：分别获取多帧图像的HSV信息，步骤2.2：计算HSV信息的均值和方差，步骤2.3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库；步骤2.4：根据ROI区域的HSV空间提取每帧图像的手部区域；步骤2.5：获取每帧图像的手部区域的二值图像，步骤2.6：分别计算每帧图像的二值图像的手部特征信息、并计算手部特征信息的均值和方差；步骤2.7：将手部特征信息的均值和方差存储在个人特征库；步骤2.8：操作中利用相机采集当前手势图像，采用多特征分层滤波算法处理并识别当前手势；实时将手势信息进行编码，每种特定的手势信号对应控制三维人体模型执行一种动作，如图3所示为本专利技术的手势特征与手势信息对照图。例如放大缩小，左旋转、右旋转；将编码发送给openGL模型控制信号输入口，使模型执行动作。共使用竖掌、横掌、竖刀、横刀四种手势，左右手组合后共有12种编码组合方式，本处只使用了7种编码组合方式。分别为左竖掌右竖刀对应三维模型绕x轴顺时针旋转、左竖掌右竖掌使得模型绕x轴逆时针旋转、左横掌右竖掌使模型放大，左横掌右竖刀使模型缩小、左横掌右横刀使模型绕y轴顺时针旋转、左横掌右横掌使模型绕y轴逆时针旋转、左竖刀右竖掌使模型停止动作。本系统从功能上分为两大部分，分别为病人人体模型的获取与显示和通过智能手势识别的人机交互。1.其中病人人体模型的获取创新性地使用3Dslicer软件，基于病人CTA数据对人体局部建模并openGL显示,局部建模可以更有针对性，同时可以减少硬件资源的耗费，提升系统的运行效率，避免模型太大，而降低系统的工作效率。2.其中视觉手势识别模块创新性地采用了实时特征预提取与训练技术，在保证实时性的同时使手势正确识别率达到了99％以上，满足了手势控制手术辅助系统实时性与安全性的需求，同时还使该系统具备了个性化手势定制功能。本文档来自技高网...

【技术保护点】
1.一种基于手势识别的人机交互方法，其特征在于：包括以下步骤：步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；步骤2：操作前，根据手部HSV信息和手部特征信息建立个人特征库；步骤3：操作中，采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。

【技术特征摘要】
1.一种基于手势识别的人机交互方法，其特征在于：包括以下步骤：步骤1：人体CT对人体进行扫描，生成具有三维点云数据的三维人体模型；步骤2：操作前，根据手部HSV信息和手部特征信息建立个人特征库；步骤3：操作中，采集当前手势图像，采用多特征分层滤波算法识别当前手势信息，并将手势信息进行编码，输出编码信号控制三维人体模型动作。2.根据权利要求1所述的基于手势识别的人机交互方法，其特征在于：根据手部HSV信息建立个人特征库包括以下过程：步骤1：分别获取多帧图像的HSV信息；步骤2：计算HSV信息的均值和方差；步骤3：根据HSV信息的均值和方差获取ROI区域的HSV空间，并将ROI区域的HSV空间存储在个人特征库。3.根据权利要求1所述的基于手势识别的人机交互方法，其特征在于：根据手部特征信息建立个人特征库包括以下过程：步骤1：根据ROI区域的HSV空间提取每帧图像的手部区域；步骤2：对每帧图像的手部区域进行二值化，获取每帧图像的手部区域的二值图像；步骤3：提取二值图像的手部特征信息；步骤4：计算手部特征信息的均值和方差，并将手部特征信息的均值和方差存储在个人特征库。4.根据权利要求3所述的基于手势识别的人机交互方法，其特征在于：所述提取二值图像的手部...

【专利技术属性】
技术研发人员：华春生，陈博，颜培轮，
申请(专利权)人：中国科学院沈阳自动化研究所，
类型：发明
国别省市：辽宁,21