人体手势字母的识别方法、装置、计算机设备及存储介质制造方法及图纸

一种人体手势字母的识别方法、装置、计算机设备及存储介质，根据手语使用者手语习惯采用全新的运动信息与图像信息结合的识别方式进行文字的输入，符合标准的手语动作标准，操作简单使用方便。

【技术实现步骤摘要】
人体手势字母的识别方法、装置、计算机设备及存储介质
本专利技术涉及图像识别技术与可穿戴
，尤其涉及一种应用于识别人体手势字母的手上穿戴式手势识别装置及方法，该方法还可以通过扩大样本特征标示库的方式进一步识别出手语单词等含义丰富的手势。
技术介绍
智能穿戴设备在目前工程界是个热门，尤其是提供人机交互的智能穿戴设备更是受到人们的追捧。从谷歌眼镜的推出到第一支智能手表的发布，到目前为止各种各样功能的可穿戴式设备进入人们的生活，可是目前可穿戴设备中针对文字输入方式，尤其是中文输入提供的方式却十分有限。现在主要是三种输入方式：语音输入、触摸屏等屏幕键盘或物理键盘输入还有比较热门的手势输入。对比以上三种输入方式，语音输入对使用群体和使用的环境有一定的限制，日常说不出话只能用手语的聋哑人等语言功能障碍群体就在使用上大大受阻，而且在有噪声的环境中准确率不高，受环境制约程度较大，且声音传播会有一定的范围不能很好的保护使用者隐私。传统的物理键盘或者屏幕键盘则受到物理体积的制约，物理键盘体积较大，携带不便，而屏幕键盘使用上受到屏幕体积的制约，如果屏幕体本文档来自技高网...

【技术保护点】
1.一种人体手势字母的识别方法，其特征在于，包括以下步骤：/n步骤1)采用柔性可穿戴捕捉设备与图像捕捉设备相结合的方式进行细节动作采集；/n步骤2)通过将微型传感器安装在半裸手套上进行穿戴的方式将传感器依附在手部；/n步骤3)通过安装在手部各个关节和手背部的微型电子定位器和陀螺仪实现手部姿态细节的采集；/n步骤4)通过安装在身体外部一定距离的摄像头完成对使用者身体部位的图像检测；/n步骤5)通过柔性电路和微型嵌入式设备实现穿戴方便舒适；/n步骤6)通过搭建在嵌入式设备上的语音播报模块和液晶屏实现识别手语的播报与显示；/n步骤7)通过外部GPU设备处理摄像头传输的实时图像；/n步骤8)通过蓝牙模...

【技术特征摘要】
1.一种人体手势字母的识别方法，其特征在于，包括以下步骤：
步骤1)采用柔性可穿戴捕捉设备与图像捕捉设备相结合的方式进行细节动作采集；
步骤2)通过将微型传感器安装在半裸手套上进行穿戴的方式将传感器依附在手部；
步骤3)通过安装在手部各个关节和手背部的微型电子定位器和陀螺仪实现手部姿态细节的采集；
步骤4)通过安装在身体外部一定距离的摄像头完成对使用者身体部位的图像检测；
步骤5)通过柔性电路和微型嵌入式设备实现穿戴方便舒适；
步骤6)通过搭建在嵌入式设备上的语音播报模块和液晶屏实现识别手语的播报与显示；
步骤7)通过外部GPU设备处理摄像头传输的实时图像；
步骤8)通过蓝牙模块实现可穿戴设别与GPU设备之间的数据传输；
步骤9)处理器内部会对采集图像首先运用多种图像处理算法进行预处理提高运算的效率；
步骤10)处理器内部的算法会融合图像和多传感器的数据进行手部运动信息的处理，根据训练的具有九轴十六点的手部映射骨骼轮廓决策模型进行手语结果匹配。


2.一种实现权利要求1所述方法的人体手势字母的识别装置，其特征在于，包括：电源设备、图像采集设备、内置GPU服务器的核心处理器的外部GPU设备和内置陀螺仪和电子定位传感器、显示语音播报模块和蓝牙模块的手势终端设备，其中：图像采集设备采集包含使用者的人体躯干信息和手势状态信息的视频数据并输出至核心处理器，核心处理器中的GPU服务器从视频数据中提取出手势信息融合可穿戴部分传来的关键关节的运动数据，与标示特征库中的样本匹配，进一步识别出相应的手势字母经过最后筛选后通过语音和显示模块进行播报显示反馈。


3.根据权利要求2所述的识别装置，其特征是，所述的识别，通过多种图像算法对采集图像进行预处理并融合手势状态运动信息得到手势所指方位，从而识别出所表达的手势信息，并将最终识别出的手势字母输出至声音播放和显示装置进行声音和显示反馈；
所述的外部设备包括声音播放设备和/或图像显示设备，用于手势识别信息的反馈；
所述的电子定位传感器通过针织物依附于手指各个关节处用于采集手指关节的运动角度并通过蓝牙模块将整合的运动数据实时输出至核心GPU处理器为内部算法提供手势运动数据。


4.根据权利要求2所述的识别装置，其特征是，所述的人体手势字母的识别装置采用柔性电路和微型模块化设计，排除繁多的线路走线，且每个关节可以利用微型模块检测运动信息，用柔性电路按照手势运动趋势相连接各个微型模块，使得穿戴起来没有较大的束缚力，手套也是采用的半裸式粘贴设计，只有关节处需要依附传感器的部分才会有针织物粘贴这使得该设备穿戴起来没有束缚力。


5.根据权利要求2所述的识别装置，其特征是，所述的手部运动信息的处理是指：以人体手势字母的样本图像作为样本数据，首先运用OPENCV库内的内置函数进行图像的预处理，采用改进的OPENPOSE人体姿态检测算法和手语关节各个运动传感器的运动数据进行算法融合，训练出具有九轴十六点的手部映射骨骼轮廓决策模型，根据实时传入的融合数据生成手部各个关节链角和指向的数据以构建实时手部模型，与决策模型内各个手语生成的特定手语姿态的决策数据进行匹配。


6.根据权利要求2所述的识别装置，其特征是，所述的识别，利用改进的OPENPOSE姿态算法检测出的融合运动信息的手势轮廓，该改进算法结合手势可穿戴部分提取出的关节运动关节的数据进行手势识别，该运动信息包括选取的16个关键点的角度、加速度信息，改进的OPENPOSE姿态识别算法会对置信度高于0.8的识别手势进行记录，与系统文件内特征标识手势模型通过KNN算法进行匹配，最终的到匹配的特征数据，最后输出播报显示出识别出的手势代表。


7.根据权利要求2或6所述的识别装置，其特征是，所述的识别，具体步骤包括：
步骤1：预处理阶段，利用OPENCV库内函数对图像进行处理，算法对样本进行颜色模型转换、肤色检测、手势分割，以区分出手势和手势背景区域，去除非手势区域，对人体手势区域进行目标定位；
步骤2：利用视频采集设...

【专利技术属性】
技术研发人员：张卫东，陈斌，张国庆，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31