一种基于达芬奇技术的手语识别翻译方法技术

本发明专利技术提出一种基于达芬奇技术的手语识别翻译方法，所述方法包括以下步骤：采集手语者的动作视频；在前景图像中提取肤色块；计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；根据肤色块的深度信息对手部进行定位并提取关键帧并修补填充肤色块；提取关键帧的一种或多种手型特征；根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投票表决，得到静态手势识别结果；对手势的运动轨迹进行识别，得到轨迹识别结果；对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译结果。本发明专利技术具有识别率高、实时性强的优点。

【技术实现步骤摘要】
【专利摘要】本专利技术提出，所述方法包括以下步骤：采集手语者的动作视频；在前景图像中提取肤色块；计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；根据肤色块的深度信息对手部进行定位并提取关键帧并修补填充肤色块；提取关键帧的一种或多种手型特征；根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投票表决，得到静态手势识别结果；对手势的运动轨迹进行识别，得到轨迹识别结果；对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译结果。本专利技术具有识别率高、实时性强的优点。【专利说明】
本专利技术涉及图像处理、模式识别领域，更具体地，涉及一种基于达芬奇技术的手语 识别翻译方法。
技术介绍
在日常生活中，打手势、做手语是一种重要的交流方式。对于聋哑人们来说，手语 更是必不可少。然而多数人对手语并不够了解，所以为了让人们能够看懂手语，手语识别的 研宄也随之展开。最开始出现的手语翻译系统是基于数据手套的，识别效果比较可观，但造 价昂贵，也不利于携带。人们便逐渐聚焦在基于视觉的手语翻译系统的研宄中，但却也面临 着系统识别率低、实时性差额、不便于携带和系统成本较高等问题，对手语翻译系统的普及 造成很大的困难。
技术实现思路
本专利技术克服上述现有技术所述的系统识别率低、实时性差额、不便于携带和系统 成本较高的缺陷，提供一种识别率高、实时性强的基于达芬奇技术的手语识别翻译方法。 为解决上述技术问题，本专利技术的技术方案如下： ，所述方法包括以下步骤： Sl :采集手语者的动作视频，对视频流建立背景，当前帧与背景作差得到前景图 像； S2 :在前景图像中提取肤色块； S3:计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行 定位； S4 :根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区 域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧； S5 :提取关键帧的一种或多种手型特征； S6:根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投 票表决，得到静态手势识别结果； S7 :对手势的运动轨迹进行识别，得到轨迹识别结果； S8:对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译 结果。 在一种优选的方案中，所述方法还包括：步骤Sl中，使用2个摄像头同时采集手语 者的动作视频，首先调整摄像头使2个摄像头水平，然后分别对2个摄像头采集的视频流建 立背景，选取某一帧图像作为初始的背景，当前帧与背景作差得到前景图像，使用均值漂移 的方法对背景进行更新。 在一种优选的方案中，所述方法还包括：步骤S2中，使用高斯肤色模型在前景图 像中提取肤色块。 在一种优选的方案中，所述方法还包括：步骤S3中，2个摄像头采集到的肤色块的 重心点相互对应，计算这些相互对应的重心点之间的欧氏距离，即可得到这些肤色块的深 度信息； 相对应的肤色块的重心点距离越大，则该肤色块离摄像头越近，在准备阶段，脸部 和手部与摄像头的距离一样，而使用者背后的肤色物体的深度信息明显与脸部区域的不 同，再根据双手和脸部区域的相对位置，即可对脸部区域进行定位。 在一种优选的方案中，所述方法还包括：步骤S4中，在做手语手势时，离摄像头最 近的运动肤色块为手部，而远的运动肤色块为脸部或其他运动的肤色物体，根据这一特性 对手部进行定位，然后提取关键帧，并利用感知器算法对手部肤色块进行修补填充，所述关 键帧为手部在一个区域内停留达到预设帧数的帧。 在一种优选的方案中，所述方法还包括：步骤S5中，提取关键帧的归一化傅里叶 描述子、手型骨架和指尖数目的特征，具体方法为： 首先提取手型骨架特征：将手势图像用最小的矩形包围住，把该矩形四等分，计算 出各块图像的重心点，将四个重心点连接成一个四边形，计算出该四边形的各边长、对角线 长、矩形度、角度共同作为手型骨架的特征； 然后提取归一化傅里叶描述子特征； 最后提取指尖数目特征，计算手势轮廓的曲率，若某段轮廓的曲率大于预设的阈 值则该段为指尖，判断出该手势伸出了多少根手指，即为指尖数目特征。 在一种优选的方案中，步骤S6中，投票表决的方法如下： 先对每个分类器所能投的票数进行初始化；统计各个先前训练好的分类器的识别 结果，采用奖惩方式调整各分类器所能投出的票数；根据各分类器所能投的票数，按手势特 征与分类器各类的相似程度进行分散投票，最相似者票数最多，票数最多的一类作为为识 别结果。 在一种优选的方案中，步骤S7中，采用分层的轨迹识别方法对手势的运动轨迹进 行识别，其具体方法包括以下步骤： (1)先进行第一层的轨迹识别，以两个关键帧之间的轨迹点坐标，使用Freeman链 码对这些轨迹点进行编码，使其连成一个链码序列用于短轨迹的识别； (2)将轨迹点数分成4、8、12、16个点四种，对于实际的短轨迹段的长度则按这四 种情况进行轨迹点数的调整，即根据各坐标点的间距，进行补点或删点，使长度达到四种 点数的其中一种； (3)设定多种基本情况的短轨迹类型，如向左、向上、向坐上等类型，使这些短轨迹 能组成各种各样的长轨迹，并根据短轨迹首末坐标点进行轨迹的移动方向的分类； (4)根据短轨迹的长度，将目标短轨迹与事先训练好的有可能与之相匹配的短轨 迹类型使用简单的欧氏距离公式计算相似度，以完成短轨迹识别，得到短轨迹的识别结果 编号，因为短轨迹的轨迹点少，所以短轨迹并不需要事先训练，只需要按Freeman链码所设 定的方向编号自行设定短轨迹的类型即可； (5)计算出短轨迹的长度，并将其起始点、终点的坐标和短轨迹的长度保存下来； (6)进行第二层的长轨迹处理，将各个短轨迹的识别结果进行续接排列起来作为 HMM的观察序列O ; (7)使用Viterbi算法对长轨迹进行识别，将采集到的观察序列O输入到Viterbi 函数中，利用Viterbi算法计算出观察序列O在各个事先训练好的长轨迹模型λ下的概率 P (〇 I λ )，并重复迭代直至收敛，将最接近的模型对应的轨迹作为识别结果。 在一种优选的方案中，步骤S8中，首先使用Bigram(二元文法）模型对词根序列 进行第一层纠错，然后使用Trie (字典树）索引树进行第二层的纠错处理。 与现有技术相比，本专利技术技术方案的有益效果是：本专利技术基于达芬奇技术的手语 识别翻译方法，采用达芬奇技术实现手语识别翻译，达芬奇技术相比传统的数据手套具有 便于携带、低成本的优点；本专利技术通过对深度信息的提取实现手部和脸部的定位，运算量更 少，定位更加快捷准确；本专利技术使用感知器算法对手部肤色块进行修补填充，削弱了光照对 手部肤色提取的影响，使肤色提取更完整；本专利技术使用傅里叶描述子分类器、手型骨架分类 器和指尖数目分类器进行投票表决，将三个分类器组合起来共同对静态手势进行识别的方 法使得静态手势识别率大大提高；本专利技术使用Bigram模型和trie索引树对词根进行双层 纠错处理，提高句子识别的正确率。 【专利附图】【附图说明】 图1为本专利技术的硬件结构图。 图本文档来自技高网...

【技术保护点】
一种基于达芬奇技术的手语识别翻译方法，其特征在于，所述方法包括以下步骤：S1：采集手语者的动作视频，对视频流建立背景，当前帧与背景作差得到前景图像；S2：在前景图像中提取肤色块；S3：计算提取到的肤色块的深度信息，并根据肤色块的深度信息对脸部区域进行定位；S4：根据肤色块的深度信息对手部进行定位并提取关键帧，并对关键帧的手部区域肤色块进行修补填充，所述关键帧为手部在一个区域内停留达到预设帧数的帧；S5：提取关键帧的一种或多种手型特征；S6：根据提取的手型特征，使用单个分类器进行分类或者使用多个分类器进行投票表决，得到静态手势识别结果；S7：对手势的运动轨迹进行识别，得到轨迹识别结果；S8：对静态手势识别结果和轨迹识别结果进行纠错与拼接，得到手语的识别翻译结果。

【技术特征摘要】

【专利技术属性】
技术研发人员：陈健明，周冬跃，陈丽，叶俊有，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东;44