The invention discloses a deaf sign language method based on Machine Translation somatosensory equipment, which relates to the technical field of video image processing, using Microsoft Kinect for 3D 360 Xbox depth image information acquisition sign language, based on the analysis of video information, realize the sign language detection, tracking, segmentation, feature extraction of gesture to different from other gestures for gesture modeling, using machine learning the selection of a certain number of sign language samples were used to train the classifier, classifier recognition to the unknown sign language and natural language output the recognition results, and ultimately the deaf sign language to automatic natural language translation, the use of low cost, and fast and accurate translation.
【技术实现步骤摘要】
基于体感设备的聋哑人手语机器翻译方法
本专利技术涉及视频图像处理
，特别是涉及基于体感设备的聋哑人手语机器翻译方法。
技术介绍
聋哑人使用的手语，属于肢体语言的范畴，与健全人的口语一样具有丰富的表意功能，是一种进行信息交流、传递思想最自然的方法，在聋哑学校教学和聋哑人交流方面起着非常重要的作用。手语是由手的形状、手腕和手臂的运动、与之对应的人脸表情、嘴唇读音形状以及其他身体姿态相结合的人体语言。目前手语识别研究包括：基于佩戴式设备的手语识别。基于数据手套(即佩戴式设备)的手语识别方法需由手语使用者佩戴位置跟踪器、数据手套等传感设备，利用多点传感器和位置跟踪器反馈的手指关节运动信息、手相对身体的位置等数据进行分析研究。由于佩戴式位置跟踪器与数据手套的价格较高，并且穿戴方式复杂，所以很难推广到实际应用中。
技术实现思路
本专利技术实施例提供了基于体感设备的聋哑人手语机器翻译方法，可以解决现有技术中存在的问题。基于体感设备的聋哑人手语机器翻译方法，该方法包括：步骤S1，采集包括深度视频和彩色视频在内的手语视频；步骤S2，采用DI_CamShift算法对深度视频进行处理...
【技术保护点】
基于体感设备的聋哑人手语机器翻译方法，其特征在于，该方法包括：步骤S1，采集包括深度视频和彩色视频在内的手语视频；步骤S2，采用DI_CamShift算法对深度视频进行处理，以对彩色视频中的手语手势图像进行检测和追踪；步骤S3，对追踪获得的手语手势图像进行分割，将手语手势图像中的手语手势和背景分割开；步骤S4，提取手语手势的完备特征集，对完备特征集量化生成手语视觉单词，最终采用BoW方法构建手语手势的视觉单词词包；步骤S5，将所述手语视觉单词词包中的一部分单词作为训练样本，应用基于H_Kernel的混合核函数SVM对训练样本的融合特征进行学习，对另一部分手语视觉单词进行识别并输出翻译结果。
【技术特征摘要】
1.基于体感设备的聋哑人手语机器翻译方法，其特征在于，该方法包括：步骤S1，采集包括深度视频和彩色视频在内的手语视频；步骤S2，采用DI_CamShift算法对深度视频进行处理，以对彩色视频中的手语手势图像进行检测和追踪；步骤S3，对追踪获得的手语手势图像进行分割，将手语手势图像中的手语手势和背景分割开；步骤S4，提取手语手势的完备特征集，对完备特征集量化生成手语视觉单词，最终采用BoW方法构建手语手势的视觉单词词包；步骤S5，将所述手语视觉单词词包中的一部分单词作为训练样本，应用基于H_Kernel的混合核函数SVM对训练样本的融合特征进行学习，对另一部分手语视觉单词进行识别并输出翻译结果。2.如权利要求1所述的基于体感设备的聋哑人手语机器翻译方法，其特征在于，步骤S2具体包括：子步骤S21，将整个深度视频作为搜索区域，采用帧差法检测深度图像中的手语手势图像，对追踪窗口进行初始化，定位其尺寸和位置；子步骤S22，对追踪窗口内的区域，即手语手势图像，计算其深度直方图的概率分布；子步骤S23，分别计算手语手势图像的长轴和短轴的方向θ1、θ2，具体方法为：定义深度图像I(x,y)的(p+q)阶二维原点矩Mpq为：Mpq＝∑x∑yxpyqD(x,y)p,q＝0,1,2,...(1)定义I(x,y)的(p+q)阶中心距μpq为：其中，为为D(x,y)为深度图像I(x,y)在(x,y)处的深度值；根据下式计算手语手势主轴的方向：采用公式(2)，根据最大二阶中心距和最小二阶中心距分别确定长轴和短轴的方向；子步骤S24，使用MeanShift算法计算追踪窗口内手语手势图像的质心位置，根据质心位置和长轴、短轴方向θ1、θ2调整追踪窗口的尺寸；子步骤S25，对于下一帧的深度图像，使用调整尺寸和质心后的追踪窗口，返回子步骤S22继续运行；子步骤S26，如果检测到多个手语手势图像，则分别计算各个手语手势图像的零阶距，选择具有最小零阶距值的手语手势图像作为真实手语手势；子步骤S27，在确定深度视频中的追踪窗口后，同步将该追踪窗口绘制到彩色视频中的对应位置处，以实现对彩色视频中手语手势的追踪。3.如权利要求1所述的基于体感设备的聋哑人手语机器翻译方法，其特征在于，步骤S3具体包括：子步骤S31，g为椭圆边界手语手势的肤色概率分布深度图，采用3*3的均值滤波算子对g进行滤波，得到其邻域的平滑图像f，遍历g和f，寻找对应的像素并进行统计，得到矩阵d(i,j)，最后计算二维直方图矩阵P(i,j)和对应的变换矩阵Pi(i,j)、Pj(i,j)：Pi(i,j)＝(i-1)*P(i,j),Pj(i,j)＝(j-1)*P(i,j)(5)其中，L为手语手势图像的灰度级；子步骤S32，计算点(i,j)分别在P(i,j)、Pi(i,j)和Pj(i,j)中的积分图：子步骤S33，计算SB和ST，二者分别为点(i,j)对应的类间离差矩阵和总离差矩阵：SB＝∑k＝1,3wk*(uk-u)(uk-u)T,u＝(ui,uj)T(7)其中，f*＝G*(L,L)-G*(L,j)-G*(i,L)+G*(i,j)，ui＝Gi(L,L),uj＝Gj(L,L)，w1＝G0(i,j),w3＝f0，u1＝(Gi(i,j)/w1,Gj(i,j)/w1)T，u3＝(fj/w3,fj/w1)T；子步骤S33，通过计算ST-SB得到类内离差矩阵，然后计算(i,j)对应的准则函数值min{|ST-SB|}，查找所有的数据点，...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。