手形手势识别装置及识别方法制造方法及图纸

本发明专利技术提供一种对复杂手形图像也进行手形手势识别的手形手势识别装置和识别方法以及程序记录媒体。手图像归一化部１１从种种形状／姿势的图像当中消除手腕区域，生成对手方向和大小归一化的手形图像。本征空间计算部１３进行本征空间法的解析，根据手形图像求得本征值和本征向量。本征空间投影部１５将手形图像投影到以本征向量为基底的本征空间，求得本征空间内的投影坐标。手图像归一化部２１从输入手图像当中消除手腕区域，生成将大小或亮度归一化为与手形图像同等的输入手形图像。（*该技术在2020年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及手形手势识别装置和手形手势识别方法以及记录有执行该方法程序的记录媒体，具体来说，涉及不用数据手套等带有电缆等的手套，能够对人类手形和手势推定进行识别，根据该识别结果用于人机之间界面装置或手语识别装置等的手形手势识别装置及其方法以及记录有执行该方法程序的记录媒体。当前，对于新的人类界面手段，人们正热衷于研究开发识别人类手形、取得人类用手提示的信息的装置。而且，着眼于增进听觉障碍者和健康人之间的交流，也热衷于对手语动作中提示的手形和手势进行识别的研究。通常，作为取得人类手形的方法，公知的有手上加上数据手套等传感器测定各状态的方法，例如电气学会计量研究会资料(1994第49页～第56页)(以下称为第一文献)。该第一文献讨论的是沿手指设置手套光纤，利用光纤伸展时和弯曲时的光量变化，对手指关节的角度进行推定的方法。而对于如上述第一文献所述不用带传感器手套的方法，则有用摄像机识别手形的方法，例如渡边、岩井、八木、谷内田的论文“用彩色手套的手指文字识别”(电子信息通信学会杂志vol.J80-D-2，No.10，第2713页～第2722页)(以下称为第二文献)。该第二文献讨论的是手上装上加有多种彩色的手套(标识器)，根据该手套图像识别手形的方法。另一方面，对于手未装上手套等标识器而用摄像机进行手形和手势识别的方法，例如有日本专利申请特开平8-263629号公报“物体形状·姿势检测装置”(以下称为第三文献)所揭示的方案。该第三文献记载的是至少用3台摄像机对手进行摄影，将手视为平面，判别该手与哪一摄像机相对，并根据朝向正面的摄像机的图像识别形状，对姿势进行推定的方法。此外，作为根据朝向正面的摄像机的图像对形状进行识别的方法，存在石渊、岩崎、竹村、岸野的论文“用图像处理的实时手势推定和对人类界面的应用”(电子信息通信学会论文杂志vol.J79-D-2，No.7，第1218页～第1229页)(以下称为第四文献)。该第四文献说明的是根据多个摄像机得到的手的图像求出手腕-中指方向(以下称为掌主轴)，同时求得伸展的指尖位置，并识别伸展的手指有几根这一方法。通常为了识别面容、车等物体的姿势和种类，近年来将利用外观图像的方法同本征空间法组合的图像识别法受到关注。这里，所说的基于外观图像的方法，是指仅仅用预先取得的3维物体的2维外观图像对物体姿势、种类进行识别的方法。而所说的本征空间法，是指从古至今进行的方法，采用图像集合的协方差矩阵(或自相关矩阵)本征向量所构成的本征空间的方法，公知的是采用主成分分析或KL展开的方法。以下简单说明就图像应用上述主成分分析的方法。为了更加容易地了解或处理多维空间的特点，在设法利用本征空间用较少的维数表现的统计方法中，作为多变量解析中一方法常常利用主成分分析。就原理来说，将多维空间上的特点线形映射为分散大的少数低维正交部分空间。该主成分分析方法应用于图像时，首先将n×m像素的图像经光栅扫描得到的列向量作为U，用{U1，U2，U3，…，Up}表现p个图像属于的图像群。接着，从该图像分组各个要素当中减去图像集合平均图像c要素的列向量分组成的nm×p矩阵设定为A，由矩阵AA＝图像集合的协方差矩阵Q用下列式(1)计算。另外，矩阵AT表示矩阵A的转置矩阵。Q＝AAT(1)而且用该协方差矩阵Q解下述式(2)的本征方程式。λi＝Qei(2)这里，应求得的部分空间，若其维数为k，便成为通过以k个大的本征值所对应的本征向量e1，e2，…，ek(λ1≥λ2≥…≥λk≥…≥λp)为基底向量所得到的部分空间。因而，通过将某个像素x按下述式(3)线形映射为本征向量的部分空间，可以将n×m维图像维数压缩为k维特征向量y。y＝Tx (3)另一方面，用主成分分析或KL展开、因人类面容模样复杂而对多种多样实体进行检出识别的方法来说，有例如日本专利申请特开平8-339445号公报“用几率本征空间解析的复杂对象物的检测、识别、以及编码方法和装置”(以下称为第五文献)所揭示的方案。该第五文献其特征在于，以往所采取的上述办法对复杂对象物、尤其是对面容适用。上述第五文献按复杂对象物例子给出应用于手形识别的实施例，以下说明其方法。首先，相对于黑色背景对手势所用的手的图像集合进行摄影。接下来用Canny的边缘操作器提取手的2维轮廓。接着，对得到的边缘图像集合进行KL展开求得部分空间的方案仍按原样利用2值边缘图，图像间几乎相互无关，因此部分空间的维数必须非常大。因此，上述第五文献中记载的实施例，提出通过在2值边缘图上经扩散处理将边缘除外求部分空间、来压缩部分空间维数这一方案。而且，为了从输入图像当中求得手的位置，通过按某种一定的大小搜索整个图像来求得手的位置，进行识别。但要识别人手形状时，象上述第一文献所讨论的那样手戴上数据手套进行手形识别时，由于手带有电缆，因而动作受到牵制，或在穿戴感觉方面成问题。即便用摄像机对手形进行识别时，象上述第二文献所讨论的那样以装上手套等标识器为前提时，没有手套时不仅无法进行手形识别，而且戴上时的亲和感成问题。此外，象上述第三文献讨论的那样在不戴手套或标识器的情况下利用多个摄像机对手形和手势进行识别时，将手视为平面，根据该手与哪一摄像机相向来判别手势，但实际上手可能表现为种种形状，这当中还有很多是无法近似成平面的形状。因而，可以作为识别对象应对伸展手指根数等单纯形状，但不适用更复杂形状(例如拇指和食指接触形成孔的形状)等。而象上述第四文献那样，对基于更普遍的本征空间解析方法来说，不清楚如何取得仅仅是手经归一化的图像。对基于本征空间解析的方法来说，重要的是如何截取所识别的对象物体其图像区域进行归一化。通常，按刚体识别的对象物体有明显不同时，该归一化只要是大小和亮度归一化便足够了，但是手或容貌这种复杂物体情况下，将其所包含部分截取的处理是极为重要的。例如，将此方法用于容貌识别时，使眼睛、鼻子位置移动至某个一定的位置上，可以利用将颚部或毛发消除的方法。而对于手时，需要用某种方法将腕部区域消除，将手移动至一定位置进行归一化，不进行这种处理，对多种手形和手势的识别，就存在即使利用基于本征空间解析的方法但识别率差这种问题。而且，象上述第五文献所讨论的那样，实际将本征空间解析应用于手的图像时，还需要根据手的图像中的边缘求得轮廓，进而将边缘除外。因此，1根手指伸展的图像和2根手指以接触的形式伸展的图像，在图像上无法区别其差异，结果是不可能用于更加复杂的形状等。因此，本专利技术目的在于，提供一种通过预先对应识别的手形，从给出种种手势的图像当中消除手腕区域进行归一化，并对经归一化的图像应用基于本征空间解析的方法，从而对更为复杂的手形图像也识别其形状和姿势的手形和手势识别装置及手形和手势识别方法以及记录有执行该方法程序的记录媒体。为了达到上述目的，本专利技术具有如下所述特征。第一方面为对光学读取手段所取得的手的图像(以下称为输入手图像)进行手形和手势识别的装置，其中包括输入预先对种种形状和姿势的手进行摄像得到的多个图像，并分别生成该图像消除手腕区域后预先确定的图像形态(手的方向、图像的大小、图像的亮度)经过归一化的手形图像的第一手图像归一化部；将手形图像和与该手形图像相关的形状信息和姿势信息一起分别存储的手形图像信息存本文档来自技高网...

【技术保护点】
一种手形手势识别装置，为对光学读取手段所取得的手的图像（以下称为输入手图像）进行手形和手势识别的装置，其特征在于，包括： 输入预先对种种形状和姿势的手进行摄像得到的多个图像，并分别生成该图像消除手腕区域后预先确定的图像形态（手的方向、图像的大小、图像的亮度）经过归一化的手形图像的第一手图像归一化手段（１１）； 将上述手形图像和与该手形图像相关的形状信息和姿势信息一起分别存储的手形图像信息存储手段（１２Ａ）； 进行本征空间法的解析，根据所述手形图像分别计算本征值和本征向量的本征空间计算手段（１３）； 存储所述本征向量集合的本征向量存储手段（１４）； 将所述手形图像投影至以所述本征向量为基底的本征空间，分别求得该本征空间内投影座标，并存储于所述手形图像信息存储手段（１２Ａ）的第一本征空间投影手段（１５）； 将所述输入手图像输入，生成该输入图像消除手腕区域后按与所述手形图像为同类图像形态那样经过归一化的输入手形图像的第二手图像归一化手段（２１）； 将所述输入手形图像投影至以所述本征向量为基底的本征空间，求得该本征空间内投影座标的第二本征空间投影手段（２２）； 分别比较所述第二本征空间投影手段（２２）求得的所述投影座标和所述手形图像信息存储手段（１２Ａ）存储的所述投影座标，求得与所述输入手形图像最为接近的所述手形图像的手形图像选择手段（２３）；以及 从所述手形图像信息存储手段（１２Ａ）当中取得并输出所述最为接近的手形图像的所述形状信息和所述姿势信息的形状.姿势输出手段（２４）。...

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：今川和幸，松尾英明，猪木诚二，吕山，
申请(专利权)人：松下电器产业株式会社，邮政省通信总合研究所，
类型：发明
国别省市：JP[日本]