用于分割手势的方法和设备技术

一种手势分割方法，它可以在识别手势将手势自动分割成单词或由多个单词构成的可理解单元，无需用户指出在哪里分割。预先存储包含过渡动作之特征的过渡特征数据，其中在表示单词的动作期间，不会观察到过渡动作，但从一个动作过渡到另一个时，可以观察到过渡动作。然后，检测与观察到过渡动作的身体部位相对应的图像的运动，将检测到的图像运动与过渡特征数据比较，并确定观察到过渡动作的时间位置，以便对手势进行分割。（*该技术在2019年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及用于分割手势的方法和设备，尤其涉及一种当识别手势时将手语手势自动分割成例如单词的方法和设备。近年来，个人计算机已允许用诸如定位设备进行输入，因此在用户中流行起来而不仅仅限于专业性使用，且不需要进行复杂的键盘操作。另外，由于后来发展了用户语音自动识别技术，市场上出现了语音输入型个人计算机或者备有语音指示型微机的家用电器(下文将这种个人计算机或具有微机的家用电器称为计算机设备)。假设该技术有进一步的发展，那么计算机设备的输入操作大致会是一种个人间通信的方式。另外，用手操作有困难的用户很容易地访问计算机设备，这要感谢语音输入系统。人们通过移动手或头，或者改变脸部表情以及说话来相互交流。如果计算机设备能够自动识别人体特殊部位的这些运动，那么用户就可以用一种类似于个人间通信的方法处理输入操作。另外，用语音操作有困难的用户可以用手语容易地访问计算机设备。该计算机设备还可用来翻译手语。为了对这类需求作出响应，本专利技术的受让人和其他人已开发了用于识别人体特殊部位运动(包括手语手势)的计算机设备。以下是传统计算机设备中用来识别手语手势的处理过程首先，给用户拍照，然后将其图像存储起来。其次将一部分图像指定为手。然后，检测手的运动，并通过参照词典确定与被检测运动匹配的手语单词，其中所述词典叙述了如何做手语动作。用这种方式，计算机设备可以识别用户的手语。在下文中，就上述过程，详细描述了根据手的运动获得手语单词所执行的过程。每个手语单词一般由几个单位动作或其组合构成。这里，单位动作是指可分的最小动作，诸如举、降、弯。假设单位动作为A、B和C，那么手语单词可以用以下方式表示，即(A)、(B)、(C)、…、(A，B)、(A，C)、(B，C)、…(A，B，C)、…。人们通过组合这些手语单词进行手语对话。假设手语单词(A)表示“电源”，而手语单词(B，C)表示“切断”，那么通过表达手语单词(A)和(B，C)，即通过连续做单位动作A，B和C，可以完整表示“切断电源”的意思。在面对面的手语中，当做手语的人(以下称说话人)想着手语单词(A)和(B，C)而连续做出单位动作A，B和C时，他/她的伙伴通常能凭直觉识别一系列表示手语单词(A)和(B，C)的单位动作。另一方面，当把手语输入计算机设备时，即使用户想着手语单词(A)和(B，C)而连续做出单位动作A、B和C，计算机设备也不能将一系列单位动作A、B和C识别为手语单词(A)和(B、C)。因此，用户在手语单词(A)和(B，C)之间做一预定动作，诸如停顿(下文中，称分割动作a)。具体地说，当用户想输入“切断电源”时，他/她通过在手语单词(A)和(B，C)之间插入分割动作a，来表达所述手语单词，即首先做单位动作A，然后做分割动作a，最后做单位动作B和C。然后，计算机设备检测用户做的一系列动作，在分割动作a的前后进行分割，并获得手语单词(A)和(B，C)。由此可见，对于计算机设备中执行的传统动作识别方法，当用户每次用手语手势将由几个单词构成的句子输入到计算机设备中时，他/她只能在对应一个单词的手势和对应另一单词的手势之间不厌其烦地插入分割动作。这是因为传统的动作识别方法不能将被检测的动作自动分割成单词。注意，将被检测的一系列单位动作(动作代码串)分割成单词的方法可以包括，例如，用类似于一种日本字处理器的方式进行处理，在所述日本字处理器中，将字符代码串分割成单词，然后将其转换成字符。但是，在该情况下，需参考记录单词的词典来分割动作代码串。因此，分割动作代码串的位置并不是唯一确定的。如果属这种情况，那么计算机设备必须向用户提供几种分割方式，然后用户必须选择适于其目的的最佳位置。由此，给用户带来许多麻烦，同时使输入操作很慢。当参照计算机设备中包含的词典(词典包括手语单词(A)、(B)、(C)、…(A，B)、(A，C)、(B，C)、…(A，B，C)、…)，来寻找用户因想着手语单词(A)和(B，C)而连续做出的单位动作A、B和C中的分割位置时，分割位置不会限于一个。因此，计算机设备在一些可能的位置进行分割，向用户提供几种分割方式，诸如(A)和(B，C)，(A，B)和(C)，或者(A，B，C)。用户对上述分割作出响应，选择一个最适合其目的的分割，然后将选中的位置通知计算机设备。由此可见，这种基于动作代码串的分割系统不足以自动分割被检测的单位动作系列。因此，本专利技术的一个目的是提供一种手势分割方法和设备，它能在识别手势时将被检测的手势自动分割成单词，不需要用户说出在哪里分割。本专利技术的第一方面是一种手势分割方法，用于当识别用户手势时，将用户手势自动分割成单词或由多个单词构成的可理解单元，该方法包括以下步骤预先存储包含过渡动作之特征的过渡特征数据，在表示单词的动作期间，不会在用户身体上观察到过渡动作，但从一个动作过渡到另一个动作时，可以观察到过渡动作；对用户摄像，并且存储其图像数据；从图像数据中抽取与观察到过渡动作的身体部分对应的图像；检测与观察到过渡动作的身体部分对应的图像的运动；并且通过比较图像的运动和过渡特征数据，然后求出观察到过渡动作的时间位置，来分割手势，其中图像与观察到过渡动作的身体部分相对应。如上所述，在第一方面中，根据过渡动作分割手势，其中在表示单词的动作期间，不会在用户身体上观察到过渡动作，但从一个动作过渡到另一个动作时，可以观察到过渡动作。因此，可以将检测到的手势自动分割成单词或由多个单词构成的可理解单元，无需用户指出在哪里分割。依照第二方面，在第一方面中，过渡动作包括眨眼。依照第三方面，在第一方面中，过渡动作包括点头。依照第四方面，在第一方面中，过渡动作包括闭嘴。依照第五方面，在第一方面中，过渡动作包括停止手的运动。依照第六方面，在第一方面中，过渡动作包括停止身体的运动。依照第七方面，在第一方面中，过渡动作包括用手敷面。依照第八方面，在第一方面中，所述方法还包括在用户周围设置无意义手区域的步骤，即使在该区域中观察到用户的手，也认为手势无效，其中过渡动作包括手进出无意义手区域。依照第九方面，在第一方面中，在分割手势的步骤中，测量过渡手势的持续时间，然后根据持续时间，对手势进行分割。如上所述，在第九方法，可以提高分割准确度。依照第十方面，在第一方面中，所述方法还包括以下步骤预先存储包含非过渡动作之特征的非过渡特征数据，从表示一个单词的动作过渡到另一个时，不能在用户身体上观察到非过渡动作，但在表示一个单词的动作期间，可以观察到非过渡动作；从图像数据中抽取与观察到非过渡动作的身体部分对应的图像；检测与观察到非过渡动作的身体部分对应的图像的运动；并将图像的运动与非过渡特征数据进行比较，求出观察到非过渡动作的时间位置，其中图像与观察到非过渡动作的身体部分相对应，并且在分割手势的步骤中，不在观察到非过渡动作的时间位置处分割手势。如上所述，在第十方面，不在观察到非过渡动作的时间位置处分割手势，从表示一个单词的动作过渡到另一个时，不能在用户身体上观察到非过渡动作，但在表示一个单词的动作期间，可以观察到非过渡动作。因此，可以避免单词分割错误，从而提供分割准确度。依照第十一方面，在第十方面中，非过渡动作包括使手彼此合拢，手的间距小于一预值。依照第十二方面，在第十方面中，非过渡动作包括改变嘴本文档来自技高网...

【技术保护点】
一种手势分割方法，用于当识别用户手势时，将用户手势自动分割成单词或由多个单词构成的可理解单元，其特征在于，所述方法包括以下步骤： 预先存储包含过渡动作之特征的过渡特征数据，在表示单词的动作期间，不会在用户身体上观察到所述过渡动作，但从一个动作过渡到另一个动作时，可以观察到所述过渡动作； 对用户摄像，并且存储其图像数据； 从所述图像数据中抽取与观察到所述过渡动作的身体部分对应的图像； 检测与观察到所述过渡动作的身体部分对应的图像的运动；并 通过比较所述图像的运动和所述过渡特征数据，然后求出观察到所述过渡动作的时间位置，来分割所述手势，其中所述图像与观察到所述过渡动作的身体部分相对应。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：高田雄二，松尾英明，猪木诚二，吕山，长嶋祐二，
申请(专利权)人：松下电器产业株式会社，邮政省通信总合研究所，
类型：发明
国别省市：JP[日本]