手势识别方法及装置制造方法及图纸

本发明专利技术公开了一种手势识别方法及装置，该手势识别方法包括：获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。本发明专利技术实现了快速、准确地识别用户手势中包含的语义信息的技术效果。

Gesture recognition method and device

【技术实现步骤摘要】
手势识别方法及装置
本专利技术涉及人工智能领域，具体而言，涉及一种手势识别方法及装置。
技术介绍
手势是人们之间最便捷、最常用的交流方式之一，在人类长期的社会生产实践活动中一直扮演着十分重要的角色。随着人工智能等发展，人机交互也更多逐渐地应用到了人们生活中的方方面面，同时手势在人机交互的过程中的地位越来越重。手势其自然、便捷的特点大大提高了人机交互的效率，并大大拓展了人机交互的应用场景。但是，人类的手势本来就十分的复杂，不同的识别方法又会收到各种各样的环境干扰，如何快速、准确地识别人类手势中包含的复杂语义信息，成为手势识别研究过程中需解决的问题。
技术实现思路
本专利技术为了解决上述
技术介绍
中的至少一个技术问题，提出了一种手势识别方法及装置。为了实现上述目的，根据本专利技术的一个方面，提供了一种手势识别方法，该方法包括：获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。可选的，所述训练好的手势识别模型为采用标注好语义信息的手势样本作为训练数据并采用预设的机器学习算法训练得出的，其中，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息。可选的，该手势识别方法还包括：获取训练样本集，所述训练样本集包括多个标注好语义信息的手势样本，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；根据所述训练样本集采用预设的机器学习算法进行模型训练，得到训练好的手势识别模型。可选的，所述机器学习算法包括：CenterNet算法。可选的，该手势识别方法还包括：获取采集的用户的语音信息；将所述语音信息输入到训练好的语音识别模型中得到语音识别结果，其中，所述训练好的语音识别模型为根源预设的语音样本采用Transformer算法训练得出的；输出所述语音识别结果对应的手势信息。为了实现上述目的，根据本专利技术的另一方面，提供了一种手势识别装置，该装置包括：手势采集单元，用于获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；手势识别单元，用于将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。可选的，所述训练好的手势识别模型为采用标注好语义信息的手势样本作为训练数据并采用预设的机器学习算法训练得出的，其中，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息。可选的，该手势识别装置还包括：训练样本集获取单元，用于获取训练样本集，其中，所述训练样本集包括多个标注好语义信息的手势样本，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；模型训练单元，用于根据所述训练样本集采用预设的机器学习算法进行模型训练，得到训练好的手势识别模型。可选的，所述机器学习算法包括：CenterNet算法。可选的，该手势识别装置还包括：语音信息获取单元，用于获取采集的用户的语音信息；语音识别单元，用于将所述语音信息输入到训练好的语音识别模型中得到语音识别结果，其中，所述训练好的语音识别模型为根源预设的语音样本采用Transformer算法训练得出的；手势输出单元，用于输出所述语音识别结果对应的手势信息。为了实现上述目的，根据本专利技术的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述手势识别方法中的步骤。为了实现上述目的，根据本专利技术的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序在计算机处理器中执行时实现上述手势识别方法中的步骤。本专利技术的有益效果为：本专利技术通过用户在做出静态手势时的彩色图像、深度图像、红外图像以及人体骨骼点信息训练出手势识别模型，进而根据训练好手势识别模型识别出用户手势对应的语义信息，实现了快速、准确地识别用户手势中包含的语义信息的技术效果。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1是本专利技术实施例手势识别方法的流程图；图2是本专利技术实施例手势识别模型的训练流程图；图3是本专利技术实施例语音转化为手势的流程图；图4是本专利技术实施例手势识别装置的第一结构框图；图5是本专利技术实施例手势识别装置的第二结构框图；图6是本专利技术实施例手势识别装置的第三结构框图；图7是本专利技术实施例计算机设备示意图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分的实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。本领域内的技术人员应明白，本专利技术的实施例可提供为方法、系统、或计算机程序产品。因此，本专利技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本专利技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。本专利技术提供一种基于Kinect的手势识别方法，实现静态手语到语音的翻译以及语音到对应手语的翻译，并有效提高了静态手语识别的准确率。本专利技术借助计算机与Kinect摄像头，可实现手语转化为语音、语音转化为手语两个功能。图1是本专利技术实施例手势识别方法的流程图，如图1所示，本实施例的手势识别方法包括步骤S101至步骤S102。步骤S101，获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息。在本专利技术可选实施例中，本步骤可以通过Kinect摄像头完成用户手势图像的采集。Kinect内置彩色摄像头、深度摄像头本文档来自技高网...

【技术保护点】
1.一种手势识别方法，其特征在于，包括：/n获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；/n将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。/n

【技术特征摘要】
1.一种手势识别方法，其特征在于，包括：
获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；
将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模型中，得到所述用户做出的手势的语义信息。


2.根据权利要求1所述的手势识别方法，其特征在于，所述训练好的手势识别模型为采用标注好语义信息的手势样本作为训练数据并采用预设的机器学习算法训练得出的，其中，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息。


3.根据权利要求1所述的手势识别方法，其特征在于，还包括：
获取训练样本集，所述训练样本集包括多个标注好语义信息的手势样本，所述手势样本包括用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；
根据所述训练样本集采用预设的机器学习算法进行模型训练，得到训练好的手势识别模型。


4.根据权利要求2或3所述的手势识别方法，其特征在于，所述机器学习算法包括：CenterNet算法。


5.根据权利要求1所述的手势识别方法，其特征在于，还包括：
获取采集的用户的语音信息；
将所述语音信息输入到训练好的语音识别模型中得到语音识别结果，其中，所述训练好的语音识别模型为根源预设的语音样本采用Transformer算法训练得出的；
输出所述语音识别结果对应的手势信息。


6.一种手势识别装置，其特征在于，包括：
手势采集单元，用于获取用户做出手势的彩色图像、深度图像、红外图像以及人体骨骼点信息；
手势识别单元，用于将所述彩色图像、所述深度图像、所述红外图像以及所述人体骨骼点信息输入到训练好的手势识别模...

【专利技术属性】
技术研发人员：徐林嘉，李晓萍，纪耀宗，马格，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11