手语识别方法及装置、计算机存储介质、电子设备制造方法及图纸

本公开涉及人工智能技术领域，提供了一种手语识别方法、手语识别装置、计算机存储介质、电子设备，其中，手语识别方法包括：基于目标检测算法提取待识别的手语视频中包含的手势图像，获取手势图像对应的特征向量；将特征向量输入训练好的手语识别模型中，根据手语识别模型的输出，得到手势图像对应的手语识别结果；根据自然语言处理算法对手语识别结果进行处理，得到所述手势图像对应的文本识别结果。本公开中的手语识别方法不仅能够降低手语识别成本，而且能够提高识别准确度。

【技术实现步骤摘要】
手语识别方法及装置、计算机存储介质、电子设备
本公开涉及人工智能
，特别涉及一种手语识别方法、手语识别装置、计算机存储介质及电子设备。
技术介绍
随着互联网及计算机技术的迅速发展，相关手语识别领域也在迅速发展。手语识别是通过计算机视觉技术，把识别后手势图像与图像库中已有手语进行比对，检索出手势图像所要表达的意义。该技术可与语音识别、自然语言处理、语音播报等技术相结合，应用于聋哑人士社交场景，使聋哑人能正常与人交流。目前，相关方法中一般是借助于可穿戴设备(例如：可穿戴手环、手套等)来捕捉聋哑人士的手部动作，从而实现对聋哑人士的手语识别。然而，一方面，设备的操作负载，且使用成本高；另一方面，部分手语单词需要配合嘴部或肩部动作，设备无法完全捕捉，其可适应性较差，识别准确率较低。鉴于此，本领域亟需开发一种新的手语识别方法及装置。需要说明的是，上述
技术介绍
部分公开的信息仅用于加强对本公开的背景的理解。
技术实现思路
本公开的目的在于提供一种手语识别方法、手语识别装置、计算机存储介质及电子设备，进而至少在一定程度上避免了现有技术中的方法识别准确率较低的缺陷。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的第一方面，提供一种手语识别方法，包括：基于目标检测算法提取待识别的手语视频中包含的手势图像，获取所述手势图像对应的特征向量；将所述特征向量输入训练好的手语识别模型中，根据所述手语识别模型的输出，得到所述手势图像对应的手语识别结果；根据自然语言处理算法对所述手语识别结果进行处理，得到所述手势图像对应的文本识别结果。在本公开的示例性实施例中，在得到所述手势图像对应的文本识别结果之后，所述方法还包括：将所述文本识别结果与预先设定的标准文本进行匹配，将匹配成功的标准文本作为所述手势图像的最终识别结果。在本公开的示例性实施例中，在基于目标检测算法提取待识别的手语视频中包含的手势图像之后，所述方法还包括：根据图像分类算法对所述手势图像进行分类，得到图像分类结果；当所述图像分类结果为非业务类型时，舍弃所述手势图像。在本公开的示例性实施例中，所述方法还包括：当所述图像分类结果为业务类型时，对所述手势图像进行二值化处理，以得到二值化图像；对得到的所述二值化图像进行形态学处理。在本公开的示例性实施例中，所述方法还包括：将所述待识别的手语视频对应的文件大小调整为第一目标数值；将所述待识别的手语视频对应的视频帧率调整为第二目标数值；将所述待识别的手语视频对应的视频格式转换为目标格式。在本公开的示例性实施例中，获取手势图像样本以及所述手势图像样本对应的标签信息；所述标签信息用于标识所述手势图像样本对应的语义文本；根据所述手势图像样本与所述标签信息训练机器学习模型，以得到所述手语识别模型。在本公开的示例性实施例中，所述根据自然语言处理算法对所述手语识别结果进行处理，得到所述手势图像对应的文本识别结果，包括：根据自然语言处理算法对所述手语识别结果进行去重、纠错和/或消除歧义处理，得到所述手势图像对应的文本识别结果。根据本公开的第二方面，提供一种手语识别装置，包括：提取模块，用于基于目标检测算法提取待识别的手语视频中包含的手势图像，获取所述手势图像对应的特征向量；识别模块，用于将所述特征向量输入训练好的手语识别模型中，根据所述手语识别模型的输出，得到所述手势图像对应的手语识别结果；处理模块，用于根据自然语言处理算法对所述手语识别结果进行处理，得到所述手势图像对应的文本识别结果。根据本公开的第三方面，提供一种计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的手语识别方法。根据本公开的第四方面，提供一种电子设备，包括：处理器；以及存储器，用于存储所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行上述第一方面所述的手语识别方法。由上述技术方案可知，本公开示例性实施例中的手语识别方法、手语识别装置、计算机存储介质及电子设备至少具备以下优点和积极效果：在本公开的一些实施例所提供的技术方案中，一方面，基于目标检测算法提取待识别的手语视频中包含的手势图像，获取手势图像对应的特征向量，能够去除待识别视频中的冗余数据，减少数据处理量，提高数据处理速度，并且，能够将图像信息数据化，便于后续进行相关识别处理。进一步的，将特征向量输入训练好的手语识别模型中，根据手语识别模型的输出，得到手势图像对应的手语识别结果，能够提高手势识别的准确度。另一方面，根据自然语言处理算法对手语识别结果进行处理，得到手势图像对应的文本识别结果。能够使得识别结果更加贴合实际的语言环境，提高文本的可读性，以及，提高相关人员的信息获取效率。本公开应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1示出本公开一示例性实施例中手语识别方法的流程示意图；图2示出本公开另一示例性实施例中手语识别方法的流程示意图；图3示出本公开再一示例性实施例中手语识别方法的流程示意图；图4示出本公开示例性实施例中手语识别装置的结构示意图；图5示出本公开示例性实施例中计算机存储介质的结构示意图；图6示出本公开示例性实施例中电子设备的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。本说明书中使用用语“一个”、“一”、“该”和“所述”用以表示存在一个或多个要素/组成部分/等；用语“包括”和“具有”用以表示开放式的包括在内的意思并且是指除了列出的要素/组成部分/等之外还可存在另外的要素/组成部分/等；用语“第一”和“第二”等仅作为标记使用，不是对其对象的数量限制。此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。...

【技术保护点】
1.一种手语识别方法，其特征在于，包括：/n基于目标检测算法提取待识别的手语视频中包含的手势图像，获取所述手势图像对应的特征向量；/n将所述特征向量输入训练好的手语识别模型中，根据所述手语识别模型的输出，得到所述手势图像对应的手语识别结果；/n根据自然语言处理算法对所述手语识别结果进行处理，得到所述手势图像对应的文本识别结果。/n

【技术特征摘要】
1.一种手语识别方法，其特征在于，包括：
基于目标检测算法提取待识别的手语视频中包含的手势图像，获取所述手势图像对应的特征向量；
将所述特征向量输入训练好的手语识别模型中，根据所述手语识别模型的输出，得到所述手势图像对应的手语识别结果；
根据自然语言处理算法对所述手语识别结果进行处理，得到所述手势图像对应的文本识别结果。


2.根据权利要求1所述的方法，其特征在于，在得到所述手势图像对应的文本识别结果之后，所述方法还包括：
将所述文本识别结果与预先设定的标准文本进行匹配，将匹配成功的标准文本作为所述手势图像的最终识别结果。


3.根据权利要求1或2所述的方法，其特征在于，在基于目标检测算法提取待识别的手语视频中包含的手势图像之后，所述方法还包括：
根据图像分类算法对所述手势图像进行分类，得到图像分类结果；
当所述图像分类结果为非业务类型时，舍弃所述手势图像。


4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
当所述图像分类结果为业务类型时，对所述手势图像进行二值化处理，以得到二值化图像；
对得到的所述二值化图像进行形态学处理。


5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
将所述待识别的手语视频对应的文件大小调整为第一目标数值；
将所述待识别的手语视频对应的视频帧率调整为第二目标数值；
将所述待识别的手语视频对应的视频格式转换为目标格式。
<...

【专利技术属性】
技术研发人员：孙孟哲，王佩琪，
申请(专利权)人：京东数字科技控股有限公司，
类型：发明
国别省市：北京;11