基于3D成像技术的手语翻译装置及手语翻译方法制造方法及图纸

本发明专利技术公开了一种基于3D成像技术的手语翻译装置及手语翻译方法，所述手语翻译装置包括至少一个3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一手部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的手势；所述输出模块用于输出3D影像匹配手势所对应的信息。本发明专利技术基于3D成像技术的手语翻译装置及手语翻译方法能够更准确的获取手语的影像，从而建立更加清晰准确的模型，进而能够准确的将手语翻译出来。

Sign language translation device and sign language translation method based on 3D imaging technology

The present invention discloses a sign language translation device and a sign language translation method based on 3D imaging technology. The sign language translation device includes at least one 3D camera, an identification module, a processing module, and an output module. The 3D camera is used to obtain the 3D image of the one hand; the recognition module is used to identify the 3D image. Feature points, each 3D image corresponds to a feature point formed by its own feature points; the processing module is used to identify the gestures that match the feature points, and the output module is used to output the information corresponding to the matching gestures of the 3D image. The sign language translation device and the sign language translation method based on 3D imaging technology can more accurately obtain the image of the sign language, so as to establish a more clear and accurate model, and then be able to translate the sign language accurately.

【技术实现步骤摘要】
基于3D成像技术的手语翻译装置及手语翻译方法
本专利技术涉及一种基于3D成像技术的手语翻译装置及手语翻译方法。
技术介绍
通常正常人与聋哑人士沟通时需要学习一套手语，手语的学习需要花费相当大的精力及相当长的时间。另外，大多数手语的表达方式因国籍或地区的不同而不同，故不同国籍或地区的聋哑人士相互进行交流也存在沟通的问题。现有的手语翻译装置多存在于概念阶段，实现起来复杂且无法准确翻译手语的含义。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中手语翻译装置实现起来复杂且无法准确翻译手语的含义的缺陷，提供一种能够更准确的获取手语的影像，从而建立更加清晰准确的模型，进而能够准确的将手语翻译出来的手语翻译装置及手语翻译方法。本专利技术是通过下述技术方案来解决上述技术问题：一种基于3D成像技术的手语翻译装置，其特点在于，所述手语翻译装置包括至少一个3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一手部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的手势；所述输出模块用于输出3D影像匹配手势所对应的信息。较佳地，所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为3个，一个3D摄像机从正面拍摄所述手部，另外两个3D摄像机分别从两侧拍摄所述手部，所述手语翻译装置还包括一拼接模块，所述拼接模块用于识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型；所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应。较佳地，所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。较佳地，所述手语翻译装置还包括一记录模块以及一调整模块，所述3D摄像机用于按顺序获取若干手部的3D影像；所述记录模块用于按所述顺序记录每一3D影像匹配手势所对应的信息；所述调整模块用于根据全部信息的语境重新调节每个信息的顺序；所述输出模块用于按最新顺序输出全部信息。较佳地，所述手语翻译装置还包括一训练模块，所述训练模块用于利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。本专利技术还提供一种利用手语翻译装置实现的手语翻译方法，其特点在于，所述手语翻译装置包括至少一个3D摄像机，所述手语翻译方法包括：所述3D摄像机获取一手部的3D影像；识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；识别与特征点组合匹配的手势；输出3D影像匹配手势所对应的信息。较佳地，所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为3个，一个3D摄像机从正面拍摄所述手部，另外两个3D摄像机分别从两侧拍摄所述手部，所述手语翻译方法包括：识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型；识别3D模型结构层上的特征点，每一3D模型与由自身特征点形成的特征点组合相对应。较佳地，所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。较佳地，所述手语翻译方法包括：所述3D摄像机按顺序获取若干手部的3D影像；按所述顺序记录每一3D影像匹配手势所对应的信息；根据全部信息的语境重新调节每个信息的顺序；按最新顺序输出全部信息。较佳地，所述手语翻译方法包括：利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本专利技术各较佳实例。本专利技术的积极进步效果在于：本专利技术基于3D成像技术的手语翻译装置及手语翻译方法能够更准确的获取手语的影像，从而建立更加清晰准确的模型，进而能够准确的将手语翻译出来。附图说明图1为本专利技术实施例1手语翻译方法的流程图。图2为本专利技术实施例1手语翻译方法的另一流程图。具体实施方式下面通过实施例的方式进一步说明本专利技术，但并不因此将本专利技术限制在所述的实施例范围之中。实施例1本实施例一种基于3D成像技术的手语翻译装置，所述手语翻译装置包括1个3D摄像机。3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈。所述手语翻译装置还包括一识别模块、一处理模块、一输出模块、一记录模块、一调整模块以及一训练模块。所述3D摄像机用于获取一手部的3D影像。所述3D影像包括结构层和像素层。本专利技术能够通过手型的空间模型辨别手部的手势。所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。识别特征点从而能够得到一个手部的特征点组合，相似的手势其特征点组合存在规律并极为相似。所述处理模块用于识别与特征点组合匹配的手势。所述输出模块用于输出3D影像匹配手势所对应的信息。另外，本实施例的手语翻译装置还具有自动校准功能，具体地：所述3D摄像机用于按顺序获取若干手部的3D影像。所述记录模块用于按所述顺序记录每一3D影像匹配手势所对应的信息。所述记录模块能够获取多个有顺序的手势的信息，这些信息是分离的并带有时序的，这些分离的词语根据手语的时序拼接无法带来更好的阅读体验。所述调整模块用于根据全部信息的语境重新调节每个信息的顺序。本实施例通过获取信息后，根据信息的语境以及语言使用习惯重新调整信息的排列顺序，更方便用户阅读。所述输出模块用于按最新顺序输出全部信息。所述训练模块用于利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。本实施例通过输入大量的手势3D影像，能够训练识别3D影像中手部影像所对应的手势准确度。参见图1，利用本实施例的手语翻译装置，本实施例还提供一种手语翻译方法，包括：步骤100、所述3D摄像机获取一手部的3D影像；步骤101、识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。步骤102、识别与特征点组合匹配的手势。步骤103、输出3D影像匹配手势所对应的信息。进一步地，本实施例的手语翻译方法包括：步骤200、所述3D摄像机按顺序获取若干手部的3D影像。步骤201、识别每一3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。步骤202、对于每一特征点组合，获取与特征点组合匹配的手势。步骤203、按所述顺序记录每一3D影像匹配手势所对应的信息。步骤204、根据全部信息的语境重新调节每个信息的顺序。步骤205、按最新顺序输出全部信息。本实施例的手语翻译方法还包括：利用一数据库对一目标手势做模型训练，所述数据库包括若干含义为所述目标手势的3D影像。本实施例基于3D成像技术的手语翻译装置及手语翻译方法能够更准确的获取手语的影像，从而建立更加清晰准确的模型，本文档来自技高网...

【技术保护点】
1.一种基于3D成像技术的手语翻译装置，其特征在于，所述手语翻译装置包括至少一个3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一手部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的手势；所述输出模块用于输出3D影像匹配手势所对应的信息。

【技术特征摘要】
1.一种基于3D成像技术的手语翻译装置，其特征在于，所述手语翻译装置包括至少一个3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一手部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的手势；所述输出模块用于输出3D影像匹配手势所对应的信息。2.如权利要求1所述的手语翻译装置，其特征在于，所述3D摄像机包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为3个，一个3D摄像机从正面拍摄所述手部，另外两个3D摄像机分别从两侧拍摄所述手部，所述手语翻译装置还包括一拼接模块，所述拼接模块用于识别3个3D摄像机获取的3D影像上的特征点，并将3个3D影像通过相同特征点重合的方式缝合以生成一3D模型；所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应。3.如权利要求2所述的手语翻译装置，其特征在于，所述结构层上的特征点包括每个指尖的指尖特征点、每个指关节的关节特征点、手心特征点及手背特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。4.如权利要求1所述的手语翻译装置，其特征在于，所述手语翻译装置还包括一记录模块以及一调整模块，所述3D摄像机用于按顺序获取若干手部的3D影像；所述记录模块用于按所述顺序记录每一3D影像匹配手势所对应的信息；所述调整模块用于根据全部信息的语境重新调节每个信息的顺序；所述输出模块用于按最新顺序输出全部信息。5.如权利要求1所述的手语翻译装置，其特征在于，所述手语翻译装置还包括一...

【专利技术属性】
技术研发人员：戴佑俊，
申请(专利权)人：盎锐上海信息科技有限公司，
类型：发明
国别省市：上海,31