基于3D成像技术的唇语翻译装置及唇语翻译方法制造方法及图纸

本发明专利技术公开了一种基于3D成像技术的唇语翻译装置及唇语翻译方法，所述唇语翻译装置包括至少一3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一嘴部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的嘴型；所述输出模块用于输出3D影像匹配嘴型所对应的信息。本发明专利技术基于3D成像技术的唇语翻译装置及唇语翻译方法能够实现对唇语的识别，方便语言障碍的用户使用，更准确的获取唇语的影像，从而建立更加清晰准确的模型，进而能够准确的将唇语翻译出来。

Lip language translation device and lip translation method based on 3D imaging technology

The invention discloses a lip language translation device and a lip language translation method based on 3D imaging technology. The lip language translation device comprises at least one 3D camera, a recognition module, a processing module and an output module, the 3D camera is used to obtain a 3D image of a mouth, and the recognition module is used to identify the features on a 3D image. Each 3D image corresponds to a combination of feature points formed by its own feature points; the processing module is used to identify the mouth shape matched with the combination of feature points; and the output module is used to output the information corresponding to the mouth shape matched by the 3D image. The lip language translation device and the lip language translation method based on the 3D imaging technology can realize the identification of the lip language, facilitate the use of the users with language barriers, obtain the image of the lip language more accurately, thereby establishing a clearer and more accurate model, and then can accurately translate the lip language.

【技术实现步骤摘要】
基于3D成像技术的唇语翻译装置及唇语翻译方法
本专利技术涉及一种基于3D成像技术的唇语翻译装置及唇语翻译方法。
技术介绍
唇语，是靠看别人的说话时嘴唇的动作来解读别人说的话，是种很难的技巧，需要大量的练习，有一些听力障碍者会使用这种技巧来与他人交流。唇语的识别是非常困难的。
技术实现思路
本专利技术要解决的技术问题是为了克服现有技术中唇语难于识别的缺陷，提供一种能够更准确的获取唇语的影像，从而建立更加清晰准确的模型，进而能够准确的将唇语翻译出来的唇语翻译装置及唇语翻译方法。本专利技术是通过下述技术方案来解决上述技术问题：一种基于3D成像技术的唇语翻译装置，其特点在于，所述唇语翻译装置包括至少一3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一嘴部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的嘴型；所述输出模块用于输出3D影像匹配嘴型所对应的信息。较佳地，所述摄像头为3D摄像头，所述摄像头包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为2个，第一3D摄像机从正面拍摄所述嘴部，第二3D摄像机从第一3D摄像机下方拍摄所述嘴部，第一3D摄像机和第二3D摄像机的拍摄方向夹角为锐角，所述唇语翻译装置还包括一拼接模块，所述拼接模块用于识别2个3D摄像机获取的3D影像上的特征点，并将2个3D影像通过相同特征点重合的方式缝合以生成一3D模型；所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应。较佳地，所述结构层上的特征点包括唇部特征点、牙齿特征点、舌头特征点及下巴特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。较佳地，所述唇语翻译装置还包括一记录模块以及一调整模块，所述3D摄像机用于按时序获取若干嘴部的3D影像；所述记录模块用于记录每一3D影像匹配嘴型所对应的拼音；所述调整模块用于根据全部拼音的语境选取每个拼音对应的汉字；所述输出模块用于按所述时序输出全部所述汉字。较佳地，所述唇语翻译装置还包括一训练模块，所述训练模块用于利用一数据库对一目标嘴型做模型训练，所述数据库包括若干含义为所述目标嘴型的3D影像。本专利技术还提供一种利用唇语翻译装置实现的唇语翻译方法，其特点在于，所述唇语翻译装置包括至少一3D摄像机，所述唇语翻译方法包括：所述3D摄像机获取一嘴部的3D影像；识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；识别与特征点组合匹配的嘴型；输出3D影像匹配嘴型所对应的信息。较佳地，所述摄像头为3D摄像头，所述摄像头包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为2个，第一3D摄像机从正面拍摄所述嘴部，第二3D摄像机从第一3D摄像机下方拍摄所述嘴部，第一3D摄像机和第二3D摄像机的拍摄方向夹角为锐角，所述唇语翻译方法包括：识别2个3D摄像机获取的3D影像上的特征点，并将2个3D影像通过相同特征点重合的方式缝合以生成一3D模型；识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应。较佳地，所述结构层上的特征点包括唇部特征点、牙齿特征点、舌头特征点及下巴特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。较佳地，所述唇语翻译方法包括：所述3D摄像机按时序获取若干嘴部的3D影像；记录每一3D影像匹配嘴型所对应的拼音；根据全部拼音的语境选取每个拼音对应的汉字；按所述时序输出全部所述汉字。较佳地，所述唇语翻译方法包括：利用一数据库对一目标嘴型做模型训练，所述数据库包括若干含义为所述目标嘴型的3D影像。在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本专利技术各较佳实例。本专利技术的积极进步效果在于：本专利技术基于3D成像技术的唇语翻译装置及唇语翻译方法能够实现对唇语的识别，方便语言障碍的用户使用，更准确的获取唇语的影像，从而建立更加清晰准确的模型，进而能够准确的将唇语翻译出来。附图说明图1为本专利技术实施例1唇语翻译方法的流程图。图2为本专利技术实施例1唇语翻译方法的另一流程图。具体实施方式下面通过实施例的方式进一步说明本专利技术，但并不因此将本专利技术限制在所述的实施例范围之中。实施例1本实施例一种基于3D成像技术的唇语翻译装置，所述唇语翻译装置包括1个3D摄像机。所述摄像头为3D摄像头，所述摄像头包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈。所述唇语翻译装置还包括一识别模块、一处理模块、一输出模块、一记录模块、一调整模块以及一训练模块。所述3D摄像机用于获取一嘴部的3D影像。所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。所述处理模块用于识别与特征点组合匹配的嘴型。所述输出模块用于输出3D影像匹配嘴型所对应的信息。所述3D影像包括结构层和像素层。本专利技术能够通过嘴部的空间模型辨别嘴型。识别特征点从而能够得到一个嘴部的特征点组合，相似的嘴型其特征点组合存在规律并极为相似。另外，本实施例的唇语翻译装置还具有自动校准功能，具体地：所述3D摄像机用于按时序获取若干嘴部的3D影像。所述记录模块用于记录每一3D影像匹配嘴型所对应的拼音。所述调整模块用于根据全部拼音的语境选取每个拼音对应的汉字。所述输出模块用于按所述时序输出全部所述汉字。所述记录模块能够获取多个有顺序的嘴型的信息，有些嘴型容易识别能够准确的获取其含义，有些嘴型对应多个词语的发音，通过整个句子的语境分析能够准确的获取语句。所述训练模块用于利用一数据库对一目标嘴型做模型训练，所述数据库包括若干含义为所述目标嘴型的3D影像。本实施例通过输入大量的嘴型3D影像，能够训练识别3D影像中嘴部影像所对应的嘴型准确度。参见图1，利用本实施例的唇语翻译装置，本实施例还提供一种唇语翻译方法，包括：步骤100、所述3D摄像机获取一嘴部的3D影像；步骤101、识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；步骤102、识别与特征点组合匹配的嘴型；步骤103、输出3D影像匹配嘴型所对应的信息。进一步地，本实施例的唇语翻译方法包括：步骤200、所述3D摄像机按时序获取若干嘴部的3D影像。步骤201、识别每一3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应。步骤202、对于每一特征点组合，识别与特征点组合匹配的嘴型。步骤203、记录每一3D影像匹配嘴型所对应的拼音。步骤204、根据全部拼音的语境选取每个拼音对应的汉字。步骤205、按所述时序输出全部所述汉字。本实施例的唇语翻译方法还包括：利用一数据库对一目标嘴型做模型训练，所述数据库包括若干含义为所述目标嘴型的3D影像。本实施例的基于3D成像技术的唇语翻译装置及唇语翻译方法能够实现对唇语的识别，方便语言障碍的用户使用，更准确的获取唇语的影像，从而建立更加清晰准确的模型，进而能够准确的将唇语翻译出来。实本文档来自技高网...

【技术保护点】
1.一种基于3D成像技术的唇语翻译装置，其特征在于，所述唇语翻译装置包括至少一3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一嘴部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的嘴型；所述输出模块用于输出3D影像匹配嘴型所对应的信息。

【技术特征摘要】
1.一种基于3D成像技术的唇语翻译装置，其特征在于，所述唇语翻译装置包括至少一3D摄像机、一识别模块、一处理模块以及一输出模块，所述3D摄像机用于获取一嘴部的3D影像；所述识别模块用于识别3D影像上的特征点，每一3D影像与由自身特征点形成的特征点组合相对应；所述处理模块用于识别与特征点组合匹配的嘴型；所述输出模块用于输出3D影像匹配嘴型所对应的信息。2.如权利要求1所述的唇语翻译装置，其特征在于，所述摄像头为3D摄像头，所述摄像头包括一红外线发射器及一红外线接收器，所述红外线发射器用于发射红外散斑场，所述红外线接收器用于接收红外散斑场的反馈，所述3D摄像机的个数为2个，第一3D摄像机从正面拍摄所述嘴部，第二3D摄像机从第一3D摄像机下方拍摄所述嘴部，第一3D摄像机和第二3D摄像机的拍摄方向夹角为锐角，所述唇语翻译装置还包括一拼接模块，所述拼接模块用于识别2个3D摄像机获取的3D影像上的特征点，并将2个3D影像通过相同特征点重合的方式缝合以生成一3D模型；所述识别模块用于识别3D模型结构层上的空间特征点，每一3D模型与由自身空间特征点形成的特征点组合相对应。3.如权利要求2所述的唇语翻译装置，其特征在于，所述结构层上的特征点包括唇部特征点、牙齿特征点、舌头特征点及下巴特征点，所述特征点组合记录全部特征点在3D空间中的相对位置关系。4.如权利要求1所述的唇语翻译装置，其特征在于，所述唇语翻译装置还包括一记录模块以及一调整模块，所述3D摄像机用于按时序获取若干嘴部的3D影像；所述记录模块用于记录每一3D影像匹配嘴型所对应的拼音；所述调整模块用于根据全部拼音的语境选取每个拼音对应的汉字；所述输出模块用于按所述时序输出全部所述汉字。5.如权利要求1所述的唇语翻译装置，其特征在于，所述唇语翻译装置还包括一训练...

【专利技术属性】
技术研发人员：戴佑俊，
申请(专利权)人：盎锐上海信息科技有限公司，
类型：发明
国别省市：上海,31