当前位置: 首页 > 专利查询>金详哲专利>正文

基于自动的单词翻译改变嘴唇形状的装置及方法制造方法及图纸

技术编号:11686574 阅读:69 留言:0更新日期:2015-07-06 19:04
公开了一种基于自动的单词翻译改变嘴唇形状的装置及方法。根据本发明专利技术的实施方式,本发明专利技术实现了:当用户通过麦克风输入语音时通过使用摄像机拍摄用户的面部,使用户的嘴唇所在的区域与通过摄像机拍摄的图像区分;并且识别用户的语音,并且相对于与所识别的语音相对应的单词被翻译为其他语言时的情况,表示嘴唇形状的局部图像被插入到所区分的嘴唇所在的区域中,使得当用户通过语音输入的单词被翻译为其他语言时,能够自动地改变与单词相对应的嘴唇形状。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术的实施方式涉及如下技术:在拍摄用户的面部视频并且识别用户的语音之 后,当与用户的语音相对应的单词被翻译成不同的语言时,根据不同的语言的单词将在面 部视频中的用户的嘴唇的形状改变成其他嘴唇形状。
技术介绍
现今,随着与诸如视频电话、视频聊天等基于视频的通信有关的技术的出现,越来 越关注基于视频的通信。 与现有的基于语音的通信相比,基于视频的通信可以支持在说话者和接收者之间 准确的通信,因为不仅从接收者的终端装置输出了说话者的语音还在接收者的终端装置上 显示了说话者的面部图像。 另外,近来,随着互联网的发展,国际间的通信越来越多。在这种情况下,当通信双 方之间的语言互不相同时,双方之间的通信可能进展的并不顺利。 为了解决上述问题,已经出现了用于识别说话者的语音并且自动地将识别出的语 音翻译成另一种语言的技术。 然而,如果基于视频的通信简单地将说话者的语音翻译成不同的语言而不将说话 者的嘴唇形状改变成与翻译出的语言一致,则接收者可能感到难于完全地理解说话者的意 图。 因此,需要进行更多的研宄以在说话者的语音被翻译成不同的语言时将说话者的 嘴唇形状改变成与翻译出的语言一致。
技术实现思路
技术问题 当用户使用摄像机拍摄他或她自己的面部的视频并且通过麦克风输入他或她的 语音时,本专利技术的实施方式从摄像机拍摄的视频中分离用户的嘴唇所在的区域;识别用户 的语音;针对用户的嘴唇所在的区域插入局部视频,该局部视频表示当与识别出的语音相 对应的特定的单词被翻译成不同的语言时获得的单词的嘴唇形状。因此,当通过用户的语 音输入的单词被翻译成不同的语言时,本专利技术的实施方式可以自动地将用户的嘴唇的形状 改变成与上述语言一致。 技术方案 根据本专利技术的实施方式的一种基于自动的单词翻译改变嘴唇形状的装置,包含: 单词数据库,在单词数据库中第一语言的多个单词以及针对第一语言的多个单词翻译成第 二语言的多个单词两者被存储成彼此分别相对应;视频数据库,在视频数据库中多个预定 嘴唇形状的视频数据被存储成分别与被翻译成第二语言的多个单词的发音相对应;区域检 测单元,用于使用摄像机捕获用户的面部并且用于从摄像机拍摄的视频中检测用户的面部 区域;区域分离单元,用于从检测到的面部区域中分离用户的嘴唇所在的区域;单词检测 单元,用于通过麦克风接收用户的语音,用于识别用户的输入语音,并且用于从单词数据库 中检测与用户的语音相对应的单词;翻译单词提取单元,用于在检测到的单词是第一语言 的单词时,从单词数据库中提取与检测到的第一语言的单词相对应的被翻译成第二语言的 单词;视频数据提取单元,用于从视频数据库中提取与提取出的第二语言的单词的发音相 对应的嘴唇形状的视频数据;以及视频插入单元,用于针对在摄像机拍摄的视频中的、用户 的嘴唇所在的分离出的区域插入与提取出的嘴唇形状的视频数据相对应的局部视频。 再者,根据本专利技术的实施方式的一种基于自动的单词翻译改变嘴唇形状的方法, 包含:维持单词数据库,在单词数据库中第一语言的多个单词以及针对第一语言的多个单 词翻译成第二语言的多个单词两者被存储成彼此分别相对应;维持视频数据库,在视频数 据库中多个预定嘴唇形状的视频数据被存储成分别与被翻译成第二语言的多个单词的发 音相对应;通过使用摄像机捕获用户的面部来从摄像机拍摄的视频中检测用户的面部区 域;从检测到的面部区域中分离用户的嘴唇所在的区域;通过麦克风接收用户的语音并且 通过识别用户的输入语音来从单词数据库中检测与用户的语音相对应的单词;当检测到的 单词是第一语言的单词时,从单词数据库中提取与检测到的第一语言的单词相对应的被翻 译成第二语言的单词;从视频数据库中提取与提取出的第二语言的单词的发音相对应的嘴 唇形状的视频数据;以及针对在摄像机拍摄的视频中的、用户的嘴唇所在的分离出的区域 插入与提取出的嘴唇形状的视频数据相对应的局部视频。 有益效果 当用户使用摄像机拍摄他或她自己的面部的视频并通过麦克风输入他或她的语 音时,本专利技术的实施方式从摄像机拍摄的视频中分离用户的嘴唇所在的区域;识别用户的 语音;针对用户的嘴唇所在的区域插入局部视频,该局部视频表示当与识别出的语音相对 应的特定的单词被翻译成不同的语言时获得的单词的嘴唇形状。因此,当通过用户的语音 输入的单词被翻译成不同的语言时,本专利技术的实施方式可以自动地将用户的嘴唇的形状改 变成与上述语言一致。【附图说明】 图1是图示了根据本专利技术的实施方式的基于自动的单词翻译改变嘴唇形状的装 置的结构的视图;以及 图2是图示了根据本专利技术的实施方式的基于自动的单词翻译改变嘴唇形状的方 法的流程图。【具体实施方式】 现在将基于各方面或各实施方式详细地描述本专利技术。然而,本专利技术可以以许多不 同的形式实施并且不应被解释为仅限于本文阐明的实施方式,而应被解释为覆盖落入本发 明的构思和技术范围之内的修改方案、等效方案或替选方案。 应理解当元件被称为与另外的元件"连接"或"耦接"时,其可以直接地与其他元 件连接或耦接或者可以存在介于中间的元件。相反,当元件被称为与另外的元件"直接地连 接"或"直接地耦接"时,不存在介于中间的元件。用于描述元件之间的关系的其他术语应 以类似的方式被解释(例如,"在…之间"相对"直接地在…之间","相邻"相对于"直接地 相邻"等)。 本文中使用的术语仅是为了描述特定的方面或实施方式目的而不意在对本发 明进行限制。如在本文使用的,单数形式同样旨在包含复数形式,除非上下文明确地另 有所指。还应理解,术语包括("comprise"、"comprising"),包含("include"和/或 "including"),当在本文中使用时,指定所陈述的特征、整体、步骤、操作、元件和/或组件 的存在,但并不排除一个或更多个其他特征、步骤、操作、部件、组件和/或其组合的存在或 增加。 除非另有定义,否则在本文中使用的包含技术术语和科学术语的所有术语具有如 本专利技术所属领域的普通技术人员通常理解的相同的含义。还应理解,在本文中使用的术语 应被解释为具有与它们在本说明书的上下文以及相关领域中的含义一致的含义并且不会 用理想化地或过于正式的含义来解释,除非本文中明确地这样定义。 在下文中,将参考附图详细地描述本专利技术的实施方式。 图1是图示了根据本专利技术的实施方式的基于自动的单词翻译改变嘴唇形状的装 置的结构的视图。 参考图1,根据本专利技术的实施方式的基于自动的单词翻译改变嘴唇形状的装置 110包含单词数据库111,视频数据库112,区域检测单元113,区域分离单元114,单词检测 单元115,视频数据提取单元117,以及视频插入单元118。 这里,可以基于诸如桌面个人计算机(PC)、移动终端、个人数字助理(PDA)、膝上 型电脑、平板PC等的基于微处理器的装置实现基于自动的单词翻译改变嘴唇形状的装置 110,在上述基于微处理器的装置中嵌入了用于拍摄用户的视频的摄像机和用于接收用户 的语音的麦克风两者,或者摄像机和麦当前第1页1 2 本文档来自技高网...

【技术保护点】
一种用于基于自动的单词翻译改变嘴唇形状的装置,包括:单词数据库,在所述单词数据库中第一语言的多个单词以及针对所述第一语言的多个单词翻译成第二语言的多个单词两者被存储成彼此分别相对应;视频数据库,在所述视频数据库中多个预定嘴唇形状的视频数据被存储成分别与被翻译成所述第二语言的多个单词的发音相对应;区域检测单元,用于使用摄像机捕获用户的面部并且用于从所述摄像机拍摄的视频中检测所述用户的面部区域;区域分离单元,用于从检测到的面部区域中分离所述用户的嘴唇所在的区域;单词检测单元,用于通过麦克风接收所述用户的语音,用于识别所述用户的输入语音,并且用于从所述单词数据库中检测与所述用户的语音相对应的单词;翻译单词提取单元,用于在检测到的单词是所述第一语言的单词时,从所述单词数据库中提取与检测到的所述第一语言的单词相对应的被翻译成所述第二语言的单词;视频数据提取单元,用于从所述视频数据库中提取与提取出的所述第二语言的单词的发音相对应的嘴唇形状的视频数据;以及视频插入单元,用于针对在所述摄像机拍摄的视频中的、所述用户的嘴唇所在的分离出的区域插入与提取出的所述嘴唇形状的视频数据相对应的局部视频。

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员:金详哲
申请(专利权)人:金详哲
类型:发明
国别省市:韩国;KR

相关技术
    暂无相关专利
网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1