汉语与外语自动实时语音翻译并标注字幕的音像录播方法技术

技术编号:10168314 阅读:171 留言:0更新日期:2014-07-02 10:45
本技术方案是一种汉语与外语自动实时语音翻译并标注字幕的音像录播方法,属于声音和图像数据处理技术领域。在现场实时音像录播时,通过拾音器或话筒,将汉语或外语语音传输给录音录像设备,经过汉语或外语语音识别模块,机器翻译模块、视频画面或影像画面字幕叠加机模块、语音合成模块、网络传输模块,服务器音视频解码解压缩软件模块、客户端音视频音像播放软件模块的处理,所有登陆到这个服务器的终端都可以实时看到上述现场实时带字幕和语音的音像画面。方便中外信息实时交流。

【技术实现步骤摘要】
【专利摘要】本技术方案是一种,属于声音和图像数据处理
。在现场实时音像录播时,通过拾音器或话筒,将汉语或外语语音传输给录音录像设备,经过汉语或外语语音识别模块,机器翻译模块、视频画面或影像画面字幕叠加机模块、语音合成模块、网络传输模块,服务器音视频解码解压缩软件模块、客户端音视频音像播放软件模块的处理,所有登陆到这个服务器的终端都可以实时看到上述现场实时带字幕和语音的音像画面。方便中外信息实时交流。【专利说明】
本技术方案属于声音和图像数据处理

技术介绍
目前市面上的汉语或外语有声影像资料的汉字或外文或其对照字幕叠加,一般通过人工方式将汉语或外语有声影像资料中的汉语或外语转换成汉字或外文,再交给视频画面或影像画面字幕叠加机将表达汉语意思的汉字字幕叠加在视频画面或影像画面上,同时通过翻译将汉语翻译成外语或反之将外语翻译成汉语,再通过配音演员将语音配到同步的视频画面或影像画面上,由于存在大量实时或非实时的汉语或世界各地的外语有声影像资料,包括电视录像和电影等有声影像资料,因此,如果单靠采用人工转换的方式会很费工费时而且很难做到实时传输,随着数字有声影像技术的出现,特别是计算机系统用于处理视频影像资料的技术出现,越来越需要有一种能自动实时将汉语或外语语音的音像分别相互转换成外语或汉语语音并加注字幕的技术出现,而且这种能自动根据汉语或外语语音实时转换成汉语或外语字幕的技术不但能在带汉字系统的计算机系统中运行,还能再不带汉字系统只带128个字符的ASCII码系统的以美国为代表的西方国家的计算机系统中运行,以满足世界互联网的日益广泛的运用和云计算、物联网以及世界各地汉语热的出现,中西文化交流越来越频繁的新形势的需要。
技术实现思路
本技术方案的提出就是为了解决上述出现这些问题。具体来说本技术方案通过采用以下的汉语与外语自动实时语音翻译并加注字幕的音像录播方法的技术来解决上述出现的问题: 本技术方案采用的是一种,在采用上述方法进行现场实时音像录播时,通过拾音器或话筒,将汉语或外语语音传输给录音录像设备,录音录像设备首先通过现有计算机软件做好通过摄像机摄制的影像资料中视频画面或影像画面与对应的有声语言的音频信号同步信号标记并储存在音像录播设备的储存系统中,然后将带同步信号标记的有声语言的音频信号提取出来传给嵌入在音像录播设备计算机中的汉语或外语语音识别模块,汉语或外语语音识别模块将汉语或外语语音识别成带与所识别的汉语或外语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码或外文,再通过机器翻译模块将上述汉语语音码或外文分别翻译成用26个拉丁字母表示的与对应汉语语音码或外文句子具有相同同步信号标记的指定的外文或汉语语音码句子,再将上述带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给现有的视频画面或影像画面字幕叠加机模块,根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上,同时将上述翻译成带同步信号标记的指定的外文或汉语语音码句子,通过语音合成模块合成成相应的带同步信号标记的外语或汉语语音,然后与具有相同同步信号标记的带字幕的视频画面或影像画面合成在一起并通过上述音视频编码压缩模块进行编码和压缩,经上述编码和压缩后再传输给网络传输模块,再由网络传输模块将编码和压缩后的上述具有相同同步信号标记的带字幕和语音的视频画面或影像画面传输到宽带网络,宽带网络将其连接到指定的服务器上进行储存,在服务器音视频解码解压缩软件模块、客户端音视频音像播放软件模块的支持下,所有登陆到这个服务器的终端都可以实时看到上述现场实时带字幕和语音的音像画面。上述网络传输模块,可以是有线网络传输模块也可以是3G、4G、wif1、wimax、蓝牙无线网络传输模块,在采用有线网络传输模块时,上述宽带网络是有线宽带网络,在采用无线网络传输模块时,上述宽带网络是无线宽带网络。上述的汉语语音码是以单词为单位,这里将单个汉字看作单音节词,根据组成该单词的每个音节的《汉语拼音方案》中的拼音,用且仅用26个拉丁字母对汉语拼音的声母、介母、韵母、声调采取先编码再依次按“声码+介码+韵码+调码兼隔音节符号”的顺序编码拼写,并通过得到的语音码的编码直接表达汉语信息,当直接用语音码编码来表示汉语信息时,其标点符号的用法同英文的标点符号的用法相同,编码时同一个单词的多个音节不用空格连续编码,单词与单词之间要有空格隔开。由于本技术方案采用26个拉丁字母表示的汉语语音码来表达汉语信息,且当直接用语音码编码来表示汉语信息时,其标点符号的用法同英文的标点符号的用法相同,这样就保证了汉语信息的表达连标点符号在内都与ASCII码完全一致,也即与ASCII码100%兼容,这样上述汉语语音识别模块、机器翻译模块、语音合成模块由于处理的汉语信息是用与ASCII码完全一致的汉语语音码来表示的,这样就使得这些模块可以在ASCII码系统的计算机中运行,由于组成整个系统的模块可以在ASCII码系统的计算机中运行,因此,整个系统可以在ASCII码系统的计算机中运行。有了本技术方案以后,汉语信息可以在汉字内码系统和非汉字内码系统的ASCII内码系统的计算机信息系统中畅通无阻地进行传输和处理,而且随着世界互联网的日益广泛的运用和云计算、物联网以及世界各地汉语热的出现,使得汉语与以英语为代表的世界各国的实时非实时的影像资料的相互观摩交流带来了极大的方便,特别是方便中国观众通过外国的实时影视资料边看新闻边学外语,外国观众通过中国的实时影视资料边看中国新闻边学汉语,从而使汉语能够更广更好地传播到世界各地,促进中国文化和世界文化的相互交流。除了汉语以汉语语音码的形式输出外,本技术方案所述的汉语语音码需要时,在汉字系统的计算机中可以通过汉字与汉语语音码转换模块转换成汉字,并且汉语语音码或汉字能够单独或者汉语语音码与汉字、汉语拼音,意义一致的外文对照显示、储存、输出。【具体实施方式】下面结合实施例对本专利技术的【具体实施方式】作进一步的说明。 (一)本技术方案所采用的汉语语音码的每一音节声、韵、调的编码方法采用以下的方法: 注:破折号“一”后的符号均为汉语拼音符号,破折号“一”前的字母为所采用的汉语每一音节声、韵、调的编码,以下均同,以下将下列对照表简称为码表:1、声码的编码符号采用与汉语拼音方案基本一致的声母的字母符号,比如采用下面这种声码的编码形式:【权利要求】1.一种,其特征是:在现场实时音像录播时,通过拾音器或话筒,将汉语或外语语音传输给录音录像设备,录音录像设备首先通过现有计算机软件做好通过现场实时摄像机摄制的视频画面或影像画面与对应的有声语言的音频信号同步信号标记并储存在音像录播设备的储存系统中,然后将带同步信号标记的有声语言的音频信号提取出来传给嵌入在音像录播设备计算机系统中的汉语或外语语音识别模块,汉语或外语语音识别模块将汉语或外语语音识别成带与所识别的汉语或外语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码或外文,再通过机器翻译模块将上述汉语语音码或外文分别翻译成用26个拉丁字母表示的与对应汉语语音码或外文句子具有相同同步信号标记的指定的外文或汉语语音码句子本文档来自技高网
...

【技术保护点】
一种汉语与外语自动实时语音翻译并标注字幕的音像录播方法, 其特征是: 在现场实时音像录播时,通过拾音器或话筒,将汉语或外语语音传输给录音录像设备,录音录像设备首先通过现有计算机软件做好通过现场实时摄像机摄制的视频画面或影像画面与对应的有声语言的音频信号同步信号标记并储存在音像录播设备的储存系统中,然后将带同步信号标记的有声语言的音频信号提取出来传给嵌入在音像录播设备计算机系统中的汉语或外语语音识别模块,汉语或外语语音识别模块将汉语或外语语音识别成带与所识别的汉语或外语语音相同同步信号标记的用26个拉丁字母表示的汉语语音码或外文,再通过机器翻译模块将上述汉语语音码或外文分别翻译成用26个拉丁字母表示的与对应汉语语音码或外文句子具有相同同步信号标记的指定的外文或汉语语音码句子, 再将上述带同步信号标记的汉语语音码字幕或外文字幕或它们对照文本字幕传输给现有的视频画面或影像画面字幕叠加机模块,根据汉语语音码字幕或外文字幕或它们对照文本字幕与视频画面或影像画面同步信号标记的对应关系将字幕信息叠加在视频画面或影像画面上,同时将上述翻译成带同步信号标记的指定的外文或汉语语音码句子,通过语音合成模块合成成相应的带同步信号标记的外语或汉语语音,然后与具有相同同步信号标记的带字幕的视频画面或影像画面合成在一起并通过上述音视频编码压缩模块进行编码和压缩,经上述编码和压缩后再传输给网络传输模块,再由网络传输模块将编码和压缩后的上述具有相同同步信号标记的带字幕和语音的视频画面或影像画面传输到宽带网络,宽带网络将其连接到指定的服务器上进行储存,在服务器音视频解码解压缩软件模块、客户端音视频音像播放软件模块的支持下,所有登陆到这个服务器的终端都可以实时看到上述现场实时带字幕和语音的影像画面。...

【技术特征摘要】

【专利技术属性】
技术研发人员:苗玉水
申请(专利权)人:上海能感物联网有限公司
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1