针对将口语翻成手语的转译的自动化以及在没有真人翻译员服务的情况下设法完成而提出一种系统，其包含以下特征：数据库(1)，其中储存了口语的语句和语法的文本数据以及具有在手语中对应意义的视频数据序列，以及计算机(20)，其与该数据库(10)通信以便将口语的馈入文本数据转译成手语的对应的视频序列，其中，用于定义在该手语的个别文法结构之间的转变位置的初始手部状态的视频序列被进一步以元数据的形式储存于该数据库(10)中，该元数据在转译期间被该计算机(20)插入该手语的文法结构的视频序列之间。?
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及一种用于对失聪者将口语转译成手语(sign language)的系统。
技术介绍
手语是被赋予能以视觉感知的手势的名称，其主要是使用手结合脸部表情、嘴部表情、以及姿势而形成的。手语具有其本身的文法结构，因为手语无法被逐字地转换成口语。尤其是使用手语可以同时传送多重片段的信息，而口语则是由连续片段的信息所组成，即声音和语句。口语到手语的转译是通过手语翻译员执行的，与外语翻译员相当，其是在全日制的学习计划中接受训练。对于视听媒体而言(特别是电影和电视)，存在来自失聪者人群的 对将电影和电视声音转译成手语的大量需求，然而，由于欠缺足够数量的手语翻译员，这可能仅不充分地得到满足。
技术实现思路
本专利技术的技术问题在于将口语到手语的转译自动化，以便在没有真人翻译员服务的情况下设法完成。依据本专利技术，通过专利权利要求I的表征部分中的特征部分来解决此技术问题。从从属权利要求得出依据本专利技术的系统的有利实施例和发展。本专利技术基于一方面将例如德语标准语言的口语的语句和语法的文本数据存储于数据库中，并且另一方面将手语中对应意义的视频数据序列存储于数据库中的构想。因此，该数据库包含视听语言词典，其中，针对口语的语句和/或用词，可获得对应的手语影像或视频序列。针对口语到手语的转译，计算机与该数据库通信，其中文本信息(其特别是还可以由被转换成文本的视听信号语音成分组成)被馈入该计算机中。针对口语文本，上述语音成分的声调(音韵)和音量被尽可能地加以分析以满足语义侦测的所需。对应于馈入的文本数据的视频序列由该计算机从该数据库读出并被连接至完整的视频序列。这可以被独立地重制(例如针对无线电节目、播客(podcast)等)，或者例如被馈入影像迭覆装置(image overlay)中，其将该等视频序列以〃画中画(picture in picture) 〃的形式迭覆在原始的视听信号中。借助于播放速度的动态调整，可以使该两个影像信号彼此同步。因此，口语和手语之间的较大时间延迟在〃在线(on-line)"模式下可以被缩减而在〃离线(off-line)"模式下可以很大程度上被避免。由于个别文法结构间的初始手部状态必须是可辨认的以便理解手语，所以初始手部状态的视频序列被进一步地以元数据(metadata)的形式存储于数据库中，其中，初始手部状态的视频序列在转译期间被插入到手语的文法结构之间。除了初始手部状态之外，个别语段间的转变在获得流畅的〃视觉〃言语效果上扮演一个重要的角色。出于此目的，其可以借助于所存储的有关初始手部状态和转变时的手部状态的元数据来计算对应的交叉衰落(crossfade)，从而使得手的位置在从一个语段到下一个语段的转变时能够无间隙地跟随。附图说明借助于附图中的实施例来更详细地描述本专利技术。图I示出用于对失聪者将口语转译成以视频序列形式的手语的系统的示意性方块 图2示出第一实施例的示意性方块图，其用于处理使用依据图I的系统所产生的视频序列，以及 图3示出第二实施例的示意性方块图，其用于处理使用依据图I的系统所产生的视频序列。具体实施方式 在图I中，附图标记10指定数据库，其被构建成视听语言词典，其中，针对口语的语句和/或用词，以视频序列(剪辑)的形式存储手语的对应影像。经由数据总线11，数据库10与计算机20通信，计算机20以口语的语句和/或用词的文本数据来寻址数据库10，并将存储于其中的相应的手语的视频序列读出至其输出线21上。此外且优选地，在数据库10中，可以存储用于手语的初始手部状态的元数据(其定义个别手势的转变位置，并且以转变序列的形式)被插入于个别手势的连续视频序列之间。在以下内容中，将所产生的视频和转变序列只称为"视频序列"。在图2中所示的第一实施例中，为了处理所产生的视频序列，由计算机20读出至输出线21上的视频序列经由其输出131被直接地或在视频内存(“序列内存”)130中的中间存储已发生之后馈入影像迭覆装置120中。此外，存储于视频内存130中的视频序列可经由内存130的输出132显示于显示器180上。存储的视频序列通往输出131和132的输出受控制器140所控制，该控制器140经由输出141被连接至内存130。另外，来自将视听信号在其输出111处转换成标准模拟电视信号的电视信号转换器110的模拟电视信号被馈入影像迭覆装置120中。影像迭覆装置120将读出的视频序列插入该模拟电视信号中，例如以“画中画”“画中画”缩写为“PIP”)的形式。如此产生于影像迭覆装置120的输出121处的“PIP”电视信号依据图2而从电视信号传送器150经由模拟传输路径151被传送至接收器160。在接收的电视信号50在重制装置170 (显示器)上的重制期间，可以同时地观看该视听信号的影像成分和由此与其分离的的手语翻译员的手势。在图3中所示第二实施例中，为了处理所产生的视频序列，由计算机20读出至输出线21上的视频序列经由其输出131被直接地或在视频内存(“序列内存”)130中的中间存储已发生之后馈入多路复用器220中。此外，包含分离数据通道的数字电视信号(多路复用器220于其中插入视频序列)从电视信号转换器110从其输出112被馈入多路复用器220中。在多路复用器240的输出221处，经过如此处理的数字电视信号转而经由电视传送器150经由数字传输路径151被传送至接收器160。接收的数字电视信号50在重制装置170(显示器)上的重制期间，可以同时地观看该视听信号的影像成分和由此与其分离的手语翻译员的手势。如图3中所示，视频序列21可以从内存130 (或者是直接从计算机20)经由独立的第二传输路径190(例如经由因特网)被进一步传送至使用者。在这种情况下，并未发生由多路复用器220将视频序列插入数字电视信号中。更确切地说，由使用者经由该独立的第二传输路径190所接收到的视频序列和转变序列是可以应使用者的需求并经由影像迭覆装置200被插入由接收器160所接收的数字电视信号中，并且手势可以被以画中画的形式重制于显示器170上。图3中所示的另一替代是所产生的视频序列21经由该第二传输路径190而被个别地播放(广播或串流)或者经由视频内存130的输出133而被提供用于撷取(例如针对有声书(audio book ) 210 ) 取决于生成或导出哪种形式的视听信号，作为示例，图I示出了用于将文本数据馈入计算机20中的离线形式和在线形式。于在线形式中，视听信号借助于摄影机61和语音麦克风62产生于电视或电影工作室中。经由语音麦克风60的声音输出64,视听信号的语音成分被馈入文本转换器70中，其将口语转换成包含该口语的语句和/或用词的文本数 据并从而产生中间格式。接着，该文本数据经由文本数据线71被传送至计算机20，在那里，其用于寻址该手语在该数据库10中的对应数据。在使用工作室60中被称为〃提词机(tel印romter) 〃 90的东西的情况下，在工作室60处讲演者从监视器读取待说出的文本，提词机90的文本数据经由线路91被馈入文本转换器70中或者经由线路91被直接地馈入(未示出)计算机20中。在离线形式中，例如，视听信号的语音成分在影片扫描仪80的音频输出81处被扫描，该影片扫描仪80将影片转换成电视声音信号。不使用影片扫描仪80本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：K·伊尔格纳费恩斯，
申请(专利权)人：无线电广播技术研究所有限公司，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。