基于虚拟人的手语新闻播报方法技术

本发明专利技术提供一种基于虚拟人的手语新闻播报方法，其包括以下步骤：Ｓ１对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；Ｓ２对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；Ｓ３对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。

Sign language news broadcasting method based on Virtual Human

The invention provides a broadcasting method of virtual human based on sign language news, which comprises the following steps: S1 of virtual human modeling, mapping the joint angle vector to a specific virtual human gesture, sign language sequence generation frame; S2 for sign language news and voice in the process of sign language synchronization analysis of frame vector simplified calculation frame weights, the frame sequence is optimized; S3 for video stream processing, which will optimize the virtual human sign language animation added to the real-time video stream, finally realizes the synchronous broadcast sign language and speech.

【技术实现步骤摘要】

本专利技术涉及一种控制方法，特别是一种可以应用于电视节目双语播报的。
技术介绍
1998年日立公司成功开发了一个用于手语CAI的二维、三维动画软件，其中收集了手语单词4000多个，是目前较大型的手语教学软件。 2001挪威的东英格利亚大学、德国的汉堡大学等多个学术团体及公司的联合研究，开发出了 ViSiCAST系统。该系统使用了运动捕获技术来捕捉运动数据，实现了从语音到英国手语的转换，目前已经应用到邮局等公共场所及网络上。 2004年Vcom3D公司开发了一套3D虚拟人的手语编辑软件，可以通过手语和脸部表情在互联网上和其他人交流。 2009年中国科学院计算技术研究所研发成功了视频虚拟人手语编辑系统，并将其应用在广播电视系统中。 但是现有的技术中都存在以下的问题 1)虚拟人动作平滑与拟合问题 手语表达过程是一个连续手势姿态的变化过程。在手语合成系统中手语表达运动过程的描述与控制是建立在一系列称为关键帧的离散的特征姿态的基础上的，对关键帧进行插值从而生成连续的手势动作。然而对关键帧的选取以及差值算法的应用不当都会造成手势动作的变形，造成手语表意不准确。 (2)手语帧序列的优化问题 手语是一种通过手及手臂的运动来表达意思的特殊语言，与自然语言相比其在表意速度上存在着较大的差异。要将手语表达系统应用到电视新闻、天气预报、赛事解说等电视节目中，实现实时的手语翻译，如何对手语帧序列进行优化，在不影响表意的基础上，保证手语表述内容与播报画面内容在时间上的同步是一项重要技术。
技术实现思路
本专利技术为了克服上述现有技术的不足，本专利技术提供一种效果好的。 本专利技术解决其技术问题所采用的技术方案是提供一种，其包括以下步骤S1对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；S2对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；S3对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。 本专利技术解决进一步技术问题的方案是所述的步骤S1中，采用H-Anim标准对虚拟人进行建模。3 本专利技术解决进一步技术问题的方案是根据对H-Anim标准虚拟人关节层次结构的分析以及人体上肢关节自由度的约束，计算出虚拟人每个肢体的位置和方向。本专利技术解决进一步技术问题的方案是对帧向量进行简化包括以下步骤a基于手指远指关节与其近指关节间的运动关联性，在帧向量中去掉除拇指之外的其余四指中表示关节的自由度，每只手中共计4个；b基于除拇指之外其余四指的指掌关节在屈曲方向的运动关联性，在帧向量中去掉中指及无名指中表示指关节的自由度以及指掌关节中表示屈曲方向的自由度，每只手中共计4个；C基于拇指腕掌关节与拇指指掌关节的运动关联性，在帧向量中去掉拇指中表示关节的自由度，每只手l个。 本专利技术解决进一步技术问题的方案是所述的计算帧权值包括以下步骤(1)在 句子的起始处和末尾处增加两个虚拟帧，其帧向量分别与原句子首帧和末帧的帧向量相同； (2)定义S (i—为第i帧与第i-1帧之间的变化量，其计算公式如下38《,—W=I(GK)2 其中保证句子的首帧和末帧不会在优化过程中被丢掉，规定若的值为O，则令s(i—u =°° ; (3)最后得出帧的权值计算公式38 38 Q-《1)2-《)2 其中Qi为帧的权值，G为虚拟人手势姿态的向量。 本专利技术解决进一步技术问题的方案是所述的步骤S3中，采用微软公司的 Directshow平台对视频流进行处理。本专利技术解决进一步技术问题的方案是视频叠加就是要将视频中的每一幅图像中 满足一定条件的那部分像素丢弃，然后把剩余部分的图像叠加到目标视频图像中去。 本专利技术解决进一步技术问题的方案是所述的步骤S3中，采用根据像素的RGB值 实现视频的叠加算法。 相较于现有技术，本专利技术的通过分析手及手臂的 关节链结构及运动特点，采用H-Animl. l对虚拟人建模，并实现了关节角向量到虚拟人特 定手势姿态的映射。在此基础上，运用Hermite插值算法对关节角向量进行插值计算，在驱 动虚拟人各手势姿态间的平滑过渡的同时实现了对其运动速度的有效控制，对手语新闻播 报过程中手语与声音同步的问题进行了分析，针对手语表达速度较慢的特点，以个帧之间 的相对变化量为筛选依据的帧序列优化策略，并在根据手指关节运动过程中存在的约束关 系，对原有的帧向量表示法进行了简化，给出了帧的相对变化量的计算方法，从而实现了基 于语句的帧序列的优化方法，基本解决了手语新闻播报过程中手语与声音的同步问题。附图说明 图1是本专利技术的的原理模块示意图。图2是本专利技术的的人体模型层析结构示意图。 图3是本专利技术的的扩充后的句子帧序列示意图具体实施例方式本专利技术的可以应用于电视节目双语播报、计算机 辅助鹏语教学、手语彩信、聋鹏人辅助终端设备、电子指示牌、电子广告以及数字互动娱乐 等诸多领域，其应用有助于改善和提高聋哑人的生活学习和工作条件，为他们供更好的服 务。本专利技术提供一种，其包括以下步骤 Sl对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列。在此基础上，运用Hermite插值算法对关节角向量进行插值计算，在驱动虚拟人各手势姿态间的平滑过渡的同时实现了对其运动速度的有效控制。 人的身体包括很多段，这些段由关节相连。要使虚拟人动起来，就需要获得关节并 且改变关节的角度，并且还必须知道关节角度的限制和段的质量。本专利技术的基于虚拟人的 手语新闻播报方法采用H-Anim(HumanoidAnimation)标准对虚拟人进行建模。H-Anim中 使用三类结点(Node)表示一个虚拟人体模型人体重心(H咖anoin)、人体关节(Joint)和 人体骨骼段(Segment)，并把整个人体分成1个人体重心、77个关节和47个骨骼段。另外， 还使用VRML (Virtual Reality Modeling Language)中的几何模型表示方法定义了每个 肢体(即骨骼段)的几何模型。每个骨骼段(Segment)的位置都在其所在的关节坐标系中 定义，而每个几何模型依附于相应的骨骼段，这些元素一起表示了一个完整的虚拟人模型， H-Anim中人体模型结构如图2所示。 根据对H-Animl. 1标准虚拟人关节层次结构的分析以及人体上肢关节自由度的 约束知道， 一个虚拟人共有47个关节96个自由度。只要确定这96个自由度的角度值，应 用运动学的方法，就可以计算出虚拟人每个肢体的位置和方向，由此唯一确定虚拟人的一 个姿态，手语是人体上肢运动，手语运动是人体运动在人体上肢关节上的投影。因此，显示 手语(即将手语映射到虚拟人姿态)时，用O值填充非上肢关节角度后，即可将一个手语运 动表示扩充为一个完整的人体运动表示。 通过对手及手臂抽象模型的分析，可以得出，一只手臂从肩关节到远端指关节共 有28个自由度。其中肩关节有3个自由度，肘关节有2个自由度，腕关节有2个自由度，各 手指关节共有21个自由度。这样，两只手共用56个自由度表示。因此，一个手势可以用一 个56元向量表示，一个手语运动则可以用一个从时间到手势集合的向量函数表示 G0) = G[《n56]0) 向量各维度具体含义如下表所示关节本文档来自技高网...

【技术保护点】
一种基于虚拟人的手语新闻播报方法，其包括以下步骤：Ｓ１对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；Ｓ２对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；Ｓ３对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。

【技术特征摘要】
一种基于虚拟人的手语新闻播报方法，其包括以下步骤S1对虚拟人建模，实现关节角向量到虚拟人特定手势姿态的映射，生成手语帧序列；S2对手语新闻播报过程中手语与声音同步进行分析，对帧向量进行简化，计算帧权值，对帧序列进行优化；S3对视频流进行处理，从而将优化过的虚拟人手语表达的动画实时添加到视频流中，最终实现了手语与语音的同步播报。2. 根据权利要求1所述的基于虚拟人的手语新闻播报方法，其特征在于所述的步骤Sl中，采用H-Anim标准对虚拟人进行建模。3. 根据权利要求2所述的基于虚拟人的手语新闻播报方法，其特征在于根据对H-Anim标准虚拟人关节层次结构的分析以及人体上肢关节自由度的约束，计算出虚拟人每个肢体的位置和方向。4. 根据权利要求1所述的基于虚拟人的手语新闻播报方法，其特征在于对帧向量进行简化包括以下步骤a基于手指远指关节与其近指关节间的运动关联性，在帧向量中去掉除拇指之外的其余四指中表示关节的自由度，每只手中共计4个；b基于除拇指之外其余四指的指掌关节在屈曲方向的运动关联性，在帧向量中去掉中指及无名指中表示指关节的自由度以及指掌关节中表示屈曲方向的自由度，每只手中共计4个；C基于拇指腕掌关节与拇指指掌关节的运动关联性，在帧向量中去掉拇指中表示关节的自由度，每只手1个。5. 根据权利要...

【专利技术属性】
技术研发人员：王轩，赵海楠，于成龙，许欣欣，
申请(专利权)人：哈尔滨工业大学深圳研究生院，
类型：发明
国别省市：94[中国|深圳]