一种中国手语视频过渡帧的合成方法技术

本发明专利技术公开了一种中国手语视频过渡帧的合成方法，其大大减少了合成的过渡帧图像所产生的阴影和重叠、真实性高、边界的拼接效果自然。其包括步骤：(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整；(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理进行优化；(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视频过渡帧。

【技术实现步骤摘要】

本专利技术属于计算机图像处理的
，具体地涉及一种中国手语视频过渡帧的合成方法。
技术介绍
在中国有大量听障人群，手语是他们进行交流的语言。手语运用空间运动表达语义，是一种视觉空间语言。基于计算机合成的中国手语视频，具有较强的真实感和较好的可接受程度，其视觉语言表达界面更为形象生动，能够更好的服务听障人群，使他们能够与健听人一起感受高速发展的文明，具有极其广泛的社会意义。基于计算机合成手语视频时，若干手语词视频片段按照文本语法规则重新组合成新的手语视频，而时间轴上相邻的手语词视频片段在运动轨迹、手势等方面存在视觉差异，因此需要插入过渡视频帧以增强真实感。过渡视频帧的获得有两个途径，检索预先设定的视频帧数据库或者通过拼接图像块进行合成，前者要求采集任意两个可能邻接的手语词视频间的过渡数据，对数据采集和存储要求过高，因此合成过渡视频帧是实现基于视频手语合成的重要基础工作。近几年，合成手语视频过渡帧成为了一个研究重点。吴宗宪等人于2005年提出了一种使用NURBS样条函数描述手部运动轨迹的方法，并且基于光流算法生成视频片段之间的过渡帧图像。王茹等人提出了一种基于多维语义模型的中国手语视频合成方法。该方法将多维语义描述的方法用在中国手语视频的合成中，利用人体的各个部件图像，合成视频过渡帧。此类方法通过合成视频过渡帧，使合成的手语视频过渡更加平滑，但是也存在一些不足。吴宗宪等人方法中的过渡手势形态选取和角度变化不够精确平滑，合成的过渡帧图像容易产生阴影和重叠现象；王茹等人的方法虽然很好的解决了手势形态变化不够平滑的问题，但是手势投影图像真实性不高，各个部件图像边界的拼接效果不够自然。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供一种中国手语视频过渡帧的合成方法，其大大减少了合成的过渡帧图像所产生的阴影和重叠、真实性高、边界的拼接效果自然。本专利技术的技术解决方案是：这种中国手语视频过渡帧的合成方法，包括以下步骤：(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整；(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理进行优化；(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视频过渡帧。本专利技术基于单目视频的三维手模型重构方法和基于图像融合的手语视频过渡帧生成方法，从手势投影图像和部件图像拼接两个方面合成真实感较好的中国手语视频过渡帧，大大减少了合成的过渡帧图像所产生的阴影和重叠、真实性高、边界的拼接效果自然。附图说明图1是根据本专利技术的手特征点及其编号。图2a和2b分别是根据本专利技术的手纹理模板图及纹理区域划分。图3a和3b分别是根据本专利技术的手模型投影图像纹理区域与纹理模板图纹理区域的对应关系示意图。具体实施方式这种中国手语视频过渡帧的合成方法，包括以下步骤：(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整；(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理进行优化；(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视频过渡帧。本专利技术基于单目视频的三维手模型重构方法和基于图像融合的手语视频过渡帧生成方法，从手势投影图像和部件图像拼接两个方面合成真实感较好的中国手语视频过渡帧，大大减少了合成的过渡帧图像所产生的阴影和重叠、真实性高、边界的拼接效果自然。优选地，步骤(1)包括以下分步骤：(1.1)手部图像2D特征点标注；(1.2)特征点三维坐标计算；(1.3)特征点约束的一般化手模型形变；(1.4)手势投影。优选地，步骤(1.2)中采用基于高斯分布的非刚性物体重构方法首先对输入的手特征点的图像坐标矩阵W采用秩3因式分解的方法分解为旋转矩阵R和平均刚性形状以及平移矩阵T；然后根据初始估计的旋转矩阵R，平移矩阵T，平均刚性形状采用最小二乘法最小化投影错误的方法得到初始的变形形状V和权重Z；接着计算出初始的高斯方差σ2；然后进入循环迭代更新参数的过程，更新的参数包括权重Z、平均刚性形状变形形状V、有信息缺失的图像坐标矩阵W*、旋转矩阵R、平移矩阵T；最后根据各个参数计算得出手特征点的三维信息S。优选地，步骤(1.3)中采用拉普拉斯表面编辑的方法对已有的手模型进行形变计算。优选地，步骤(1.4)中手模型经过OpenGL底层图形库渲染得到对应的手势投影图像，并且根据OpenGL中的模拟变换方法获得三维手模型的特征点在投影图像上的二维坐标和投影深度。优选地，步骤(2)包括以下分步骤：(2.1)初始化，确定手势投影图像中指定区域中区块的最近邻：根据手纹理模板图的纹理区域划分和手模型特征点在投影图像上的二维坐标，将手势投影图像划分为手背、手心、食指指根、食指指中、食指指尖等59个投影区域，分别与纹理模板图中的相应纹理区域对应，进行编号并建立索引；通过计算对应纹理区域四个顶点之间的仿射变换关系，利用仿射变换获得投影区域内的每个像素区块的最近邻区块；(2.2)增殖阶段，对余下的区域进行自适应的区块匹配：进行奇数次迭代时，对图像进行从左上方向右下方的扫描处理，进行偶数次迭代时，对图像进行从右下方向左上方的扫描处理，此时偏移量为公式(9)f(x，y)＝arg min{D(f(x，y))，D(f(x+1，y))，D(f(x，y+1))本文档来自技高网...

【技术保护点】
一种中国手语视频过渡帧的合成方法，其特征在于：包括以下步骤：(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的三维手模型进行比例调整；(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理进行优化；(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视频过渡帧。

【技术特征摘要】
1.一种中国手语视频过渡帧的合成方法，其特征在于：包括以下步骤：
(1)对校准视频帧中手的特征点进行标记，由这些特征点的二维坐标
计算其三维坐标，并依据这些特征点的三维坐标对一个一般化的
三维手模型进行比例调整；
(2)采用基于模板图的手部纹理生成算法，对步骤(1)的图像的纹理
进行优化；
(3)将步骤(2)生成的手势图像与胳膊、躯干图像进行融合，生成视
频过渡帧。
2.根据权利要求1所述的中国手语视频过渡帧的合成方法，其特征在于：
步骤(1)包括以下分步骤：
(1.1)手部图像2D特征点标注；
(1.2)特征点三维坐标计算；
(1.3)特征点约束的一般化手模型形变；
(1.4)手势投影。
3.根据权利要求2所述的中国手语视频过渡帧的合成方法，其特征在于：
步骤(1.2)中采用基于高斯分布的非刚性物体重构方法首先对输入
的手特征点的图像坐标矩阵W采用秩3因式分解的方法分解为旋转矩
阵R和平均刚性形状以及平移矩阵T；然后根据初始估计的旋转矩阵
R，平移矩阵T，平均刚性形状采用最小二乘法最小化投影错误的
方法得到初始的变形形状V和权重Z；接着计算出初始的高斯方差σ2；
然后进入循环迭代更新参数的过程，更新的参数包括权重Z、平均刚
性形状变形形状V、有信息缺失的图像坐标矩阵W*、旋转矩阵R、
平移矩阵T；最后根据各个参数计算得出手特征点的三维信息S。
4.根据权利要求3所述的中国手语视频过渡帧的合成方法，其...

【专利技术属性】
技术研发人员：王立春，朱婷婷，孔德慧，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：北京;11