基于口型识别的视频编排方法技术

本发明专利技术公开了一种基于口型识别的视频编排方法。本发明专利技术根据彩色图像中色调(H)、饱和度(S)、亮度(V)分量在唇色和肤色区域分布的差异，选择3个颜色特征向量，利用Fisher分类器分类并阈值分割后的二值图像进行滤波和区域连通处理；将嘴唇特征与素材库中动画图片嘴唇特征相匹配；最后通过图像插值合成两帧之间过渡图像，以实现视频的自动编排。本发明专利技术合理选择HSV颜色空间中的颜色信息构建Fisher分类器，从而获得更多的信息量对唇色和肤色区域进行分割，增强了在复杂环境下嘴部匹配特征提取的可靠性和自适应性。并且，采用图像插值技术，生成两幅匹配视频帧画面之间的过渡图像，增强了视频编排的灵敏度与可观赏性，使视频内容更流畅与完整。

【技术实现步骤摘要】
【专利摘要】本专利技术公开了一种。本专利技术根据彩色图像中色调(H)、饱和度(S)、亮度(V)分量在唇色和肤色区域分布的差异，选择3个颜色特征向量，利用Fisher分类器分类并阈值分割后的二值图像进行滤波和区域连通处理；将嘴唇特征与素材库中动画图片嘴唇特征相匹配；最后通过图像插值合成两帧之间过渡图像，以实现视频的自动编排。本专利技术合理选择HSV颜色空间中的颜色信息构建Fisher分类器，从而获得更多的信息量对唇色和肤色区域进行分割，增强了在复杂环境下嘴部匹配特征提取的可靠性和自适应性。并且，采用图像插值技术，生成两幅匹配视频帧画面之间的过渡图像，增强了视频编排的灵敏度与可观赏性，使视频内容更流畅与完整。【专利说明】
本专利技术涉及图像处理以及计算机视觉领域。具体来说，通过对面部嘴唇进行分割， 提取匹配特征，从而对输出图像进行重新编排，达到输出图像嘴部运动与实际检测人物嘴 部运动相一致的效果。
技术介绍
随着图像处理技术以及视频编排技术的发展，研究者将图像分割技术应用到视频 画面编排中，为观众提供了更真实生动的观赏体验。 在动画视频中，动画人物需要与真实人类高度协调一致，无论是面部表情，肢体动 作抑或是发声方式。其中，动画人物发声时的口型动作，也需要与真实人类相一致，而不是 简单的张开闭合。传统的制作方法，以普通话为例，根据其声母、韵母的发声方式，分别总结 出与26个字母相对应的嘴唇动作特征，再按照各自特征进行嘴唇模型的绘制。这种方式确 保了动画人物发声时嘴部动作与发声的高度一致，十分逼真。但是，这种方式重复作业量 大，即使是相同场景相同人物相同发音，只要时间不同，都需要重新绘制。再加上观众对嘴 部动作的区分度主要表现在嘴唇的张开闭合尺度上，对其向两侧拉伸情况，内部舌头运动 等要求不高，因此本专利技术引入嘴唇分割技术来实现视频编排，在保证逼真度的基础上，提高 视频画面的反复利用，大大提升了工作效率，降低了资源浪费。 图像分割就是把图像分成若干个特定的、具有独特性质的区域，并提出感兴趣目 标的过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分为以下几 类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的 分割方法等。图像分割后提取出的目标可以用于目标跟踪、图像搜索、图像语义识别等多个 领域。 目前，嘴唇分割技术主要分为2类：一类是基于灰度图像的方法；而另一类是基于 彩色图像的方法。前者比较常用的是基于Snake模型的嘴部边缘提取算法，但其计算复杂 度高，容易受到嘴部周围胡须组织的干扰，且在光照变化的情况下，常造成嘴部边缘缺失和 梯度较弱的缺陷。后者由于彩色图像能够提供更丰富、全面的信息，已越来越受到人们的 重视。如Alan等提出利用CIELAB颜色空间和模糊聚类的方法对嘴唇区域进行分割；张志 文等利用直方图分析R、G、B色度分量在肤色和唇色中的分布特性，提供了一种唇部检测算 法。但是，它们仅使用色度差异颜色特征向量，其适应能力和鲁棒性均较差。此外，视频编 排领域对实时性要求较高，输出画面稍有延时即会造成不好的观赏体验。 基于上述情况，亟需一种算法简单，实时性强、准确性高的嘴唇分割技术用于视频 编排中。
技术实现思路
本专利技术目的在于解决以上问题，提供了一种，提高 嘴唇检测的自适应性和鲁棒性，满足视频编排对实时性的要求。方法根据彩色图像中色调 (Η)、饱和度（S)、亮度（V)分量在唇色和肤色区域分布的差异，选择3个颜色特征向量，利 用Fisher分类器进行阈值分类；将分类得到的二值化图像进行滤波和区域连通处理，通过 设置flag值确定嘴唇边界，从而提取嘴唇匹配特征；然后将嘴唇匹配特征值与素材库中动 物视频图像嘴唇特征相匹配；最后通过图像插值技术实现视频图像自动编排。 本申请提供的，包括步骤：（D采集原始图像；(2) 获取视频信息的当前帧；（3)人脸检测；(4)根据先验知识框选出嘴唇感兴趣区域（ROI); (5)在ROI基础上进行嘴唇区域检测；( 6)确定嘴唇边界并确定检测图像与视频编排图像的 匹配特征；(7)采用图像插值技术，插值出两幅图像中间的过渡图像并输出，以此实现视频 自动编排；其中嘴唇区域检测进一步包括创建基于HSV空间模型的图像，运用基于HSV颜色 空间模型来训练Fisher分类器，基于训练好的Fisher分类器对ROI逐像素进行阈值分类。 所述的视频编排方法，其中原始图像采集是利用direct show下的CCameraDS类 进行的，采集步骤还包括获取摄像头数目，并为系统分配相应内存。 所述的视频编排方法，在采集原始图像的步骤之后，还包括获取所有摄像头名称， 并通过窗口显示，以及通过设置错误返回，检测摄像头是否正常工作的步骤。 所述的视频编排方法，在上述检测摄像头的步骤后还包括打开第一个摄像头，弹 出属性选择窗口，进行视频编码以及视频压缩率设置的步骤。 所述的视频编排方法，在获取视频信息的当前帧的步骤之后，还包括创建 CvVideoWriter对象，为其分配内存空间，以及保存视频编码的步骤；保存的文件大小为摄 像头视频大小，帧频率为32帧/秒。 所述的视频编排方法，在人脸检测中调入detect_and_draw()函数，具体步骤 为：首先创建单通道、8位数灰度图像，图像的宽度、高度与待检测图像一致；再创建缩放 比例为原图的1/1.3倍的小图smalljmg，在创建小图的过程中，引入cvRoundO函数，实 现对一个double型数值的四舍五入，并输出整数型数值；将待检测图像转换为灰度图，调 用cvResizeO函数，利用双线性插值法，经过缩放变换，将待检测图像所生成灰度图匹配 成小图small_img ;对小图small jmg进行均衡化处理，增强图像亮度以及对比度；创建 cvHaarDetectObjects 序列检测人脸。 所述的视频编排方法，调用OnSkincolorDetectionO函数在R0I基础上进行嘴唇 区域检测，嘴唇区域检测还包括创建肤色图cvCreateO。 所述的视频编排方法，在利用Fisher分类器进行阈值分类后，还包括对图像进行 二值化的步骤，然后对二值化图像进行平滑滤波以及膨胀处理，获取二值化图像最大连通 域的步骤，以更好地去除椒盐噪声的干扰。 所述的视频编排方法，其中确定嘴唇边界并确定图像匹配特征的步骤，具体包括： 遍历二值化图像，检测上嘴唇上边缘以及下嘴唇下边缘像素点，提取高度差作为图像匹配 特征，并与素材库中视频画面进行匹配，作为图像插值前后帧。 所述的视频编排方法，其中确定嘴唇边界的步骤具体为：首先定义标记变量 flag，并赋初值为0,用以标识边缘像素点；由左上角至右下角按列逐个遍历每个像素点； 若像素值由255变为0则flag置为1，由此确定上边缘点以及左边缘点；若像素值由〇变 为255则flag置为0,由此确定下边缘点以及右边缘点。 本专利技术对比现有技术，具有如下有益效果：本专利技术基于唇色和肤色分布差异，考虑 周围关系干扰，合理选择HSV颜色空间中的颜色信息构建Fisher分类器，从而获得更多的 信息量，以对唇色和肤色区域进行分割，增强了本文档来自技高网...

【技术保护点】
基于口型识别的视频编排方法，其特征在于，包括以下步骤：(1)采集原始图像；(2)获取视频信息的当前帧；(3)人脸检测；(4)根据先验知识框选出嘴唇感兴趣区域(ROI)；(5)在ROI基础上进行嘴唇区域检测；(6)确定嘴唇边界并确定检测图像与视频编排图像的匹配特征；(7)采用图像插值技术，插值出两幅图像中间的过渡图像并输出，以此实现视频自动编排；其中嘴唇区域检测进一步包括创建基于HSV空间模型的图像，运用基于HSV颜色空间模型来训练Fisher分类器，基于训练好的Fisher分类器对ROI逐像素进行阈值分类。

【技术特征摘要】

【专利技术属性】
技术研发人员：徐品，蓝善祯，张岳，王爽，张宜春，
申请(专利权)人：中国传媒大学，
类型：发明
国别省市：北京;11