一种图像互动方法及互动装置制造方法及图纸

本发明专利技术的图像互动方法及互动装置，用于解决活照片模式下无法形成高效实时交互动画的技术问题。互动方法包括：第一部分：建立照片与控制人的相应五官位置的映射联系；第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。利用在相似坐标空间内建立相似特征的转换模型，将主动变化的特征数据作为控制信号完成静止画面的被动变化，形成新颖视觉效果。

Image interaction method and interactive device

The invention relates to an image interaction method and an interactive device, which is used for solving the technical problem that the live photo mode can not form an efficient and real-time interactive animation. The interactive method includes: the first part: establishment and control of the corresponding features photo map; the second part: the identification of the mobile location deviation controller features data, as the corresponding changes of location picture basis, expression form photo effect. The transformation model based on similarity feature in similar coordinate space is adopted, and the active characteristic data is taken as the control signal to complete the passive change of the still picture, thus forming a new visual effect.

【技术实现步骤摘要】
一种图像互动方法及互动装置
本专利技术涉及计算机图形处理领域，特别涉及图形的人机交互处理。
技术介绍
对于让静止人物图像活动起来，通常是采用计算机动画处理。针对脸部特写的活动，美术设计人员需要提前做好脸部特写的图片模型，然后形成连续的序列帧画面，或者是对头脸部建模，绑定好骨头或肌肉，按帧率进行拉伸、纹理贴图、实时渲染，形成序列帧画面。以上处理方法需要确定的人物或脸部特写。在现有人机交互行为中，需要实现在移动终端上实现活照片模式，主要特点是首先在移动终端屏幕上呈现获得的静止的脸部特写，通常为一张照片中的部分图像，然后利用移动终端摄像头捕捉操作者的面部变化，并识别为一种具体表情，在移动终端摄屏幕上控制脸部特写做出相应的变化。上述计算机动画处理方法处理活照片模式存在技术缺陷。首先无法为随机获得的脸部特写预先形成各种表情的序列帧画面用于实时调用切换。即使在获得具体表情数据后能够实时生成脸部特写表情的序列帧画面，也会对移动终端的处理能力要求过高，造成系统反应延迟，以及过高的能耗，只能通过减低图像分辨率的方式衰减表情细节，降低表情质量。
技术实现思路
有鉴于此，本专利技术实施例提供了一种图像互动方法及互动装置，用于解决活照片模式下无法形成高效实时交互动画的技术问题。本专利技术的图像互动方法，包括：第一部分：建立照片与控制人的相应五官位置的映射联系；第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。所述第一部分：识别照片中的脸部特写；识别脸部特写中的五官关键点位；利用五官关键点位构建表情网格，划分脸部特写的纹理图案；捕捉控制人初始面部，识别初始面部的五官初始关键部位；将五官初始关键部位与五官关键点位形成映射联系；所述第二部分：捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；利用偏差数据拉伸相应五官关键点位涉及的网格；更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；重复第二部分，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。所述利用五官关键点位构建表情网格，划分脸部特写的纹理图案包括：利用五官关键点位构建覆盖脸部特写的连续二维网格；关联每个网格与覆盖的局部脸部特写的特征数据。所述将五官初始关键部位与五官关键点位形成映射联系包括：控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联；关联的映射策略包括：将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。所述捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据包括：捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。所述利用偏差数据拉伸相应五官关键点位涉及的网格包括：体现在偏差数据中的五官关键点位围成的网格的拉伸；包含偏差数据中的五官关键点位的网格的拉伸。所述更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面包括：控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成比例关系，优选1:1、5:1～1:10。本专利技术的图像互动装置，包括：映射装置，用于建立照片与控制人的相应五官位置的映射联系；识别控制装置，用于识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。所述映射装置包括：照片轮廓识别模块，用于识别照片中的脸部特写；关键点位识别模块，用于识别脸部特写中的五官关键点位；表情网格生成模块，用于利用五官关键点位构建表情网格，划分脸部特写的纹理图案；控制人初始表情识别模块，用于捕捉控制人初始面部，识别初始面部的五官初始关键部位；映射模块，用于将五官初始关键部位与五官关键点位形成映射联系。所述识别控制装置包括：控制人表情数据生成模块，用于捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；表情网格变化生成模块，用于利用偏差数据拉伸相应五官关键点位涉及的网格；表情网格渲染模块，用于更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；表情生成模块，用于循环调用控制人表情数据生成模块、表情网格变化生成模块和表情网格渲染模块，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。所述表情网格生成模块包括：连续二维网格生成子模块，用于利用五官关键点位构建覆盖脸部特写的连续二维网格；纹理网格划分子模块，用于关联每个网格与覆盖的局部脸部特写的特征数据。所述映射模块包括：第一关联子模块，用于通过距离矢量矩阵变化，使控制人的五官初始关键部位与脸部特写中相应的五官关键点位关联；第二关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；第三关联子模块，用于将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。所述控制人表情数据生成模块包括：附加偏差生成子模块，用于捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。所述主要网格拉伸子模块，用于拉伸体现在偏差数据中的五官关键点位围成的网格；次要网格拉伸子模块，用于拉伸包含偏差数据中的五官关键点位的网格。所述更新频率子模块，用于控制更新表情网格的频率与捕捉控制人连续的后续面部的频率形成比例关系。本专利技术的图像互动方法与互动装置，利用对脸部特写的网格化形成五官关键点位的关联坐标点，利用控制人的五官初始关键部位替换五官关键点位，通过对五官后续关键部位的识别，利用形成的偏差数据调整网格的变化，网格变化后渲染形成的帧序列图像形成表情效果，避免了现有技术中的非实时人工处理和实时建模渲染复杂度。利用本专利技术实施例的图像互动方法，可以快速形成对任意图像中脸部特写的互动过程，使得活照片模式得以推广。附图说明图1为本专利技术一种图像互动方法实施例的处理流程图。图2为本专利技术一种图像互动装置实施例的架构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图纸中的步骤编号仅用于作为该步骤的附图标记，不表示执行顺序。本专利技术基本的图像互动方法，包括：第一部分：建立照片与控制人的相应五官位置的映射联系；第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。本专利技术基本的图像互动方法利用在相似坐标空间内建立相似特征的转换模型，将主动变化的特征数据作为控制信号完成静止画面的被动变化，形成新颖视觉效果。图1为本专利技术一种图像互动方法实施例的处理流程图。如图1所示，本专利技术实施例的图像互动方法，第一部分包括：步骤10：识别照片中的脸部特写；步骤20：识别脸部特写中的五官关键点位；步骤30：利用五官关键点位构建表情网格，划分脸部特写的纹理图案；步骤40：捕捉控制人本文档来自技高网...

【技术保护点】
一种图像互动方法，包括：第一部分：建立照片与控制人的相应五官位置的映射联系；第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。

【技术特征摘要】
1.一种图像互动方法，包括：第一部分：建立照片与控制人的相应五官位置的映射联系；第二部分：识别控制人五官移动的位置偏差数据，作为照片相应位置变化的依据，形成照片的表情变化效果。2.如权利要求1所述的图像互动方法，其特征在于，所述第一部分：识别照片中的脸部特写；识别脸部特写中的五官关键点位；利用五官关键点位构建表情网格，划分脸部特写的纹理图案；捕捉控制人初始面部，识别初始面部的五官初始关键部位；将五官初始关键部位与五官关键点位形成映射联系。3.如权利要求2所述的图像互动方法，其特征在于，所述第二部分：捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据；利用偏差数据拉伸相应五官关键点位涉及的网格；更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面；重复第二部分，形成序列帧画面，在屏幕中脸部特写位置播放，形成表情变化。4.如权利要求3所述的图像互动方法，其特征在于，所述利用五官关键点位构建表情网格，划分脸部特写的纹理图案包括：利用五官关键点位构建覆盖脸部特写的连续二维网格；关联每个网格与覆盖的局部脸部特写的特征数据。5.如权利要求3所述的图像互动方法，其特征在于，所述将五官初始关键部位与五官关键点位形成映射联系包括：控制人的五官初始关键部位通过距离矢量矩阵变化，与脸部特写中相应的五官关键点位关联；关联的映射策略包括：将控制人的五官初始关键部位向脸部特写中的五官关键点位进行一对一的关联；或将控制人的五官初始关键部位向脸部特写中的五官关键点位进行多对一的关联。6.如权利要求3所述的图像互动方法，其特征在于，所述捕捉控制人的后续面部，识别后续面部的五官后续关键部位，形成五官后续关键部位与五官初始关键部位的偏差数据包括：捕捉相邻后续面部的相应五官后续关键部位的相对偏差数据，形成相应五官后续关键部位间的附加偏差数据。7.如权利要求3所述的图像互动方法，其特征在于，所述利用偏差数据拉伸相应五官关键点位涉及的网格包括：体现在偏差数据中的五官关键点位围成的网格的拉伸；包含偏差数据中的五官关键点位的网格的拉伸。8.如权利要求3所述的图像互动方法，其特征在于，所述更新表情网格，根据表情网格对脸部特写的纹理图案进行渲染，形成序列帧中的一帧画面包括：控制更新表情网格的频率与捕捉控制人连续的后续面部的频率成比例关系，优选1:1、5:1～1:10。9.一种图像互动装置，包括：映射装置，用于建立照片与控制人的相应五官位置的映射联系；识别...

【专利技术属性】
技术研发人员：雷宇，付一洲，李晓帆，李伟栋，王玉坤，金宇林，伏英娜，
申请(专利权)人：迈吉客科技北京有限公司，
类型：发明
国别省市：北京,11