一种替换影视剧人物的方法技术

本发明专利技术属于数字影视制作和播放技术领域，涉及一种对数字影视剧中人物进行替换的工艺技术，特别是一种替换影视剧人物的方法；先对被替换人物面部进行定位、检测、分割和特征提取，同时对替换人物五官特征点进行定位和提取，再让替换人物模仿被替换人物的面部表演并对替换人物摄像，然后对摄像内容测量分析后存储，最后利用人物替换计算机软件对被替换人物的面部图像特征和替换人物的面部图像特征进行匹配、尺寸缩放、光线补偿和无缝平滑的逐一比对并自动替换，实现替换人物面部变成被替换人物面部；其设计原理简单，使用设备先进，技术手段成熟，实现目的效果好，人物替换逼真，替换速度快，运行环境友好。

【技术实现步骤摘要】

: 本专利技术属于数字影视制作和播放
，涉及一种对数字影视剧中人物进行替换的工艺技术，特别是。
技术介绍
: 目前，国内外的一些著名高校和研究机构已经对视频中自动人脸替换技术进行过初步的研究和探索，取得了一些研究成果。国内可以查到的有2007年吉林大学刘德龙的硕士论文《视频图像中的自动角色变换技术的研究》和2011年北京理工大学李传学的硕士论文《图像/视频中自动人脸替换研究》。刘德龙的研究内容具体涉及以下几个方面:一是人脸特征区域标识，人脸替换研究对象包括摄像头获取的图像和原始视频中的角色图像，基础工作是标识出待替换的部分，即人脸部分，上述两种情况采用不同的人脸定位方法:自动标识和手工标识，对于视频图像，采用手工标识的方法能够降低误差；而对于摄像头获得的图像，采用自动人脸定位方法，方便广大观众的热情参与；二是人脸姿态修正，在“换脸”过程中，随着电影中人物的移动，头部也会随之运动，所以头部的朝向及角度会有很大的差另I」，在替换过程中，需要估计替换与被替换者的头部姿态，根据影片中的角色的头部方向来变换替换图像中的头部姿态；三是换脸技术，一幅视频图像中的“换脸”操作，在准确地找到视频画面中人脸的位置基础上，替换成从摄像头获取的数字图像中的人脸，人脸的来源可以是直接相连的摄像头，也可以是存储起来的一段视频；而李传学的论文主要研究内容:一是基于语义的人脸选择与调整；根据已有的人脸属性识别算法与原始人脸外观属性的语义描述，在人脸图像库中选择语义“相似”的目标人脸或使用特定的目标人脸；二是根据二维人脸和三维形变模型构建特定人脸的三维模型；由于要被替换的人脸不一定是标准正面的，并且姿态、光照等属性信息需要二次调节，所以要根据选择出的语义相似的目标人脸与三维形变模型，建立特定人脸的三维人脸模型；三是采用泊松图像融合算法融合目标人脸和原始图像或视频的边界区域，使得替换后的人脸与周围环境融合逼真自然；以源图像内梯度场为指导，利用拉普拉斯算子将目标图像人脸部分的边界和原图像人脸的差异，平滑的扩散到整个融合部分；四是采用遮挡检测算法检测出目标人脸是否佩戴眼镜；根据是否佩戴眼镜以及眼镜的类型计算出替换边界，达到更好的替换结果，避免一些融合瑕疵效果的出现。 目前，国外主要从事过人脸替换研究的团队可检索到2009年打-打叩016118和011111:1-1 811:01^两位学者的论文。打-了丨叩016118等人提出基于视频的人脸替换系统，该方法基于30形变模型和表情数据库，人脸替换过程几乎不需要用户的干预，替换效果在视频和图像上都取得了良好的替换效果，系统的输入是一段视频和一张图片，输出是完成人脸替换后的视频，首先，对输入的包含人脸图像的视频序列化，对序列化的视频帧中人脸进行姿态和表情的估计，生成姿态和表情的参数估计；同时，对输入的20人脸图像进行基于形变模型的三维建模，利用先前估计的姿态和表情调节该模型，并进行图像融合，消除边界差异，完成人脸替换；而哥伦比亚大学此丨廿1 81如业等人实现了照片中人脸的自动替换技术，该技术不需要30模型，是完全自动的，并在不同的照明条件、皮肤颜色相差巨大等条件下，产生了不错的替换效果，但是该算法也有局限性，在一些情况下会出现低级的错误替换，如性别、年龄混淆替换，且当原始人脸存在遮挡时，如眼镜、物理遮挡等，人脸替换不彻底，有残余遮挡物出现，当原始人脸深度旋转角度较大时替换效果不佳，使得部分人脸信息与背景图像粘连等问题。上述现有技术仅仅停留在“静态”替换人物，替换后的效果往往与原视频的剧情大相径庭。 随着数字技术的发展，数字摄影、数字摄像技术的装备和作品大量映现，已基本彻底淘汰了传统的胶片技术，使创作作品的效率大幅提高，创作作品的成本大幅降低，使普通人实现创作人的设想成为可能，如微电影、风光照等；随着计算机技术发展和相关开发工具的出现，对数字照片的修饰技术日臻成熟，更有甚者对数字照片中的人物进行移花接木式的替换$3)，或用于娱乐或从事诈骗，对数字照片人物？3时，其抠像技术、图像缩放技术、光线补偿处理技术、边缘平滑技术等已经使爱好学习的人易于掌握，传统摄像机和数字摄像机其典型的区别在于被拍摄的景物记录形式不同；传统摄影机和摄像机所拍图像的视频被以模拟量的形式分别记录在胶片和磁带上，而数字摄像机所拍图像的视频被以数字形式记录在半导体存储芯片中，但是，它们有一个共同之处就是摄像机都是高速摄像机，都是25帧/秒或更高，每秒钟拍摄25张照片。目前只有对数字照片进行？3移花接木技术，还没有对动态中的数字影视片中的人物进行“？3”的实用技术；卡拉01(技术和表现形式早已被人们所熟知，它可以让每一个歌唱爱好者满足其成为歌唱家的欲望，但是影视明星的粉丝们却不能使自己在一部心仪的影片中成为明星或与喜爱的明星同台演绎，这成为粉丝们的一个奢望。所以，设计一种影视片中人物形体替换技术方法可以满足各种社会人员的需求，也能推动影视技术的进步。
技术实现思路
: 本专利技术的目的在于克服现有技术存在的缺点，设计一种影视剧人物面部图像“动态”替换方法，让影视明星的粉丝们实现在自己心仪影片中成为片中的主角或与喜爱的明星同台演绎的心理愿望，达到将一般人物的形像替代影视片中某人物的功效。 为了实现上述目的，本专利技术的技术特征是将影视片中每秒25张照片的每一张照片中的同一人物不同姿态形象进行替换，其替换过程包括被替换人物信息分析与特征提取、替换人物信息采集与特征提取、比对替换三个步骤: (1)被替换人物信息分析与特征提取:先采用常规的人物跟踪和检测技术方法，将原影视视频中含有的指定被替换人物面部进行定位、检测和分割；然后使用常规的边缘检测和分割算子方法提取替换人物面部五官的特征点；再采用常规的三角几何投影、分类、聚类和计算机处理的方法存取被替换人物的方向角、光照、颜色和阴影特征； (2)替换人物信息采集与特征提取:使替换人物(粉丝)在摄影棚内面对一部带有高清高速自动摄像功能的显示器，或在显示器方向设置一部高清高速摄像机，再让替换人物(粉丝)反复观看显示器上播放的示范影视片并模仿拟被替换的人物(影星)的面部表演；替换人物正式表演时，开启摄像机对替换人物(粉丝)摄像，再用计算机中存储的人物检测和人物器官检测分析技术对摄像录制下来的替换人物(粉丝)面部的尺寸、光线进行测量分析后进行存储，并对替换人物器官的特征点进行定位，提取替换人物的方向、光照和颜色特征； (3)比对替换:利用计算机中存储的常规的人物替换计算机软件对原影视片中的被替换人物的面部图像特征和替换人物(粉丝)面部图像特征使用常规的方法对特征进行匹配、尺寸缩放、光线补偿和无缝平滑的逐一比对并自动替换，实现替换人物(粉丝)面部变成影视片中的被替换人物面部。 本专利技术方法的实现涉及的设备装置包括一部带有高清高速自动摄像功能的显示器，或在显示器方向设置一部高清高速摄像机，显示器具有反转播放视频功能，能够实现示范视频相对于原视频片段是左右反转，和一个能够模拟影视片剧情光线环境的摄影棚；替换人物(粉丝)通过显示器反复观看播放的示范影视片，能够完成模仿表演，有高难动作时实施人工辅助；再利用常规的计算机软件进行抠图、人物器官关键点提取、人本文档来自技高网...

【技术保护点】
一种替换影视剧人物的方法，将影视片中每秒25张照片的每一张照片中的同一人物不同姿态形象进行替换，其特征在于替换过程包括被替换人物信息分析与特征提取、替换人物信息采集与特征提取和比对替换三个步骤：(1)被替换人物信息分析与特征提取：先采用常规的人物跟踪和检测技术方法，将原影视视频中含有的指定被替换人物面部进行定位、检测和分割；然后使用常规的边缘检测和分割算子方法提取替换人物面部五官的特征点；再采用常规的三角几何投影、分类、聚类和计算机处理的方法存取被替换人物的方向角、光照、颜色和阴影特征；(2)替换人物信息采集与特征提取：使替换人物在摄影棚内面对一部带有自动摄像功能的显示器，或在显示器方向设置一部摄像机，再让替换人物反复观看显示器上播放的示范影视片并模仿拟被替换的人物的面部表演；替换人物正式表演时，开启摄像机对替换人物摄像，再用计算机中存储的人物检测和人物器官检测分析技术对摄像录制下来的替换人物面部的尺寸、光线进行测量分析后进行存储，并对替换人物器官的特征点进行定位，提取替换人物的方向、光照和颜色特征；(3)比对替换：利用计算机中存储的常规的人物替换计算机软件对原影视片中的被替换人物的面部图像特征和替换人物面部图像特征使用常规的方法对特征进行匹配、尺寸缩放、光线补偿和无缝平滑的逐一比对并自动替换，实现替换人物面部变成影视片中的被替换人物面部。...

【技术特征摘要】
1.一种替换影视剧人物的方法，将影视片中每秒25张照片的每一张照片中的同一人物不同姿态形象进行替换，其特征在于替换过程包括被替换人物信息分析与特征提取、替换人物信息采集与特征提取和比对替换三个步骤: (1)被替换人物信息分析与特征提取:先采用常规的人物跟踪和检测技术方法，将原影视视频中含有的指定被替换人物面部进行定位、检测和分割；然后使用常规的边缘检测和分割算子方法提取替换人物面部五官的特征点；再采用常规的三角几何投影、分类、聚类和计算机处理的方法存取被替换人物的方向角、光照、颜色和阴影特征； (2)替换人物信息采集与特征提取:使替换人物在摄影棚内面对一部带有自动摄像功能的显示器，或在显示器方向设置一部摄像机，再让替换人物反复观看显示器上播放的示范影视片并模仿拟被替换的人物的面部表演；替换人物正式表演时，开启摄像机对替换人物摄像，再用计算机中存储的人物检测和人物器官检测分析技术对摄像录制下来的替换人物面部的尺寸、光线进行测量分析后进行存储，并对替换人物器官的特征点进行定位，提取替换人物的方向、光照和颜色特征； (3)比对替换:利用计算机中存储的常规的人物替换计算机软件对原影视片中的被替换人物的面部图像特征和替换人物面部图像特征使用常规的方法对特征进行匹配、尺寸缩放、光线补偿和无缝平滑的逐一比对并自动替换，实现替换人物面部变成影视片中的被替换人物面部。2.一种替换影视剧人物的方法，其特征在于方法的实现涉及的设备装...

【专利技术属性】
技术研发人员：姜培生，焦健，丛笑，吴刚，
申请(专利权)人：青岛华通国有资本运营集团有限责任公司，
类型：发明
国别省市：山东;37