视频中人物眼部特征自动变更方法及装置制造方法及图纸

本申请提供一种视频中人物眼部特征自动变更方法及装置，方法包括：提取视频数据中的包含有目标人物脸部的目标图像数据及对应的目标变更要求类型，并获取预先基于迁移学习方式生成的目标人物的目标眼部特征变更模型；将目标图像数据输入目标眼部特征变更模型，以使该目标眼部特征变更模型对目标图像数据中的眼部特征组进行符合目标变更要求类型的特征替换，并输出目标图像数据对应的眼部特征变更图像数据以在视频数据中替换目标图像数据。本申请能够将视频数据中的人物眼部特征进行自动变更，并能够有效提高变更的针对性及变更效果，同时能够有效提高变更过程的效率和自动化程度，进而满足能够适用于电影设置等场景的人物眼部动作特征的变更需求。物眼部动作特征的变更需求。物眼部动作特征的变更需求。

【技术实现步骤摘要】
视频中人物眼部特征自动变更方法及装置


[0001]本申请涉及视频数据处理
，尤其涉及视频中人物眼部特征自动变更方法及装置。

技术介绍

[0002]在电影创作等视频拍摄场景中，经常需要拍摄同一角色在不同人生阶段的故事。当一段情节的时间跨度较大，在银幕上真实地呈现演员在不同年龄间的神态等变化，是影视制作中的重大挑战。在计算机图形学、计算机视觉技术得到完善并应用于影视工业前，电影制作者们通常会采用特殊的拍摄技巧和使用替身演员实现角色的眼部特征的变化。
[0003]然而，现有的视频中人物眼部特征变更方法存在较大的局限性，即需要在拍摄阶段找到眼部特征与目标演员极为相似的替身演员，并在后期将补拍的替身演员的眼部特写画面穿插在目标演员的视频数据中，该种方式不但需要后期耗费大量的人力成本和时间成本，还容易使得观看者仅能看到眼部特写画面，而无法看到目标演员的全脸画面，会一定程度上影响观看视频的用户体验。

技术实现思路

[0004]鉴于此，本申请实施例提供了视频中人物眼部特征自动变更方法及装置，以消除或改善现有技术中存在的一个或更多个缺陷。
[0005]本申请的一个方面提供了一种视频中人物眼部特征自动变更方法，包括：
[0006]提取视频数据中的包含有目标人物脸部的目标图像数据及对应的目标变更要求类型，并基于所述目标变更要求类型获取预先基于迁移学习方式生成的所述目标人物对应的目标眼部特征变更模型；
[0007]将所述目标图像数据输入所述目标眼部特征变更模型，以使该目标眼部特征变更模型对所述目标图像数据中的眼部特征组进行符合所述目标变更要求类型的特征替换，并输出所述目标图像数据对应的眼部特征变更图像数据；
[0008]在所述视频数据中将所述目标图像数据替换为所述眼部特征变更图像数据。
[0009]在本申请的一些实施例中，所述目标变更要求类型是各类变更要求类型中的一项，其中，所述变更要求类型均包括情感类型和年龄范围，且不同的所述变更要求类型各自包含的所述情感类型和年龄范围中的至少一项也不同。
[0010]在本申请的一些实施例中，在所述提取视频数据中的包含有目标人物脸部的目标图像数据之前，还包括：
[0011]采用各个包含有非目标人物的其他人物脸部的历史图像数据，以及不同的各类变更要求类型分别对应的标签数据，训练得到各类所述变更要求类型各自对应的眼部特征变更标准模型；
[0012]存储各类所述变更要求类型各自对应的眼部特征变更标准模型以用于迁移学习。
[0013]在本申请的一些实施例中，所述采用各个包含有非目标人物的其他人物脸部的历
史图像数据，以及不同的各类变更要求类型分别对应的标签数据，训练得到各类所述变更要求类型各自对应的眼部特征变更标准模型，包括：
[0014]迭代训练步骤：将各个所述历史图像数据和对应的变更要求类型的标签数据依次输入预设的机器学习模型中，以使该机器学习模型先在所述历史图像数据中识别得到眼部特征组，再基于所述标签数据在所述历史图像数据中对所述眼部特征组进行符合对应的变更要求类型的特征替换，以使该机器学习模型依次输出各个所述历史图像数据在各个所述变更要求类型下的眼部特征变更图像数据；
[0015]基于预设的误差阈值及所述机器学习模型输出的眼部特征变更图像数据判断当前的机器学习模型是否符合训练结束要求，若否，则返回执行所述迭代训练步骤，直至经判断获知当前的机器学习模型是否符合训练结束要求，则停止迭代，并将该机器学习模型作为其对应的变更要求类型对应的眼部特征变更标准模型。
[0016]在本申请的一些实施例中，所述眼部特征组包括：正脸眼部特征、侧脸眼部特征、眼周皮肤皱纹纹路特征、眼神晃动幅度特征、眼球尺寸特征、虹膜颜色特征、眼部阴影大小和眼球血丝分布特征中的至少一项。
[0017]在本申请的一些实施例中，在所述提取视频数据中的包含有目标人物脸部的目标图像数据之前，还包括：
[0018]采用包含有所述目标人物的脸部的历史图像数据，以及不同的各类变更要求类型分别对应的标签数据，分别对各类所述变更要求类型各自对应的眼部特征变更标准模型进行迁移学习，以训练得到所述目标人物在各类所述变更要求下分别对应的眼部特征变更专用模型；
[0019]存储所述目标人物在各类所述变更要求类型下分别对应的眼部特征变更专用模型以用于筛选所述目标眼部特征变更模型。
[0020]在本申请的一些实施例中，所述提取视频数据中的包含有目标人物脸部的目标图像数据及对应的目标变更要求类型，并基于所述目标变更要求类型获取预先基于迁移学习方式生成的所述目标人物对应的目标眼部特征变更模型，包括：
[0021]接收针对视频数据的目标时间戳及对应的目标变更要求类型；
[0022]在所述视频数据中提取所述目标时间戳对应的包含有目标人物脸部的目标图像数据；
[0023]在各个所述眼部特征变更专用模型中，选取所述目标变更要求类型对应的眼部特征变更专用模型以作为所述目标人物当前的所述目标眼部特征变更模型。
[0024]本申请的另一个方面提供了一种视频中人物眼部特征自动变更装置，包括：
[0025]图像及模型获取模块，用于提取视频数据中的包含有目标人物脸部的目标图像数据及对应的目标变更要求类型，并基于所述目标变更要求类型获取预先基于迁移学习方式生成的所述目标人物对应的目标眼部特征变更模型；
[0026]眼部特征变更模块，用于将所述目标图像数据输入所述目标眼部特征变更模型，以使该目标眼部特征变更模型对所述目标图像数据中的眼部特征组进行符合所述目标变更要求类型的特征替换，并输出所述目标图像数据对应的眼部特征变更图像数据；
[0027]图像数据替换模块，用于在所述视频数据中将所述目标图像数据替换为所述眼部特征变更图像数据。
[0028]本申请的第三个方面提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述的视频中人物眼部特征自动变更方法。
[0029]本申请的第四个方面提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现所述的视频中人物眼部特征自动变更方法。
[0030]本申请提供的视频中人物眼部特征自动变更方法，通过提取视频数据中的包含有目标人物脸部的目标图像数据及对应的目标变更要求类型，并基于所述目标变更要求类型获取预先基于迁移学习方式生成的所述目标人物对应的目标眼部特征变更模型；将所述目标图像数据输入所述目标眼部特征变更模型，以使该目标眼部特征变更模型对所述目标图像数据中的眼部特征组进行符合所述目标变更要求类型的特征替换，并输出所述目标图像数据对应的眼部特征变更图像数据；在所述视频数据中将所述目标图像数据替换为所述眼部特征变更图像数据，能够将视频数据中的人物眼部特征进行自动变更，且通过采用目标人物在目标变更要求类型下的专门的目标眼部特征变更模型，能够有效提高变更的针对性及变更效果本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频中人物眼部特征自动变更方法，其特征在于，包括：提取视频数据中的包含有目标人物脸部的目标图像数据及对应的目标变更要求类型，并基于所述目标变更要求类型获取预先基于迁移学习方式生成的所述目标人物对应的目标眼部特征变更模型；将所述目标图像数据输入所述目标眼部特征变更模型，以使该目标眼部特征变更模型对所述目标图像数据中的眼部特征组进行符合所述目标变更要求类型的特征替换，并输出所述目标图像数据对应的眼部特征变更图像数据；在所述视频数据中将所述目标图像数据替换为所述眼部特征变更图像数据。2.根据权利要求1所述的视频中人物眼部特征自动变更方法，其特征在于，所述目标变更要求类型是各类变更要求类型中的一项，其中，所述变更要求类型均包括情感类型和年龄范围，且不同的所述变更要求类型各自包含的所述情感类型和年龄范围中的至少一项也不同。3.根据权利要求1所述的视频中人物眼部特征自动变更方法，其特征在于，在所述提取视频数据中的包含有目标人物脸部的目标图像数据之前，还包括：采用各个包含有非目标人物的其他人物脸部的历史图像数据，以及不同的各类变更要求类型分别对应的标签数据，训练得到各类所述变更要求类型各自对应的眼部特征变更标准模型；存储各类所述变更要求类型各自对应的眼部特征变更标准模型以用于迁移学习。4.根据权利要求3所述的视频中人物眼部特征自动变更方法，其特征在于，所述采用各个包含有非目标人物的其他人物脸部的历史图像数据，以及不同的各类变更要求类型分别对应的标签数据，训练得到各类所述变更要求类型各自对应的眼部特征变更标准模型，包括：迭代训练步骤：将各个所述历史图像数据和对应的变更要求类型的标签数据依次输入预设的机器学习模型中，以使该机器学习模型先在所述历史图像数据中识别得到眼部特征组，再基于所述标签数据在所述历史图像数据中对所述眼部特征组进行符合对应的变更要求类型的特征替换，以使该机器学习模型依次输出各个所述历史图像数据在各个所述变更要求类型下的眼部特征变更图像数据；基于预设的误差阈值及所述机器学习模型输出的眼部特征变更图像数据判断当前的机器学习模型是否符合训练结束要求，若否，则返回执行所述迭代训练步骤，直至经判断获知当前的机器学习模型是否符合训练结束要求，则停止迭代，并将该机器学习模型作为其对应的变更要求类型对应的眼部特征变更标准模型。5.根据权利要求1或4所述的视频中人物眼部特征自动变更方法，其特征在于，所述眼部特征组包括：正脸眼...

【专利技术属性】
技术研发人员：徐茗，蔡哲明，董辰，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：