一种增强现实的方法、装置及系统制造方法及图纸

本发明专利技术涉及增强现实技术领域，涉及一种增强现实的方法、装置及系统，包括：接收第一账户登录的第一终端发送的对应第二账户的第一增强现实请求；接收第二账户登录的第二终端发送的对应第一账户的第二增强现实请求；基于第一面部图像集合、第二面部图像集合和增强现实参数集，进行模型训练，得到训练后的第一增强现实模型和训练后的第二增强现实模型；增强现实参数集包括多个维度的参数，参数包括：肤色调整参数、表情调整参数、脸型调整参数、角度调整参数和装饰调整参数；向第一终端发送所述训练后的第一增强现实模型，向第二终端发送所述训练后的第二增强现实模型。本发明专利技术能减小图像失真，能在训练过程中能够对面部图像进行调整。能在训练过程中能够对面部图像进行调整。能在训练过程中能够对面部图像进行调整。

【技术实现步骤摘要】
一种增强现实的方法、装置及系统


[0001]本专利技术涉及增强现实
，具体地说，涉及一种增强现实的方法、装置及系统。

技术介绍

[0002]随着网络技术的飞速发展，网络视频得到了广泛的推广和使用，视频可以是直播视频或录播视频。在录制视频的过程中，很多主播开始尝试一些新的互动方式，例如对视频进行更换面部图像，也即，将视频中自己的面部图像换成其他人的面部图像，然后上传服务器进行播放。
[0003]相关技术中的方案是，利用图像识别技术在视频图像中识别面部图像，然后使用目标人物的面部图像，替换视频图像中的面部图像，然后将视频图像上传服务器。
[0004]上述相关技术中对视频图像进行面部图像处理的过程中，在视频图像中进行局部图像替换，很可能出现目标人物的面部图像与原人物的面部图像形状不匹配的情况，需要对目标人物的面部图像进行变形处理，这样会导致图像存在失真，而且面部图像未做调整，导致效果较差。

技术实现思路

[0005]本专利技术的内容是提供一种增强现实的方法、装置及系统，其能够克服现有技术的某种或某些缺陷。
[0006]根据本专利技术的一种增强现实的方法，其包括：
[0007]接收第一账户登录的第一终端发送的对应第二账户的第一增强现实请求，第一增强现实请求中携带第一人物的第一面部图像集合；
[0008]接收第二账户登录的第二终端发送的对应第一账户的第二增强现实请求，第二增强现实请求中携带第二人物的第二面部图像集合；
[0009]基于第一面部图像集合、第二面部图像集合和增强现实参数集，进行模型训练，得到训练后的第一增强现实模型和训练后的第二增强现实模型；其中，训练后的第一增强现实模型用于调整后将第一人物的面部图像更换为第二人物的面部图像，训练后的第二增强现实模型用于调整后将第二人物的面部图像更换为第一人物的面部图像；
[0010]增强现实参数集包括多个维度的参数，参数包括：肤色调整参数、表情调整参数、脸型调整参数、角度调整参数和装饰调整参数；
[0011]向第一终端发送所述训练后的第一增强现实模型，向第二终端发送所述训练后的第二增强现实模型。
[0012]作为优选，基于第一面部图像集合、第二面部图像集合和增强现实参数集，进行模型训练，得到训练后的第一增强现实模型和训练后的第二增强现实模型，包括：
[0013]交替获取第一人物的面部图像集合和第二人物的面部图像集合中的面部图像；
[0014]每获取一个第一人物的面部图像，对第一人物的面部图像进行扭曲，得到扭曲后
的第一人物的面部图像，将扭曲后的第一人物的面部图像输入特征提取模型，得到第一特征图像，将第一特征图像输入第二还原模型，得到第一输出图像，通过增强现实参数集对第一输出图像进行调整，基于当前获取的第一人物的面部图像和调整后的第一输出图像，对特征提取模型和第二还原模型，进行参数更新；
[0015]每获取一个第二人物的面部图像，对第二人物的面部图像进行扭曲，得到扭曲后的第二人物的面部图像，将扭曲后的第二人物的面部图像输入特征提取模型，得到第二特征图像，将第二特征图像输入第一还原模型，得到第二输出图像，通过增强现实参数集对第二输出图像进行调整，基于当前获取的第二人物的面部图像和调整后的第二输出图像，对特征提取模型和第一还原模型，进行参数更新；
[0016]在基于所有第一人物的面部图像和所有第二人物的面部图像对特征提取模型、第一还原模型和所述第二还原模型进行参数更新后，基于参数更新后的特征提取模型和参数更新后的第一还原模型，确定训练后的第一增强现实模型，基于参数更新后的特征提取模型和参数更新后的第二还原模型，确定训练后的第二增强现实模型。
[0017]本专利技术提供了一种增强现实的装置，其包括：
[0018]第一接收模块，接收第一账户登录的第一终端发送的对应第二账户的第一增强现实请求，第一增强现实请求中携带第一人物的第一面部图像集合；
[0019]第二接收模块，接收第二账户登录的第二终端发送的对应第一账户的第二增强现实请求，第二增强现实请求中携带第二人物的第二面部图像集合；
[0020]训练模块，基于第一面部图像集合、第二面部图像集合和增强现实参数集，进行模型训练，得到训练后的第一增强现实模型和训练后的第二增强现实模型；其中，训练后的第一增强现实模型用于调整后将第一人物的面部图像更换为第二人物的面部图像，训练后的第二增强现实模型用于调整后将第二人物的面部图像更换为第一人物的面部图像；增强现实参数集包括多个维度的参数，参数包括：肤色调整参数、表情调整参数、脸型调整参数、角度调整参数和装饰调整参数；
[0021]发送模块，向第一终端发送所述训练后的第一增强现实模型，向第二终端发送所述训练后的第二增强现实模型。
[0022]本专利技术提供了一种增强现实的系统，其包括：第一终端、第二终端和服务器，其中：
[0023]服务器，接收第一账户登录的第一终端发送的对应第二账户的第一增强现实请求，第一增强现实请求中携带第一人物的第一面部图像集合；接收第二账户登录的第二终端发送的对应第一账户的第二增强现实请求，第二增强现实请求中携带第二人物的第二面部图像集合；基于第一面部图像集合、第二面部图像集合和增强现实参数集，进行模型训练，得到训练后的第一增强现实模型和训练后的第二增强现实模型；其中，训练后的第一增强现实模型用于调整后将第一人物的面部图像更换为第二人物的面部图像，训练后的第二增强现实模型用于调整后将第二人物的面部图像更换为第一人物的面部图像；增强现实参数集包括多个维度的参数，参数包括：肤色调整参数、表情调整参数、脸型调整参数、角度调整参数和装饰调整参数；向第一终端发送所述训练后的第一增强现实模型，向第二终端发送所述训练后的第二增强现实模型；
[0024]第一终端，向服务器发送对应第二账户的增强现实请求；接收服务器发送的训练后的第一增强现实模型；当接收到对应第二账户的指令时，将第一图像输入训练后的第一
增强现实模型，得到增强现实后的第二图像；
[0025]第二终端，向服务器发送对应第一账户的增强现实请求；接收服务器发送的训练后的第二增强现实模型；当接收到对应第一账户的指令时，将第二图像输入训练后的第二增强现实模型，得到增强现实后的第一图像。
[0026]本专利技术生成的增强现实模型用于面部图像处理，将第一图像输入增强现实模型后即可得到更换后的第二图像，无需使用预存的原人物的面部图像对目标人物的面部图像，进行局部图像替换，所以也不涉及对面部图像进行变形处理，从而，可以减小图像失真；训练过程中加入了增强现实参数集，使得训练过程中能够对面部图像进行肤色调整、表情调整、脸型调整、角度调整和装饰调整，使得效果更佳。
附图说明
[0027]图1为实施例1中一种增强现实的方法的流程图。
具体实施方式
[0028]为进一步了解本专利技术的内容，结合附图和实施例对本专利技术作详细描述。应当理解的是，实施例仅仅是对本专利技术进行解释而并非本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种增强现实的方法，其特征在于：包括：接收第一账户登录的第一终端发送的对应第二账户的第一增强现实请求，第一增强现实请求中携带第一人物的第一面部图像集合；接收第二账户登录的第二终端发送的对应第一账户的第二增强现实请求，第二增强现实请求中携带第二人物的第二面部图像集合；基于第一面部图像集合、第二面部图像集合和增强现实参数集，进行模型训练，得到训练后的第一增强现实模型和训练后的第二增强现实模型；其中，训练后的第一增强现实模型用于调整后将第一人物的面部图像更换为第二人物的面部图像，训练后的第二增强现实模型用于调整后将第二人物的面部图像更换为第一人物的面部图像；增强现实参数集包括多个维度的参数，参数包括：肤色调整参数、表情调整参数、脸型调整参数、角度调整参数和装饰调整参数；向第一终端发送所述训练后的第一增强现实模型，向第二终端发送所述训练后的第二增强现实模型。2.根据权利要求1所述的一种增强现实的方法，其特征在于：基于第一面部图像集合、第二面部图像集合和增强现实参数集，进行模型训练，得到训练后的第一增强现实模型和训练后的第二增强现实模型，包括：交替获取第一人物的面部图像集合和第二人物的面部图像集合中的面部图像；每获取一个第一人物的面部图像，对第一人物的面部图像进行扭曲，得到扭曲后的第一人物的面部图像，将扭曲后的第一人物的面部图像输入特征提取模型，得到第一特征图像，将第一特征图像输入第二还原模型，得到第一输出图像，通过增强现实参数集对第一输出图像进行调整，基于当前获取的第一人物的面部图像和调整后的第一输出图像，对特征提取模型和第二还原模型，进行参数更新；每获取一个第二人物的面部图像，对第二人物的面部图像进行扭曲，得到扭曲后的第二人物的面部图像，将扭曲后的第二人物的面部图像输入特征提取模型，得到第二特征图像，将第二特征图像输入第一还原模型，得到第二输出图像，通过增强现实参数集对第二输出图像进行调整，基于当前获取的第二人物的面部图像和调整后的第二输出图像，对特征提取模型和第一还原模型，进行参数更新；在基于所有第一人物的面部图像和所有第二人物的面部图像对特征提取模型、第一还原模型和所述第二还原模型进行参数更新后，基于参数更新后的特征提取模型和参数更新后的第一还原模型，确定训练后的第一增强现实模型，基于参数更新后的特征提取模型和参数更新后的第二还原模型，确定训练后的第二增强现实模型。3.一种增强...

【专利技术属性】
技术研发人员：刘英杰，卢沛，李英明，
申请(专利权)人：思享智汇海南科技有限责任公司，
类型：发明
国别省市：