基于AR技术的电视节目实时换脸方法技术

本发明专利技术涉及换脸技术，解决了目前电视节目换脸需要增加硬件设备，并且无法实时跟踪换脸的问题。技术方案概括为：基于AR技术的电视节目实时换脸方法，触发换脸命令后，对从当前帧开始的连续5‑10帧图像进行人脸检测，判断是否检测到主要人脸，若检测到，则将检测到的主要人脸反馈给用户，用户选择待换脸和替换脸，然后对当前播放的电视节目实时跟踪检测并换脸；触发停止换脸命令，电视继续播放原始电视节目。有益效果是：提升了观看电视节目的趣味性且不需要增加硬件设备。特别适用于对直播中的视频进行实时跟踪换脸。

【技术实现步骤摘要】
基于AR技术的电视节目实时换脸方法
本专利技术涉及换脸技术，特别涉及一种基于AR技术的电视节目实时换脸技术。
技术介绍
在观看电视节目的同时，如果能互动式的将电视节目中的角色换成自己、自己的亲朋好友、明星人物或动漫角色，并可保留和分享换脸后的精彩时刻，无疑会增加观看电视节目的娱乐效果和观众的代入感，同时又可以增加电视的交互性和可玩性。现有技术对图片或视频进行换脸都是基于已有的图片或视频，无法在电视节目直播中进行实时跟踪换脸，并且目前在电视上应用换脸技术的方法，需要增加额外的硬件设备，比如副显示屏，以致成本增加。
技术实现思路
本专利技术所要解决的技术问题是：在不增加电视硬件设备的前提下，实现对电视节目的实时跟踪换脸，并且增设换脸视频保存、回放、分享和附加趣味性人脸属性功能。为解决上述技术问题，本专利技术采用的技术方案是：基于AR技术的电视节目实时换脸方法，包括以下步骤：步骤1、触发换脸命令；步骤2、在当前播放的电视节目中检测主要人脸，对从当前帧开始的连续5-10帧图像进行人脸检测；步骤3、判断是否检测到主要人脸，若检测到则进行下一步骤，否则返回步骤1；步骤4、将检测到的主要人脸反馈给用户，用户进行选择，保存选择的主要人脸作为待换脸，并清空对比人脸库；步骤5、从替换脸库中选择替换脸；步骤6、对当前播放的电视节目实时跟踪检测并换脸；步骤7、触发停止换脸命令，电视继续播放原始电视节目。进一步的，步骤2包括以下步骤：步骤201、对比人脸库用于存放检测到的主要人脸，检测开始，对比人脸库清空；步骤202、后台图像处理系统开始逐帧检测人脸，检测到第一张人脸图像时，如果当前人脸图像尺寸小于阀值一，则丢弃，否则赋予当前人脸一个唯一的标识符作为人脸ID，并存入对比人脸库中；步骤203、检测到下一张人脸图像，如果当前人脸图像尺寸小于阀值一，则丢弃，否则将当前人脸与对比人脸库中的人脸做相似度计算，如果在对比人脸库中找到一张相同人脸，则基于这张人脸的ID数量加一，否则将当前人脸赋予一个新的人脸ID，并存入人脸库中；步骤204、重复步骤203，直到检测完所有帧的图像；步骤205、计算主要人脸，用每个人脸ID的数量除以总人脸数，得到的值若大于阀值二，则此人脸为主要人脸。进一步的，阀值一采用60×60像素，阀值二采用0.7。进一步的，步骤6包括以下步骤：步骤601、对当前播放的电视节目中的每一帧图像进行检测，并对比当前检测出的人脸与待换脸是否为同一人，如果是同一人，则计算并保存当前检测出的人脸的关键属性，如果不是同一人，则直接播放原始帧；步骤602、计算并保存替换脸的关键属性，将待换脸与替换脸同类型的关键属性一一对应地映射到替换脸中，实时显示在电视屏幕里；步骤603、重复步骤601和步骤602，直到触发停止换脸命令。进一步的，关键属性包括人脸轮廓位置、眼睛位置、嘴巴位置、鼻子位置、人脸大小及偏转角度、肤色及亮度和表情参数。进一步的，在步骤6所述的换脸过程中，用户能够保存视频或截屏，操作完成后，能提供回放、分享到微信好友、分享到QQ好友、分享到朋友圈、发送到我的手机和保存到云服务器的操作。进一步的，在步骤6所述的换脸过程中，用户能启动附加趣味性人脸属性功能，电视以悬浮窗口的形式给出不同的附加属性，用户选择附加属性后，根据步骤602计算出的关键属性调整附加属性，以适应替换脸的关键属性，并将附加属性叠加在替换脸的相应位置上。进一步的，步骤1中触发换脸命令的方式采用遥控器按键触发、语音触发或通过手机应用软件触发，步骤7中触发停止换脸命令的方式采用遥控器按键触发、语音触发或通过手机应用软件触发。进一步的，步骤4将检测到的主要人脸反馈给用户的方式包括将检测到的主要人脸以不影响电视节目观看效果的比例显示在电视屏幕边上供用户选择，若采用手机应用软件方式触发换脸命令，所述反馈方式还包括将主要人脸通过手机应用软件显示出来供用户选择。进一步的，步骤5的替换脸库中包括明星人物、动漫角色和用户自定义的人脸图像，用户自定义的人脸图像采用蓝牙、电视自带摄像头或手机应用软件上传至替换脸库中。本专利技术的有益效果是：实现了对电视节目的实时跟踪换脸，并且不需要增加硬件设备，节约成本，同时还具有分享、保存和附加趣味性人脸属性等功能，大大提升了观看电视节目的趣味性。本专利技术特别适用于对直播中的视频进行实时跟踪换脸。附图说明图1是本专利技术的程序流程图。具体实施方式下面结合附图和实施例，进一步说明本专利技术的技术方案。如图1所示，本专利技术的技术方案是：基于AR技术的电视节目实时换脸方法，包括以下步骤：步骤1、触发换脸命令；步骤2、在当前播放的电视节目中检测主要人脸，对从当前帧开始的连续5-10帧图像进行人脸检测；步骤3、判断是否检测到主要人脸，若检测到则进行下一步骤，否则返回步骤1；步骤4、将检测到的主要人脸反馈给用户，用户进行选择，保存选择的主要人脸作为待换脸，并清空对比人脸库；步骤5、从替换脸库中选择替换脸；步骤6、对当前播放的电视节目实时跟踪检测并换脸；步骤7、触发停止换脸命令，电视继续播放原始电视节目。实施例本例中的基于AR技术的电视节目实时换脸方法，包括以下步骤：步骤1、触发换脸命令；步骤2、在当前播放的电视节目中检测主要人脸，对从当前帧开始的连续5-10帧图像进行人脸检测；步骤3、判断是否检测到主要人脸，若检测到则进行下一步骤，否则返回步骤1；步骤4、将检测到的主要人脸反馈给用户，用户进行选择，保存选择的主要人脸作为待换脸，并清空对比人脸库；步骤5、从替换脸库中选择替换脸；步骤6、对当前播放的电视节目实时跟踪检测并换脸；步骤7、触发停止换脸命令，电视继续播放原始电视节目。其中，步骤2包括以下步骤：步骤201、对比人脸库用于存放检测到的主要人脸，检测开始，对比人脸库清空；步骤202、后台图像处理系统开始逐帧检测人脸，检测到第一张人脸图像时，如果当前人脸图像尺寸小于阀值一，则丢弃，否则赋予当前人脸一个唯一的标识符作为人脸ID，并存入对比人脸库中；步骤203、检测到下一张人脸图像，如果当前人脸图像尺寸小于阀值一，则丢弃，否则将当前人脸与对比人脸库中的人脸做相似度计算，如果在对比人脸库中找到一张相同人脸，则基于这张人脸的ID数量加一，否则将当前人脸赋予一个新的人脸ID，并存入人脸库中；步骤204、重复步骤203，直到检测完所有帧的图像；步骤205、计算主要人脸，用每个人脸ID的数量除以总人脸数，得到的值若大于阀值二，则此人脸为主要人脸。阀值一采用60×60像素，阀值二采用0.7。步骤6包括以下步骤：步骤601、对当前播放的电视节目中的每一帧图像进行检测，并对比当前检测出的人脸与待换脸是否为同一人，如果是同一人，则计算并保存当前检测出的人脸的关键属性，如果不是同一人，则直接播放原始帧；步骤602、计算并保存替换脸的关键属性，将待换脸与替换脸同类型的关键属性一一对应地映射到替换脸中，实时显示在电视屏幕里；步骤603、重复步骤601和步骤602，直到触发停止换脸命令。关键属性包括人脸轮廓位置、眼睛位置、嘴巴位置、鼻子位置、人脸大小及偏转角度、肤色及亮度和表情参数。在步骤6所述的换脸过程中，用户能够保存视频或截屏，操作完成后，能提供回放、分享到微信好友、分享到QQ好友、分享到朋友圈、发送到我的手本文档来自技高网...

【技术保护点】
基于AR技术的电视节目实时换脸方法，其特征在于：包括以下步骤：步骤1、触发换脸命令；步骤2、在当前播放的电视节目中检测主要人脸，对从当前帧开始的连续5‑10帧图像进行人脸检测；步骤3、判断是否检测到主要人脸，若检测到则进行下一步骤，否则返回步骤1；步骤4、将检测到的主要人脸反馈给用户，用户进行选择，保存选择的主要人脸作为待换脸，并清空对比人脸库；步骤5、从替换脸库中选择替换脸；步骤6、对当前播放的电视节目实时跟踪检测并换脸；步骤7、触发停止换脸命令，电视继续播放原始电视节目。

【技术特征摘要】
1.基于AR技术的电视节目实时换脸方法，其特征在于：包括以下步骤：步骤1、触发换脸命令；步骤2、在当前播放的电视节目中检测主要人脸，对从当前帧开始的连续5-10帧图像进行人脸检测；步骤3、判断是否检测到主要人脸，若检测到则进行下一步骤，否则返回步骤1；步骤4、将检测到的主要人脸反馈给用户，用户进行选择，保存选择的主要人脸作为待换脸，并清空对比人脸库；步骤5、从替换脸库中选择替换脸；步骤6、对当前播放的电视节目实时跟踪检测并换脸；步骤7、触发停止换脸命令，电视继续播放原始电视节目。2.如权利要求1所述的基于AR技术的电视节目实时换脸方法，其特征在于：所述步骤2包括以下步骤：步骤201、对比人脸库用于存放检测到的主要人脸，检测开始，对比人脸库清空；步骤202、后台图像处理系统开始逐帧检测人脸，检测到第一张人脸图像时，如果当前人脸图像尺寸小于阀值一，则丢弃，否则赋予当前人脸一个唯一的标识符作为人脸ID，并存入对比人脸库中；步骤203、检测到下一张人脸图像，如果当前人脸图像尺寸小于阀值一，则丢弃，否则将当前人脸与对比人脸库中的人脸做相似度计算，如果在对比人脸库中找到一张相同人脸，则基于这张人脸的ID数量加一，否则将当前人脸赋予一个新的人脸ID，并存入人脸库中；步骤204、重复步骤203，直到检测完所有帧的图像；步骤205、计算主要人脸，用每个人脸ID的数量除以总人脸数，得到的值若大于阀值二，则此人脸为主要人脸。3.如权利要求2所述的基于AR技术的电视节目实时换脸方法，其特征在于：所述阀值一采用60×60像素，阀值二采用0.7。4.如权利要求1所述的基于AR技术的电视节目实时换脸方法，其特征在于：所述步骤6包括以下步骤：步骤601、对当前播放的电视节目中的每一帧图像进行检测，并对比当前检测出的人脸与待换脸是否为同一人，如果是同一人，则计算并保存当前检测出的人脸的关键属性，如果不是同一人，则直接播放原始帧；步骤602...

【专利技术属性】
技术研发人员：刘梅，张欢欢，展华益，刘明华，
申请(专利权)人：四川长虹电器股份有限公司，
类型：发明
国别省市：四川,51