视频特效添加方法、装置及终端设备制造方法及图纸

本申请实施例公开了一种视频特效添加方法、装置及终端设备，用手势动作替代原有通过按键点击的方式开启特效，能够减少用户操作的复杂度，在视频通话来电时快速开启特效。能够根据用户手指滑过的区域面积或屏幕占比，做区域性的人像分割以及背景替换或虚化，提升产品的趣味性、可玩性和交互性。还能够在做人像分割之前，对原始图像进行下采样处理，从而大幅度降低人像分割的计算和功耗开销，从而允许需要大计算量的深度学习人像分割模型算法能够运行在算力和功耗受限的移动终端上，满足视频播放的帧率要求。播放的帧率要求。播放的帧率要求。

【技术实现步骤摘要】
视频特效添加方法、装置及终端设备
[0001]本申请为2020年9月25日提交中国国家知识产权局、申请号为2020110213300、申请名称为“视频特效添加方法、装置及终端设备”的中国专利申请的分案，本申请全部内容包含在母案中。


[0002]本申请涉及移动通信术领域，尤其涉及一种视频特效添加方法、装置及终端设备。

技术介绍

[0003]目前许多视频通话产品都已支持在视频通话的过程中添加美颜、滤镜或背景替换等特效功能，这些特效功能深受用户的欢迎。在支持这些特效功能的视频通话产品中，当用户想添加特效时，需要先调起特效菜单，再点击选择，操作步骤比较繁琐。尤其在来电场景中，用户需要同时处理接听电话和调整特效菜单两种任务，操作很不方便。故亟需一种添加特效的快捷操作。
[0004]现有技术中的视频通话产品，通常在来电界面中显示特效图标，用户点击特效图标就能展开特效菜单或美颜调节条。当用户需要应用特效时，需要先点击特效图标，展开特效编辑菜单，再点击选择特效缩略图或在菜单内滑动调节美颜级别。在用户交互过程中，用户需要至少两次点击才能开启指定的特效，交互过程繁琐，整个流程耗时较长，并且图标的点击区域比较小，不方便快捷操作。故无法满足在来电状态下快速达到开启特效的目的。
[0005]【申请内容】
[0006]有鉴于此，本申请实施例提供了一种视频特效添加方法、装置及终端设备，用以解决现有技术中用户在视频通话时添加特效不方便、不快捷的技术问题。
[0007]第一方面，本申请实施例提供了一种视频特效添加方法，所述方法包括以下步骤：捕捉用户的手势动作，获取所述手势动作的滑动信息；根据所述手势动作的滑动信息，将特效素材应用于屏幕上。
[0008]通过本实施例提供的方案，有别于现有技术中用户在视频通话过程中开启特效需要至少两次点击的操作而导致的交互过程繁琐的问题，本实施例提供的方案通过对用户的手势动作的滑动信息进行捕捉和处理，能够达到用户的手指滑动到哪里特效就加到哪里的效果。
[0009]在一种优选的实施方案中，所述捕捉用户的手势动作，获取所述手势动作的滑动信息的步骤，包括：实时捕捉和记录用户的手指在所述屏幕的二维xy坐标系中滑动起点的起点坐标信息和滑动终点的终点坐标信息；根据手指的所述起点坐标信息和所述终点坐标信息，判断手指的滑动方向以及滑动速度；根据手指的滑动方向，判断用户所采用的滑动手势；其中，所述滑动信息包括滑动起点的起点坐标信息、滑动终点的终点坐标信息、滑动手势、滑动方向和滑动速度。
[0010]通过本实施例提供的方案，用户滑动时手指滑过屏幕会留下滑动信息，滑动起点的起点坐标信息和滑动终点的终点坐标信息提供了判断滑动手势、滑动方向和滑动速度的
依据，滑动手势提供用户的手指在屏幕上滑动的方式，滑动方向提供用户的手指在屏幕上滑动的路径，滑动速度提供用户的手指在屏幕上滑动的快慢，综合这些滑动信息就能够准确得知屏幕上需要替换特效素材的区域。
[0011]在一种优选的实施方案中，当所述滑动手势为边滑动手势时，执行以下步骤：根据手指的所述起点坐标信息和所述终点坐标信息，判断手指在所述屏幕上的坐标位移D与预设的最小距离D
min
的大小关系，以及所述滑动速度V与预设的最小速度V
min
的大小关系；当D＞D
min
且V＞V
min
时，启动所述特效素材。
[0012]通过本实施例提供的方案，预先设定最小距离D
min
和最小速度V
min
作为判断用户的手指是否有效滑动的标准，通过计算手指在屏幕上的坐标位移D和滑动速度V，来判断用户的手指是否真的在进行手势操作，避免发生错误相应用户在屏幕上的误触碰而错误添加特效素材的问题。
[0013]在一种优选的实施方案中，当所述滑动手势为角滑动手势时，执行以下步骤：预设起点区域；其中，所述起点区域的横坐标的最大值为X
max
，横坐标的最大值为Y
max
；根据手指的所述起点坐标信息，判断手指的滑动起点是否落在起点区域内；若手指的滑动起点的横坐标X
s
＜X
max
且纵坐标Y
s
＜Y
max
，则判断为手指的滑动起点位于预设的起点区域内；根据手指的所述起点坐标信息和所述终点坐标信息，判断手指在所述屏幕上的坐标位移D与预设的最小距离D
min
的大小关系，以及所述滑动速度V与预设的最小速度V
min
的大小关系；当D＞D
min
、V＞V
min
且所述滑动起点与所述滑动终点的连线的斜率k的范围满足0.268<|k|<3.73或0.268<|k
‑1|<3.73时，启动所述特效素材。
[0014]通过本实施例提供的方案，预先设定起点区域和滑动区域，起点区域作为判定用户的手指是否能够触发滑动手势识别的判断条件，滑动区域作为判定用户的手指是否能够触发应用特效素材的判断条件，设定两个判断条件从而准确地判断用户的手指在屏幕的角落处是否存在滑动手势以及手指所滑动的区域大小，在屏幕的四个角落处设置的滑动区域，其边缘的倾角在15
°
到75
°
的范围内，用户的手指在执行角滑动手势时，就会覆盖滑动区域的部分或者全部，能够满足角滑动手势的判断要求，进而能够适应性地应用特效素材。
[0015]在一种优选的实施方案中，所述根据所述手势动作的滑动信息，将特效素材应用于屏幕上的步骤，包括：根据所述手势动作的滑动信息，将所述屏幕分割成第一区域和第二区域；对所述屏幕中显示的人像进行人像分割，对所述屏幕中背景位于所述第一区域中的部分进行特效素材替换；其中，所述第一区域为与所述手势动作的滑动起点与滑动终点的连线相垂直且穿过所述滑动终点的分割线所扫过的屏幕的区域，所述第二区域为所述屏幕上除所述第一区域外的区域；所述滑动信息包括滑动起点的起点坐标信息、滑动终点的终点坐标信息、滑动手势、滑动方向和滑动速度。
[0016]通过本实施例提供的方案，先进行人像分割和屏幕分割，将人像提取出，将屏幕分割为手指滑过的第一区域和未滑过的第二区域，并仅对第一区域的背景进行特效素材的替换。该方法能够实时捕捉手指在滑动中的位置，从而确定所需要替换背景的第一区域。在替换背景时，人像所占区域依旧显示人像，不会被替换成背景，形成前景人像不变，后方背景变化的效果，从而实现了实时捕捉用户的滑动手势、实时计算用户的手指滑过的区域、实时替换用户的手指滑过的区域的背景的功能。
[0017]在一种优选的实施方案中，所述根据所述手势动作的滑动信息，将所述屏幕分割
成第一区域和第二区域的步骤，包括：根据所述手势动作的滑动起点的起点坐标信息和滑动终点的终点坐标信息，创建所述分割线；根据所述分割线和所述滑动方向，将所述分割线沿所述滑本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频特效添加方法，其特征在于，所述方法包括以下步骤：捕捉用户的手势动作，获取所述手势动作的滑动信息；根据所述手势动作的滑动信息，将特效素材应用于屏幕上。2.根据权利要求1所述的视频特效添加方法，其特征在于，所述捕捉用户的手势动作，获取所述手势动作的滑动信息的步骤，包括：实时捕捉和记录用户的手指在所述屏幕的二维xy坐标系中滑动起点的起点坐标信息和滑动终点的终点坐标信息；根据手指的所述起点坐标信息和所述终点坐标信息，判断手指的滑动方向以及滑动速度；根据手指的滑动方向，判断用户所采用的滑动手势；其中，所述滑动信息包括滑动起点的起点坐标信息、滑动终点的终点坐标信息、滑动手势、滑动方向和滑动速度。3.根据权利要求2所述的视频特效添加方法，其特征在于，当所述滑动手势为边滑动手势时，执行以下步骤：根据手指的所述起点坐标信息和所述终点坐标信息，判断手指在所述屏幕上的坐标位移D与预设的最小距离D
min
的大小关系，以及所述滑动速度V与预设的最小速度V
min
的大小关系；当D＞D
min
且V＞V
min
时，启动所述特效素材。4.根据权利要求2所述的视频特效添加方法，其特征在于，当所述滑动手势为角滑动手势时，执行以下步骤：预设起点区域；其中，所述起点区域的横坐标的最大值为X
max
，横坐标的最大值为Y
max
；根据手指的所述起点坐标信息，判断手指的滑动起点是否落在起点区域内；若手指的滑动起点的横坐标X
s
＜X
max
且纵坐标Y
s
＜Y
max
，则判断为手指的滑动起点位于预设的起点区域内；根据手指的所述起点坐标信息和所述终点坐标信息，判断手指在所述屏幕上的坐标位移D与预设的最小距离D
min
的大小关系，以及所述滑动速度V与预设的最小速度V
min
的大小关系；当D＞D
min
、V＞V
min
且所述滑动起点与所述滑动终点的连线的斜率k的范围满足0.268<|k|<3.73或0.268<|k
‑1|<3.73时，启动所述特效素材。5.根据权利要求1所述的视频特效添加方法，其特征在于，所述根据所述手势动作的滑动信息，将特效素材应用于屏幕上的步骤，包括：根据所述手势动作的滑动信息，将所述屏幕分割成第一区域和第二区域；对所述屏幕中显示的人像进行人像分割，对所述屏幕中背景位于所述第一区域中的部分进行特效素材替换；其中，所述第一区域为与所述手势动作的滑动起点与滑动终点的连线相垂直且穿过所述滑动终点的分割线所扫过的屏幕的区域，所述第二区域为所述屏幕上除所述第一区域外的区域；所述滑动信息包括滑动起点的起点坐标信息、滑动终点的终点坐标信息、滑动手势、滑
动方向和滑动速度。6.根据权利要求5所述的视频特效添加方法，其特征在于，所述根据所述手势动作的滑动信息，将所述屏幕分割成第一区域和第二区域的步骤，包括：根据所述手势动作的滑动起点的起点坐标信息和滑动终点的终点坐标信息，创建所述分割线；根据所述分割线和所述滑动方向，将所述分割线沿所述滑动方向扫过的所述屏幕的区域分割为所述第一区域。7.根据权利要求5所述的视频特效添加方法，其特征在于，所述对所述屏幕中显示的人像进行人像分割，对所述屏幕中背景位于所述第一区域中的部分进行特效素材替换的步骤，包括：对所述人像的原始图像使用双线性插值算法进行下采样，得到下采样图像；...

【专利技术属性】
技术研发人员：吴霞，张硕，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：