一种视频通信方法、装置及终端设备制造方法及图纸

技术编号:18460884 阅读:32 留言:0更新日期:2018-07-18 13:33
本发明专利技术实施例提供一种视频通信方法、装置及终端设备,该方法包括:第一终端设备建立与第二终端设备的视频通信连接,并获取所述第一终端设备的图像采集装置所采集的视频图像;确定所选取的滤镜效果;确定所述滤镜效果的数据处理量类型;如果所述数据处理量类型符合第一类型,在所述第一终端设备的CPU中为所述视频图像添加所述滤镜效果;如果所述数据处理量类型符合第二类型,指示所述第一终端设备的GPU在所述视频图像上添加所述滤镜效果;至少根据添加滤镜效果的视频图像,确定添加视频特效的视频图像;向所述第二终端设备传输添加视频特效的视频图像。本发明专利技术实施减小了基于视频特效的视频通信的使用局限。

A video communication method, device and terminal device

An embodiment of the invention provides a video communication method, a device and a terminal device. The method includes: the first terminal device establishes a video communication connection with the second terminal device, and obtains a video image collected by the image acquisition device of the first terminal device, determines the filter effect selected and determines the filter effect. If the data processing quantity type is in accordance with the first type, the said filter effect is added to the video image in the CPU of the first terminal device; if the data processing quantity type is in accordance with the second type, the GPU of the first terminal device is added to the video image to add the filter. The mirror effect; at least according to the video image added to the filter effect, the video image added to the video special effect is determined, and the video image which adds the video special effect is transmitted to the second terminal device. The invention reduces the use limitation of video communication based on video effects.

【技术实现步骤摘要】
一种视频通信方法、装置及终端设备
本专利技术涉及通信
,具体涉及一种视频通信方法、装置及终端设备。
技术介绍
视频通信是指用户之间通过传递视频图像进行通信的方式,如用户的手机等终端设备在建立视频通信连接后,可通过网络互传摄像头采集的视频图像,实现视频通信。为实现视频通信的个性化需求,目前的视频通信方式还可支持视频特效在视频图像中的添加,如为视频图像中的人脸添加胡子,动物耳朵等人脸挂件图像,为视频图像添加卡通、漫画等滤镜效果。GPU(图形处理器件)作为常规的处理图形的器件,为视频图像添加视频特效一般是在GPU上实现;然而,GPU在终端设备中还需负责图形界面的显示、图像呈现等工作,随着图形处理任务的增多,终端设备需要设置性能足够强大的GPU,才能满足在视频图像上添加视频特效的需求,这对于终端设备的性能配置提出了更高的要求,导致基于视频特效的视频通信的使用局限越来越大。
技术实现思路
有鉴于此,本专利技术实施例提供一种视频通信方法、装置及终端设备,以减小基于视频特效的视频通信的使用局限。为实现上述目的,本专利技术实施例提供如下技术方案:一种视频通信方法,应用于第一终端设备,所述方法包括:建立与第二终端设备的视频通信连接,并获取所述第一终端设备的图像采集装置所采集的视频图像;确定所选取的滤镜效果;确定所述滤镜效果的数据处理量类型;如果所述数据处理量类型符合第一类型,在所述第一终端设备的CPU中为所述视频图像添加所述滤镜效果;如果所述数据处理量类型符合第二类型,指示所述第一终端设备的GPU在所述视频图像上添加所述滤镜效果;其中,所述第一类型对应的数据处理量与为所述CPU设定的数据处理量范围相应,且,所述第一类型对应的数据处理量,低于第二类型对应的数据处理量;至少根据添加滤镜效果的视频图像,确定添加视频特效的视频图像;向所述第二终端设备传输添加视频特效的视频图像。本专利技术实施例还提供一种视频通信装置,应用于第一终端设备,所述装置包括:连接建立模块,用于建立与第二终端设备的视频通信连接;视频图像获取模块,用于获取所述第一终端设备的图像采集装置所采集的视频图像;滤镜效果确定模块,用于确定所选取的滤镜效果;类型确定模块,用于确定所述滤镜效果的数据处理量类型;第一滤镜效果添加模块,用于如果所述数据处理量类型符合第一类型,在所述第一终端设备的CPU中为所述视频图像添加所述滤镜效果;第二滤镜效果添加模块,用于如果所述数据处理量类型符合第二类型,指示所述第一终端设备的GPU在所述视频图像上添加所述滤镜效果;其中,所述第一类型对应的数据处理量与为所述CPU设定的数据处理量范围相应,且,所述第一类型对应的数据处理量,低于第二类型对应的数据处理量;添加特效的视频图像确定模块,用于至少根据添加滤镜效果的视频图像,确定添加视频特效的视频图像;视频图像传输模块,用于向所述第二终端设备传输添加视频特效的视频图像。本专利技术实施例还提供一种终端设备,包括:CPU,用于建立与第二终端设备的视频通信连接,并获取所述第一终端设备的图像采集装置所采集的视频图像;确定所选取的滤镜效果;确定所述滤镜效果的数据处理量类型;如果所述数据处理量类型符合第一类型,在所述第一终端设备的CPU中为所述视频图像添加所述滤镜效果;如果所述数据处理量类型符合第二类型,指示所述第一终端设备的GPU在所述视频图像上添加所述滤镜效果;其中,所述第一类型对应的数据处理量与为所述CPU设定的数据处理量范围相应,且,所述第一类型对应的数据处理量,低于第二类型对应的数据处理量;至少根据添加滤镜效果的视频图像,确定添加视频特效的视频图像;向所述第二终端设备传输添加视频特效的视频图像;GPU,用于受所述CPU指示,在所述数据处理量类型符合第二类型时,在所述视频图像上添加所述滤镜效果。基于上述技术方案,本专利技术实施例提供的视频通信方法中,第一终端设备在选取滤镜效果后,可根据滤镜效果的数据处理量类型,决定滤镜效果是在CPU中实现还是在GPU中实现;即所述数据处理量类型对应的处理复杂度较低,符合第一类型时,可在所述第一终端设备的CPU中为所述视频图像添加所述滤镜效果,所述数据处理量类型对应的处理复杂度较高,符合第二类型时,可指示所述第一终端设备的GPU在所述视频图像上添加所述滤镜效果;从而本专利技术实施例可根据滤镜效果的数据处理量类型,合理分配执行滤镜效果添加的处理器件,使得滤镜效果添加涉及的数据处理压力,可在CPU和GPU间分担,使得终端设备具有一定的综合性能,则可满足在视频图像上添加视频特效的需求,而不需要强化GPU等某一方面的性能配置,为低配置的终端设备能够实现滤镜效果提供了可能,减小了基于视频特效的视频通信的使用局限。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。图1为本专利技术实施例提供的视频通信系统的结构框图;图2为本专利技术实施例提供的视频通信方法的信令流程图;图3为本专利技术实施例提供的视频通信方法的另一信令流程图;图4为确定所选取的视频特效的方法流程图;图5为终端设备的结构框图;图6为实现人脸挂件在视频图像中添加的流程示意图;图7为实现人脸挂件和滤镜效果在视频图像中添加的另一流程示意图;图8对添加视频特效的视频图像进行视频编码处理的方法流程图;图9为在iPhone5S的GPU上测试美颜磨皮、美肤的性能的示意图;图10为在iPhone4S的GPU上测试美颜磨皮、美肤的性能的示意图;图11为在不同iPhone手机上测试人脸识别技术性能的示意图;图12为本专利技术实施例提供的视频通信装置的结构框图;图13为本专利技术实施例提供的视频通信装置的另一结构框图;图14为本专利技术实施例提供的视频通信装置的再一结构框图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。图1为本专利技术实施例提供的视频通信系统的结构框图,参照图1,该视频通信系统可以包括:第一终端设备10和第二终端设备20;第一终端设备和第二终端设备可以是具有摄像头等图像采集装置,并且具有数据处理能力的用户侧设备,如带有摄像头的智能手机、平板电脑、笔记本电脑等。第一用户(第一终端设备的用户)和第二用户(第二终端设备的用户)在进行视频通信时,可通过第一终端设备和第二终端设备互传视频图像,实现视频通信,第一终端设备和第二终端设备的数据交互可通过网络实现,具体可以是提供视频通信服务的网络服务器实现,如具有视频通信功能的IM(即时通信)服务器等。图1所示为双人视频通信场景的示意,显示本专利技术实施例也可支持多人视频通信,如支持群组用户的视频通信。在本专利技术实施例中,第一终端设备和第二终端设备处理图像采集装置采集的视频图像并传输,及接收视频图像并展示的过程相同;下面以第一终端设备为视频图像发送设备,第二终端设备为视频图像接收设备为例,对本专利技术实施例本文档来自技高网...

【技术保护点】
1.一种视频通信方法,其特征在于,应用于第一终端设备,所述方法包括:建立与第二终端设备的视频通信连接,并获取所述第一终端设备的图像采集装置所采集的视频图像;确定所选取的滤镜效果;确定所述滤镜效果的数据处理量类型;如果所述数据处理量类型符合第一类型,在所述第一终端设备的CPU中为所述视频图像添加所述滤镜效果;如果所述数据处理量类型符合第二类型,指示所述第一终端设备的GPU在所述视频图像上添加所述滤镜效果;其中,所述第一类型对应的数据处理量与为所述CPU设定的数据处理量范围相应,且,所述第一类型对应的数据处理量,低于第二类型对应的数据处理量;至少根据添加滤镜效果的视频图像,确定添加视频特效的视频图像;向所述第二终端设备传输添加视频特效的视频图像。

【技术特征摘要】
1.一种视频通信方法,其特征在于,应用于第一终端设备,所述方法包括:建立与第二终端设备的视频通信连接,并获取所述第一终端设备的图像采集装置所采集的视频图像;确定所选取的滤镜效果;确定所述滤镜效果的数据处理量类型;如果所述数据处理量类型符合第一类型,在所述第一终端设备的CPU中为所述视频图像添加所述滤镜效果;如果所述数据处理量类型符合第二类型,指示所述第一终端设备的GPU在所述视频图像上添加所述滤镜效果;其中,所述第一类型对应的数据处理量与为所述CPU设定的数据处理量范围相应,且,所述第一类型对应的数据处理量,低于第二类型对应的数据处理量;至少根据添加滤镜效果的视频图像,确定添加视频特效的视频图像;向所述第二终端设备传输添加视频特效的视频图像。2.根据权利要求1所述的视频通信方法,其特征在于,所述CPU设定的数据处理量范围的确定过程包括:确定所述CPU的数据处理量上限值,及设定所述CPU处理滤镜效果的CPU占用比例范围;根据所述数据处理量上限值,与所述CPU占用比例范围确定所述数据处理量范围。3.根据权利要求1所述的视频通信方法,其特征在于,所述在所述第一终端设备的CPU中为所述视频图像添加所述滤镜效果包括:调用预定的滤镜效果实现算法,为所述视频图像添加所述滤镜效果;所述指示所述第一终端设备的GPU在所述视频图像上添加所述滤镜效果包括:指示所述GPU通过OpenGL接口,以预定的滤镜效果实现算法,在所述视频图像上添加所述滤镜效果。4.根据权利要求1-3任一项所述的视频通信方法,其特征在于,所述获取所述第一终端设备的图像采集装置所采集的视频图像包括:获取当前网络带宽;根据预置的网络带宽范围与图像获取帧率的第一对应关系,确定与当前网络带宽所处网络带宽范围对应的图像获取帧率;其中,网络带宽范围与所对应的图像获取帧率正相关;根据所确定的图像获取帧率,获取所述第一终端设备的图像采集装置所采集的视频图像。5.根据权利要求4所述的视频通信方法,其特征在于,所述方法还包括:根据所述第一终端设备的设备配置信息,以及当前网络带宽,确定当前可执行的至少一个视频特效类型;展示所述可执行的至少一个视频特效类型对应的视频特效;其中,一个视频特效类型对应至少一个视频特效;所述确定所选取的滤镜效果包括:确定从所展示的视频特效中选取的滤镜效果。6.根据权利要求5所述的视频通信方法,其特征在于,所述根据所述第一终端设备的设备配置信息,以及当前网络带宽,确定当前可执行的至少一个视频特效类型包括:调取预置的设备配置等级、网络带宽范围与视频特效类型的第二对应关系;其中,设备配置等级与网络带宽范围越高,所对应的视频特效类型的数量越多;确定所述第二对应关系中,与所述第一终端设备的设备配置信息的设备配置等级,及所述当前网络带宽所处的网络带宽范围,相应的视频特效类型。7.根据权利要求5所述的视频通信方法,其特征在于,所述方法还包括:确定从所展示的视频特效中选取的人脸挂件图像;所述方法还包括:提取所获取的视频图像的灰度图通道图像;识别所述灰度图通道图像中各人脸特征点的位置;根据所述人脸挂件图像对应的人脸特征点,及所述各人脸特征点的位置,确定所述人脸挂件图像在所述视频图像中的添加位置;将所述视频图像和所述人脸挂件图像渲染到所述第一终端设备的GPU中,以在所述GPU中生成第一图像格式的视频图像和人脸挂件图像;及将所述添加位置传输给所述GPU;获取GPU传输的第一图像格式的特效视频图像,所述特效视频图像为在所述添加位置添加有人脸挂件图像的视频图像。8.根据权利要求7所述的视频通信方法,其特征在于,所述至少根据添加滤镜效果的视频图像,确定添加视频特效的视频图像包括:确定添加有人脸挂件图像及滤镜效果的视频图像,得到添加视频特效的视频图像;其中,人脸挂件图像在滤镜效果前或后添加在视频图像上;所述向所述第二终端设备传输添加视频特效的视频图像包括:确定第二图像格式的添加视频特效的视频图像;对所述第二图像格式的添加视频特效的视频图像,进行视频编码处理;将视频编码处理后的视频图像传输给第二终端设备。9.根据权利要求7所述的视频通信方法,其特征在于,所述识别所述灰度图通道图像中各人脸特征点的位置包括:根据设定比例缩小灰度图通道图像,得到灰度图通道缩小图像;根据设定旋转角度对灰度图通道缩小图像进行旋转;识别旋转后的灰度图通道缩小图像中各人脸特征点的位置;将旋转后的灰度图通道缩小图像中各人脸特征点的位置,转换为所述灰度图通道图像中各人脸特征点的位置。10.根据权利要求8所述的视频通信方法,其特征在于,所述灰度图通道图像为YUV格式视频图像的Y通道图像,或,RGB格式视频图像的G通道图像;所述第一图像格式为RGB格式,所述第二图像...

【专利技术属性】
技术研发人员:李凯
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:广东,44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1