视频图像的处理方法、装置和终端设备制造方法及图纸

本发明专利技术实施例提供一种视频图像的处理方法、装置和终端设备。所述方法包括：对当前播放的包含人脸信息的视频图像进行人脸的面部动作检测；当确定检测到的面部动作与对应的预定面部动作相匹配时，确定待展现的业务对象在视频图像中的展现位置；在展现位置采用计算机绘图方式绘制待展现的业务对象。采用本发明专利技术实施例，可以节约网络资源和/或客户端的系统资源，而且为视频图像增加了趣味性，同时还不会打扰用户正常观看视频，从而可以减少用户对视频图像中展现的业务对象的反感，而且能够在一定程度上吸引观众的注意力，提高业务对象的影响力。

Video image processing method, device and terminal equipment

The embodiment of the invention provides a processing method, a device and a terminal device for video images. The method includes the facial motion detection of video image containing facial information currently playing; facial movements when determining the detected corresponding to the predetermined facial movements match, to determine the show business object show the location in the image; in the show position by computer graphics drawing to show business object. The embodiment of the invention can save system resources and / or cyber source client, but also increase the fun for the video image, but also will not disturb the normal users to watch video, which can reduce the user to show the video image in the business object, but also to attract the audience to a certain extent, attention, improve business the influence of the object.

【技术实现步骤摘要】
视频图像的处理方法、装置和终端设备
本专利技术涉及信息处理技术，尤其涉及一种视频图像的处理方法、装置和终端设备。
技术介绍
随着互联网技术的发展，人们越来越多地使用互联网观看视频，由此，互联网视频为许多新的业务提供了商机。因为互联网视频可以成为重要的业务流量入口，因而被认为是广告植入的优质资源。现有视频广告主要通过植入的方式，在视频播放的某个时间插入固定时长的广告，或在视频播放的区域及其周边区域固定位置放置广告。但是，一方面，这种视频广告方式不但占用网络资源，也占用客户端的系统资源；另一方面，这种视频广告方式往往打扰观众的正常视频观看体验，引起观众反感，不能达到预想的广告效果。
技术实现思路
本专利技术的目的在于，提供一种视频图像的处理的方案。根据本专利技术实施例的一方面，提供一种视频图像的处理方法。所述方法包括，对当前播放的包含人脸信息的视频图像进行人脸的面部动作检测；当确定检测到的面部动作与对应的预定面部动作相匹配时，确定待展现的业务对象在所述视频图像中的展现位置；在所述展现位置采用计算机绘图方式绘制所述待展现的业务对象。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述对当前播放的包含人脸信息的视频图像进行人脸的面部动作检测，包括：从当前播放的包含人脸信息的视频图像中提取人脸关键点，使用预先训练的、用于检测图像中人脸动作状态的第一卷积网络模型，确定所述视频图像中人脸的面部动作的状态，并根据视频图像中人脸动作状态确定所述视频图像中人脸的面部动作。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，对所述第一卷积网络模型进行预先训练，包括：获取多张包括人脸信息的样本图像作为训练样本，其中，所述样本图像包含被标注的人脸动作状态的信息；使用所述训练样本对所述第一卷积网络模型进行训练，得到用于检测图像中人脸动作状态的第一卷积网络模型。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，获取多张包括人脸信息的样本图像作为训练样本，包括：获取多张包括人脸信息的样本图像；对每张所述样本图像，检测样本图像中的人脸和人脸关键点，通过所述人脸关键点将样本图像中的人脸进行定位，得到人脸定位信息；将包含所述人脸定位信息的所述样本图像作为训练样本。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述确定待展现的业务对象在所述视频图像中的展现位置，包括：提取与检测到的面部动作相应的人脸区域内的人脸特征点；根据所述人脸特征点，确定所述待展现的业务对象在所述视频图像中的展现位置。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述根据所述人脸特征点，确定所述待展现的业务对象在所述视频图像中的展现位置，包括：根据所述人脸特征点，使用预先训练的、用于确定业务对象在视频图像中的展现位置的第二卷积网络模型，确定所述待展现的业务对象在所述视频图像中的展现位置。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，对所述第二卷积网络模型的预先训练，包括：获取训练样本的样本图像的特征向量，其中，所述特征向量中包含有所述样本图像中的业务对象的位置信息和/或置信度信息，以及样本图像中面部动作相应的人脸区域内的人脸特征点对应的人脸特征向量；对所述特征向量进行卷积处理，获取特征向量卷积结果；判断所述特征向量卷积结果中对应的业务对象的位置信息和/或置信度信息是否满足业务对象收敛条件，并判断所述特征向量卷积结果中对应的人脸特征向量是否满足人脸收敛条件；若都满足，则完成对所述第二卷积网络模型的训练；否则，调整第二卷积网络模型的网络参数并根据调整后的第二卷积网络模型的网络参数对第二卷积网络模型进行迭代训练，直至迭代训练后的业务对象的位置信息和/或置信度信息以及所述人脸特征向量均满足相应的收敛条件。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述根据所述人脸特征点，确定所述待展现的业务对象在所述视频图像中的展现位置，包括：根据所述人脸特征点和所述待展现的业务对象的类型，确定待展现的业务对象在所述视频图像中的展现位置。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，根据所述人脸特征点和所述待展现的业务对象的类型，确定待展现的业务对象在所述视频图像中的展现位置，包括：根据所述人脸特征点和所述待展现的业务对象的类型，获得待展现的业务对象在所述视频图像中的多个展现位置；从所述多个展现位置中选择至少一个展现位置。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述确定待展现的业务对象在所述视频图像中的展现位置，包括：从预先存储的面部动作与展现位置的对应关系中，获取所述预定面部动作对应的目标展现位置作为所述待展现的业务对象在所述视频图像中的展现位置。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述业务对象为包含有语义信息的特效；所述视频图像为直播类视频图像。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述展示位置包括以下至少之一：视频图像中人物的头发区域、额头区域、脸颊区域、下巴区域、头部以外的身体区域、视频图像中的背景区域、视频图像中以手部所在的区域为中心的设定范围内的区域、视频图像中预先设定的区域。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述业务对象的类型包括以下至少之一：额头贴片类型、脸颊贴片类型、下巴贴片类型、虚拟帽子类型、虚拟服装类型、虚拟妆容类型、虚拟头饰类型、虚拟发饰类型、虚拟首饰类型。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述人脸的面部动作包括以下至少之一：眨眼、亲吻、张嘴、摇头、点头、笑、哭、皱眉、闭左/右/双眼、嘟嘴。根据本专利技术实施例的另一方面，提供一种视频图像的处理装置。所述装置包括：视频图像检测模块，用于对当前播放的包含人脸信息的视频图像进行人脸的面部动作检测；展现位置确定模块，用于当确定检测到的面部动作与对应的预定面部动作相匹配时，确定待展现的业务对象在所述视频图像中的展现位置；业务对象绘制模块，在所述展现位置采用计算机绘图方式绘制所述待展现的业务对象。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述视频图像检测模块，用于从当前播放的包含人脸信息的视频图像中提取人脸关键点，使用预先训练的、用于检测图像中人脸动作状态的第一卷积网络模型，确定所述视频图像中人脸的面部动作的状态，并根据视频图像中人脸动作状态确定所述视频图像中人脸的面部动作。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，训练样本获取模块，用于获取多张包括人脸信息的样本图像作为训练样本，其中，所述样本图像包含被标注的人脸动作状态的信息；第一卷积网络模型确定模块，用于使用所述训练样本对所述第一卷积网络模型进行训练，得到用于检测图像中人脸动作状态的第一卷积网络模型。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述训练样本获取模块，包括：样本图像获取单元，用于获取多张包括人脸信息的样本图像；人脸定位信息本文档来自技高网...

【技术保护点】
一种视频图像的处理方法，其特征在于，所述方法包括：对当前播放的包含人脸信息的视频图像进行人脸的面部动作检测；当确定检测到的面部动作与对应的预定面部动作相匹配时，确定待展现的业务对象在所述视频图像中的展现位置；在所述展现位置采用计算机绘图方式绘制所述待展现的业务对象。

【技术特征摘要】
1.一种视频图像的处理方法，其特征在于，所述方法包括：对当前播放的包含人脸信息的视频图像进行人脸的面部动作检测；当确定检测到的面部动作与对应的预定面部动作相匹配时，确定待展现的业务对象在所述视频图像中的展现位置；在所述展现位置采用计算机绘图方式绘制所述待展现的业务对象。2.根据权利要求1所述的方法，其特征在于，所述对当前播放的包含人脸信息的视频图像进行人脸的面部动作检测，包括：从当前播放的包含人脸信息的视频图像中提取人脸关键点，使用预先训练的、用于检测图像中人脸动作状态的第一卷积网络模型，确定所述视频图像中人脸动作状态，并根据视频图像中人脸动作状态确定所述视频图像中人脸的面部动作。3.根据权利要求2所述的方法，其特征在于，对所述第一卷积网络模型进行预先训练，包括：获取多张包括人脸信息的样本图像作为训练样本，其中，所述样本图像包含被标注的人脸动作状态的信息；使用所述训练样本对所述第一卷积网络模型进行训练，得到用于检测图像中人脸动作状态的第一卷积网络模型。4.根据权利要求3所述的方法，其特征在于，获取多张包括人脸信息的样本图像作为训练样本，包括：获取多张包括人脸信息的样本图像；对每张所述样本图像，检测样本图像中的人脸和人脸关键点，通过所述人脸关键点将样本图像中的人脸进行定位，得到人脸定位信息；将包含所述人脸定位信息的所述样本图像作为训练样本。5.根据权利要求1-4任一所述的方法，其特征在于，所述确定待展现的业务对象在所述视频图像中的展现位置，包括：提取与检测到的面部动作相应的人脸区域内的人脸特征点；根据所述人脸特征点，确定所述待展现的业务对象在所述视频图像中的展现位置。6.根据权利要求5所述的方法，其特征在于，所述根据所述人脸特征点，确定所述待展现的业务对象在所述视频图像中的展现位置，包括：根据所述人脸特征点，使用预先训练的、用于确定业务对象在视频图像中的展现位置的第二...

【专利技术属性】
技术研发人员：栾青，彭义刚，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11