视频图像的处理方法、装置和终端设备制造方法及图纸

本发明专利技术实施例提供了一种视频图像的处理方法、装置和终端设备，涉及人工智能技术领域，其中，所述方法包括：检测视频图像中的背景区域；确定待显示的业务对象；采用计算机绘图方式在确定出的背景区域绘制所述业务对象，以使所述业务对象覆盖所述视频图像中的背景区域的原始内容。通过本发明专利技术实施例，使得业务对象与视频播放相结合，节约了网络资源和/或客户端的系统资源，可以有效实现预想的业务对象投放效果。

Video image processing method, device and terminal equipment

The embodiment of the invention provides a video image processing method, device and terminal equipment, and relates to the technical field of artificial intelligence, wherein, the method includes: detecting background in video image display; to determine the business object; using computer graphics in the background region was determined to draw the business object. In order to make the original content of the business object covered background region of the image in the video. By the embodiment of the invention, the business object and the combination of video playback, saves the system resource cyber source and / or the client, can effectively achieve the desired effect on the business object.

【技术实现步骤摘要】
视频图像的处理方法、装置和终端设备
本专利技术实施例涉及人工智能
，尤其涉及一种视频图像的处理方法、装置和终端设备。
技术介绍
随着互联网技术的发展，文字、图片和视频等皆可以视频的形式实现在视频直播平台中直播。视频直播平台中的视频通常以人物为主角(单一人物或少量人物)，在人物的后方是视频的背景区域。然而，现有的视频直播平台中视频的背景区域是固定不变的，而且固定不变的背景区域无法吸引观众的注意，甚至会对视频直播的内容产生影响。
技术实现思路
本专利技术实施例提供了视频图像的处理技术方案。根据本专利技术实施例的一个方面，提供了一种视频图像的处理方法，包括：检测视频图像中的背景区域；确定待显示的业务对象；采用计算机绘图方式在确定出的背景区域绘制所述业务对象，以使所述业务对象覆盖所述视频图像中的背景区域的原始内容。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述检测视频图像中的背景区域包括：通过预先训练的卷积神经网络模型检测所述视频图像的背景区域。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述对所述卷积神经网络模型的预先训练包括：获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；对所述特征向量进行卷积处理，获取特征向量卷积结果；对所述特征向量卷积结果进行放大处理；判断放大后的所述特征向量卷积结果是否满足收敛条件；若满足，则完成对所述卷积神经网络模型的训练；若不满足，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述对所述特征向量卷积结果进行放大处理包括：通过对所述特征向量卷积结果进行双线性插值，放大所述特征向量卷积结果。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述对所述特征向量卷积结果进行放大处理包括：将所述特征向量卷积结果放大到放大后的特征向量卷积结果对应的图像的大小与原始图像大小一致。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述判断放大后的所述特征向量卷积结果是否满足收敛条件包括：使用设定的损失函数计算放大后的所述特征向量卷积结果和设定的标准输出特征向量的损失值；根据所述损失值判断放大后的所述特征向量卷积结果是否满足收敛条件。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述方法还包括：获取测试样本图像，使用训练后的所述卷积神经网络模型对所述测试样本图像进行前背景区域的预测；检验预测的前背景区域是否正确；若不正确，则使用所述测试样本图像对所述卷积神经网络模型进行再次训练。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述使用所述测试样本图像对所述卷积神经网络模型进行再次训练包括：从所述测试样本图像中获取前背景区域预测不正确的样本图像；使用预测不正确的样本图像对所述卷积神经网络模型进行再次训练，其中，对所述卷积神经网络模型进行再次训练的所述预测不正确的样本图像包含有前景信息和背景信息。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述获取待训练的样本图像的特征向量之前，所述方法还包括：将包括多帧样本图像的视频流输入所述卷积神经网络模型。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述将包括多帧样本图像的视频流输入所述卷积神经网络模型之前，所述方法还包括：确定所述视频流的多个关键帧的图像为样本图像，对所述样本图像进行前景区域和背景区域的标注。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述卷积神经网络模型为全卷积神经网络模型。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述业务对象包括以下至少之一：目标视频、目标图像、目标特效。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述方法还包括：获取待显示的所述业务对象。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述获取待显示的所述业务对象包括：从预定存储位置获取所述业务对象，或者从视频源接收所述业务对象。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述视频图像为直播类视频图像。可选地，结合本专利技术实施例提供的任一种视频图像的处理方法，其中，所述直播类视频图像的背景区域包括直播类视频图像中除了主播图像之外的区域。根据本专利技术实施例的另一个方面，提供了一种视频图像的处理装置，包括：检测模块，用于检测视频图像中的背景区域；确定模块，用于确定待显示的业务对象；绘制模块，用于采用计算机绘图方式在确定出的背景区域绘制所述业务对象，以使所述业务对象覆盖所述视频图像中的背景区域的原始内容。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述检测模块，用于通过预先训练的卷积神经网络模型检测所述视频图像的背景区域。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述装置还包括：训练模块，用于对所述卷积神经网络模型预先训练；所述训练模块包括：向量获取模块，用于获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；卷积获取模块，用于对所述特征向量进行卷积处理，获取特征向量卷积结果；放大模块，用于对所述特征向量卷积结果进行放大处理；判断模块，用于判断放大后的所述特征向量卷积结果是否满足收敛条件；执行模块，用于若所述判断模块的判断结果为满足收敛条件，则完成对所述卷积神经网络模型的训练；若所述判断模块的判断结果为不满足收敛条件，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述放大模块，用于通过对所述特征向量卷积结果进行双线性插值，放大所述特征向量卷积结果。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述放大模块，用于将所述特征向量卷积结果放大到放大后的特征向量卷积结果对应的图像的大小与原始图像大小一致。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述判断模块，用于使用设定的损失函数计算放大后的所述特征向量卷积结果和设定的标准输出特征向量的损失值；根据所述损失值判断放大后的所述特征向量卷积结果是否满足收敛条件。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述训练模块还包括：预测模块，用于获取测试样本图像，使用训练后的所述卷积神经网络模型对所述测试样本图像进行前背景区域的预测；检验模块，用于检验预测的前背景区域是否正确；再训练模块，用于若所述检验模块的检验结果为不正确，则使用所述测试样本图像对所述卷积神经网络模型进行再次训练。可选地，结合本专利技术实施例提供的任一种视频图像的处理装置，其中，所述再训练模块，用于若所述检验模块的检验结果为不正确，则从所述测试样本图像中获取前背景区域预测不正确的样本本文档来自技高网...

【技术保护点】
一种视频图像的处理方法，包括：检测视频图像中的背景区域；确定待显示的业务对象；采用计算机绘图方式在确定出的背景区域绘制所述业务对象，以使所述业务对象覆盖所述视频图像中的背景区域的原始内容。

【技术特征摘要】
1.一种视频图像的处理方法，包括：检测视频图像中的背景区域；确定待显示的业务对象；采用计算机绘图方式在确定出的背景区域绘制所述业务对象，以使所述业务对象覆盖所述视频图像中的背景区域的原始内容。2.根据权利要求1所述的方法，其中，所述检测视频图像中的背景区域包括：通过预先训练的卷积神经网络模型检测所述视频图像的背景区域。3.根据权利要求2所述的方法，其中，所述对所述卷积神经网络模型的预先训练包括：获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；对所述特征向量进行卷积处理，获取特征向量卷积结果；对所述特征向量卷积结果进行放大处理；判断放大后的所述特征向量卷积结果是否满足收敛条件；若满足，则完成对所述卷积神经网络模型的训练；若不满足，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。4.根据权利要求3所述的方法，其中，所述对所述特征向量卷积结果进行放大处理包括：通过对所述特征向量卷积结果进行双线性插值，放大所述特征向量卷积结果。5.根据权利要求3或4所述的方法，其中，所述对所述特征向量卷积结果进行放大处理包括：将所述特征向量卷积结果放大到放大后的特征向量卷积结果对应的图像的大小与原始图像大小一致。6.根据权利要求3-5任一所述的方法，其中，所述判...

【专利技术属性】
技术研发人员：栾青，石建萍，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11