图像前背景分割及网络模型训练、图像处理方法和装置制造方法及图纸

本发明专利技术实施例提供了一种图像前背景分割网络模型的训练、图像前背景分割及视频图像处理的方法、装置和终端设备，其中，图像前背景分割网络模型的训练方法包括：获取待训练的样本图像的特征向量；对特征向量进行卷积处理，获取特征向量卷积结果；对特征向量卷积结果进行放大处理；判断放大后的特征向量卷积结果是否满足收敛条件；若满足，则完成对用于分割图像前背景的卷积神经网络模型的训练；若不满足，则根据放大后的特征向量卷积结果调整卷积神经网络模型的参数并根据调整后的卷积神经网络模型的参数对卷积神经网络模型进行迭代训练，直至卷积结果满足收敛条件。通过本发明专利技术实施例，提高了卷积神经网络模型的训练效率，缩短了训练时间。

Image background segmentation and network model training, image processing method and device

The embodiment of the invention provides an image segmentation of foreground and background network model training, before the image background segmentation and video image processing method, device and terminal equipment, the image training background segmentation network model includes: acquiring feature vector of sample image to be trained; the feature vector convolution processing, acquisition the feature vector of the feature vector convolution results; convolution results amplified; determine the feature vector convolution results after amplification could satisfy the convergence condition; if satisfied, is used for convolutional neural network model for image segmentation before the background of training; if not, the parameters adjustment model of convolutional neural network based on feature vector convolution results after amplification the parameters according to the convolution neural network model after adjustment of the convolutional neural network model for iterative training, Until the convolution result satisfies the convergence condition. The training efficiency of the convolutional neural network model is improved and the training time is shortened by the embodiment of the invention.

【技术实现步骤摘要】
图像前背景分割及网络模型训练、图像处理方法和装置
本专利技术实施例涉及人工智能
，尤其涉及一种图像前背景分割网络模型的训练方法、装置和终端设备，一种图像前背景分割方法、装置和终端设备，以及，一种视频图像处理方法、装置和终端设备。
技术介绍
卷积神经网络是用于计算机视觉和模式识别的一个重要的研究领域，它通过计算机仿照生物大脑思维启发进行类似人类对特定对象的信息处理。通过卷积神经网络，能够有效地进行对象检测和识别。随着互联网技术的发展，信息量的急剧增加，卷积神经网络被越来越广泛地应用于对象检测及识别领域，以从大量的信息中寻找出实际所需的信息。目前，卷积神经网络需要采集大量的样本进行训练，以达到较为准确的预测效果。然而，目前的卷积神经网络训练过程复杂，加上训练样本数量的增加，造成训练时间长、训练成本高。
技术实现思路
本专利技术实施例提供了一种图像前背景分割网络模型的训练方案、一种图像前背景分割方案，以及，一种视频图像处理方案。根据本专利技术实施例的一个方面，提供了一种图像前背景分割网络模型的训练方法，包括：获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；对所述特征向量进行卷积处理，获取特征向量卷积结果；对所述特征向量卷积结果进行放大处理；判断放大后的所述特征向量卷积结果是否满足收敛条件；若满足，则完成对用于分割图像前背景的卷积神经网络模型的训练；若不满足，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练方法，其中，对所述特征向量卷积结果进行放大处理包括：通过对所述特征向量卷积结果进行双线性插值，放大所述特征向量卷积结果。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练方法，其中，对所述特征向量卷积结果进行放大处理包括：将所述特征向量卷积结果放大到放大后的特征向量卷积结果对应的图像的大小与原始图像大小一致。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练方法，其中，判断放大后的所述特征向量卷积结果是否满足收敛条件包括：使用设定的损失函数计算放大后的所述特征向量卷积结果和预定的标准输出特征向量的损失值；根据所述损失值判断放大后的所述特征向量卷积结果是否满足收敛条件。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练方法，其中，所述方法还包括：获取测试样本图像，使用训练后的所述卷积神经网络模型对所述测试样本图像进行前背景区域的预测；检验预测的前背景区域是否正确；若不正确，则使用所述测试样本图像对所述卷积神经网络模型进行再次训练。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练方法，其中，使用所述测试样本图像对所述卷积神经网络模型进行再次训练，包括：从所述测试样本图像中获取前背景区域预测不正确的样本图像；使用预测不正确的样本图像对所述卷积神经网络模型进行再次训练，其中，对所述卷积神经网络模型进行再次训练的所述预测不正确的样本图像包含有前景信息和背景信息。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练方法，其中，获取待训练的样本图像的特征向量之前，还包括：将包括多帧样本图像的视频流输入所述卷积神经网络模型。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练方法，其中，将包括多帧样本图像的视频流输入所述卷积神经网络模型之前，还包括：确定所述视频流的多个关键帧的图像为样本图像，对所述样本图像进行前景区域和背景区域的标注。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练方法，其中，所述卷积神经网络模型为全卷积神经网络模型。根据本专利技术实施例的另一方面，还提供了一种图像前背景分割方法，包括：获取待检测的图像，其中，所述图像包括静态图像或视频中的图像；采用卷积神经网络检测图像，获得所述图像的前景区域的预测信息和背景区域的预测信息；其中，所述卷积神经网络采用如上任一所述的图像前背景分割网络模型的训练方法训练而得的卷积神经网络。可选地，结合本专利技术实施例提供的任一种图像前背景分割方法，其中，所述视频中的图像为直播类视频中的图像。可选地，结合本专利技术实施例提供的任一种图像前背景分割方法，其中，所述待检测的图像包括视频流中的多帧图像。根据本专利技术实施例的又一方面，还提供了一种视频图像处理方法，包括：采用如上任一所述的图像前背景分割网络模型的训练方法训练而得的卷积神经网络检测视频图像，或者，采用如上任一所述的图像前背景分割方法检测视频图像，得到前背景检测结果；根据所述前背景检测结果在所述视频图像上展示业务对象。可选地，结合本专利技术实施例提供的任一种视频图像处理方法，其中，根据所述前背景检测结果在所述视频图像上展示业务对象，包括：根据所述前背景检测结果确定所述视频图像中的背景区域；确定所述待展示的业务对象；在确定的所述背景区域采用计算机绘图方式绘制所述待展示的业务对象。可选地，结合本专利技术实施例提供的任一种视频图像处理方法，其中，所述业务对象为包含有语义信息的特效；所述视频图像为直播类视频图像。可选地，结合本专利技术实施例提供的任一种视频图像处理方法，其中，所述直播类视频图像的前景区域为人物所在的区域。可选地，结合本专利技术实施例提供的任一种视频图像处理方法，其中，所述直播类视频图像的背景区域为除了人物所在的区域之外的至少局部区域。可选地，结合本专利技术实施例提供的任一种视频图像处理方法，其中，所述业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。根据本专利技术实施例的再一方面，还提供了一种图像前背景分割网络模型的训练装置，包括：向量获取模块，用于获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；卷积获取模块，用于对所述特征向量进行卷积处理，获取特征向量卷积结果；放大模块，用于对所述特征向量卷积结果进行放大处理；判断模块，用于判断放大后的所述特征向量卷积结果是否满足收敛条件；执行模块，用于若所述判断模块的判断结果为满足收敛条件，则完成对用于分割图像前背景的卷积神经网络模型的训练；若所述判断模块的判断结果为不满足收敛条件，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练装置，其中，所述放大模块，用于通过对所述特征向量卷积结果进行双线性插值，放大所述特征向量卷积结果。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练装置，其中，所述放大模块，用于将所述特征向量卷积结果放大到放大后的特征向量卷积结果对应的图像的大小与原始图像大小一致。可选地，结合本专利技术实施例提供的任一种图像前背景分割网络模型的训练装置，其中，所述判断模块，用于使用设定的损失函数计算放大后的所述特征向量卷积结果和预定的标准输出特征向量的损失值；根据所本文档来自技高网...

【技术保护点】
一种图像前背景分割网络模型的训练方法，包括：获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；对所述特征向量进行卷积处理，获取特征向量卷积结果；对所述特征向量卷积结果进行放大处理；判断放大后的所述特征向量卷积结果是否满足收敛条件；若满足，则完成对用于分割图像前背景的卷积神经网络模型的训练；若不满足，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。

【技术特征摘要】
1.一种图像前背景分割网络模型的训练方法，包括：获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；对所述特征向量进行卷积处理，获取特征向量卷积结果；对所述特征向量卷积结果进行放大处理；判断放大后的所述特征向量卷积结果是否满足收敛条件；若满足，则完成对用于分割图像前背景的卷积神经网络模型的训练；若不满足，则根据放大后的所述特征向量卷积结果调整所述卷积神经网络模型的参数并根据调整后的所述卷积神经网络模型的参数对所述卷积神经网络模型进行迭代训练，直至迭代训练后的特征向量卷积结果满足所述收敛条件。2.根据权利要求1所述的方法，其中，对所述特征向量卷积结果进行放大处理包括：通过对所述特征向量卷积结果进行双线性插值，放大所述特征向量卷积结果。3.一种图像前背景分割方法，包括：获取待检测的图像，其中，所述图像包括静态图像或视频中的图像；采用卷积神经网络检测图像，获得所述图像的前景区域的预测信息和背景区域的预测信息；其中，所述卷积神经网络采用如权利要求1-2任一所述的方法训练而得的卷积神经网络。4.一种视频图像处理方法，包括：采用如权利要求1-2任一所述的方法训练而得的卷积神经网络检测视频图像，或者，采用如权利要求3所述的方法检测视频图像，得到前背景检测结果；根据所述前背景检测结果在所述视频图像上展示业务对象。5.一种图像前背景分割网络模型的训练装置，包括：向量获取模块，用于获取待训练的样本图像的特征向量，其中，所述样本图像为包含有前景标注信息和背景标注信息的样本图像；卷积获取模块，用于对所述特征向量进行卷积处理，获取特征向量卷积结果；放大模块，用于对所述特征向量卷积结果进行放大处理；判断模块，用于判断放大后的所述特征向量卷积结果是否满足收敛条件；执行模块，用于若所述判断模块的判断结果为满足收敛条件，则完成对用于分割图像前背景的卷积神经网络模型的训练；若所述判断...

【专利技术属性】
技术研发人员：石建萍，栾青，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11