卷积神经网络训练及视频处理方法、装置和电子设备制造方法及图纸

本发明专利技术实施例提供了一种卷积神经网络训练及视频处理方法、装置和电子设备，其中，卷积神经网络训练方法包括：基于卷积神经网络对包含有目标对象标注信息的原始样本图像以及与所述原始样本图像对应的加扰样本图像进行检测，得到针对所述原始样本图像中目标对象的第一预测信息以及针对所述加扰样本图像中目标对象的第二预测信息；确定所述第一预测信息和所述标注信息之间的第一差异、以及所述第一预测信息和所述第二预测信息之间的第二差异；根据所述第一差异和所述第二差异调整所述卷积神经网络的网络参数。本发明专利技术实施例有效降低了检测过程中视频帧图像的帧间抖动。

【技术实现步骤摘要】
卷积神经网络训练及视频处理方法、装置和电子设备
本专利技术实施例涉及人工智能
，尤其涉及一种卷积神经网络训练方法、装置和电子设备，以及，一种视频处理方法、装置和电子设备。
技术介绍
卷积神经网络是用于计算机视觉和模式识别的一个重要的研究领域，它通过计算机仿照生物大脑思维启发进行类似人类对特定对象的信息处理。通过卷积神经网络，能够有效地对图像(包括静态图像和视频图像)中的对象进行检测和识别。随着互联网技术的发展，信息量的急剧增加，卷积神经网络被越来越广泛地应用于图像检测和识别领域，以从大量的信息中寻找出实际所需的信息。当在某些电子设备，如移动终端中使用卷积神经网络进行图像检测和识别时，因移动终端自身硬件性能的局限或者卷积神经网络模型设置的原因，使得卷积神经网络模型的规模较小，图像检测和识别精度受限。尤其是在视频图像中，因卷积神经网络模型规模受限，检测和识别精度不高，视频播放时帧间抖动的情况会尤其严重。
技术实现思路
本专利技术实施例提供了一种卷积神经网络训练方案，以及，一种视频处理方案。根据本专利技术实施例的一个方面，提供了一种卷积神经网络训练方法，包括：基于卷积神经网络对包含有目标对象标注信息的原始样本图像以及与所述原始样本图像对应的加扰样本图像进行检测，得到针对所述原始样本图像中目标对象的第一预测信息以及针对所述加扰样本图像中目标对象的第二预测信息；确定所述第一预测信息和所述标注信息之间的第一差异、以及所述第一预测信息和所述第二预测信息之间的第二差异；根据所述第一差异和所述第二差异调整所述卷积神经网络的网络参数。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练方法，确定所述第一预测信息和所述标注信息之间的第一差异包括：使用第一损失函数确定第一预测信息和原始样本图像中目标对象的标注信息之间的第一差异，其中，所述第一损失函数用于度量对原始样本图像中的目标对象预测结果的准确度。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练方法，确定所述第一预测信息和所述第二预测信息之间的第二差异包括：使用第二损失函数确定第一预测信息和第二预测信息之间的第二差异；其中，所述第二损失函数用于度量对原始样本图像中的目标对象预测结果和对加扰样本图像中的目标对象预测结果的差异。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练方法，使用第二损失函数确定第一预测信息和第二预测信息之间的第二差异包括：通过距离计算函数获得所述第一预测信息和所述第二预测信息之间的距离，所述距离为所述第二差异。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练方法，根据所述第一差异和所述第二差异调整所述卷积神经网络的网络参数包括：分别对所述第一差异和所述第二差异进行不同的加权处理；根据加权处理后的第一差异和第二差异调整所述卷积神经网络的网络参数。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练方法，在所述卷积神经网络包括多个卷积层，每一个卷积层之后设置有一个参数化纠正线性单元PReLU层。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练方法，所述训练方法还包括：对所述原始样本图像进行加扰处理，得到所述加扰样本图像。根据本专利技术实施例的另一个方面，还提供了一种视频处理方法，包括：获取待检测的视频帧图像；采用如前所述的方法训练而得的卷积神经网络检测所述视频帧图像中的目标对象。可选地，结合本专利技术实施例提供的任一种视频处理方法，所述方法还包括：在所述视频帧图像中标示检测出的目标对象。可选地，结合本专利技术实施例提供的任一种视频处理方法，所述方法还包括：根据检测出的目标对象，对所述视频帧图像进行前景区域和背景区域分割。可选地，结合本专利技术实施例提供的任一种视频处理方法，在对所述视频帧图像进行前景和背景分割之后，所述方法还包括：对所述前景区域进行虚化处理，或者，对所述背景区域进行虚化处理。可选地，结合本专利技术实施例提供的任一种视频处理方法，所述目标对象所在的区域为前景区域；或者，所述目标对象所在的区域为背景区域。可选地，结合本专利技术实施例提供的任一种视频处理方法，在对所述视频帧图像进行前景和背景分割之后，所述方法还包括：在所述背景区域，使用计算机绘图方式绘制待展示的业务对象，或者，在所述前景区域，使用计算机绘图方式绘制待展示的业务对象。可选地，结合本专利技术实施例提供的任一种视频处理方法，在对所述视频帧图像进行前景和背景分割之后，所述方法还包括：根据所述目标对象的类型，确定待展示的业务对象；在所述前景区域，使用计算机绘图方式绘制确定的所述业务对象，或者，在所述背景区域，使用计算机绘图方式绘制确定的所述业务对象。可选地，结合本专利技术实施例提供的任一种视频处理方法，所述业务对象包括包含广告信息的以下至少一种形式的特效：二维贴纸特效、三维特效、粒子特效。可选地，结合本专利技术实施例提供的任一种视频处理方法，所述目标对象包括以下至少之一：人的整个身体、人脸、人手、动物、可移动的物体。可选地，结合本专利技术实施例提供的任一种视频处理方法，所述视频帧图像为直播中的视频帧图像。根据本专利技术实施例的再一个方面，还提供了一种卷积神经网络训练装置，包括：检测模块，用于基于卷积神经网络对包含有目标对象标注信息的原始样本图像以及与所述原始样本图像对应的加扰样本图像进行检测，得到针对所述原始样本图像中目标对象的第一预测信息以及针对所述加扰样本图像中目标对象的第二预测信息；确定模块，用于确定所述第一预测信息和所述标注信息之间的第一差异、以及所述第一预测信息和所述第二预测信息之间的第二差异；训练模块，用于根据所述第一差异和所述第二差异调整所述卷积神经网络的网络参数。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练装置，所述确定模块在确定所述第一预测信息和所述标注信息之间的第一差异时，使用第一损失函数确定第一预测信息和原始样本图像中目标对象的标注信息之间的第一差异，其中，所述第一损失函数用于度量对原始样本图像中的目标对象预测结果的准确度。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练装置，所述确定模块在确定所述第一预测信息和所述第二预测信息之间的第二差异时，使用第二损失函数确定第一预测信息和第二预测信息之间的第二差异；其中，所述第二损失函数用于度量对原始样本图像中的目标对象预测结果和对加扰样本图像中的目标对象预测结果的差异。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练装置，所述确定模块用于通过距离计算函数获得所述第一预测信息和所述第二预测信息之间的距离，所述距离为所述第二差异。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练装置，所述训练模块用于对所述第一差异和所述第二差异进行不同的加权处理；根据加权处理后的第一差异和第二差异调整所述卷积神经网络的网络参数。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练装置，所述卷积神经网络包括多个卷积层，每一个卷积层之后设置有一个参数化纠正线性单元PReLU层。可选地，结合本专利技术实施例提供的任一种卷积神经网络训练装置，所述装置还包括：加扰模块，用于对所述原始样本图像进行加扰处理，得到所述加扰样本图像。根据本专利技术实施例的又一个方面，还提供了一种视频处理装置，包括：获取模块，用于获取待检测的视频帧图像；检测模块，用于采用如前所述的装置训练而得本文档来自技高网...

【技术保护点】
一种卷积神经网络训练方法，包括：基于卷积神经网络对包含有目标对象标注信息的原始样本图像以及与所述原始样本图像对应的加扰样本图像进行检测，得到针对所述原始样本图像中目标对象的第一预测信息以及针对所述加扰样本图像中目标对象的第二预测信息；确定所述第一预测信息和所述标注信息之间的第一差异、以及所述第一预测信息和所述第二预测信息之间的第二差异；根据所述第一差异和所述第二差异调整所述卷积神经网络的网络参数。

【技术特征摘要】
1.一种卷积神经网络训练方法，包括：基于卷积神经网络对包含有目标对象标注信息的原始样本图像以及与所述原始样本图像对应的加扰样本图像进行检测，得到针对所述原始样本图像中目标对象的第一预测信息以及针对所述加扰样本图像中目标对象的第二预测信息；确定所述第一预测信息和所述标注信息之间的第一差异、以及所述第一预测信息和所述第二预测信息之间的第二差异；根据所述第一差异和所述第二差异调整所述卷积神经网络的网络参数。2.根据权利要求1所述的方法，其中，确定所述第一预测信息和所述标注信息之间的第一差异包括：使用第一损失函数确定第一预测信息和原始样本图像中目标对象的标注信息之间的第一差异，其中，所述第一损失函数用于度量对原始样本图像中的目标对象预测结果的准确度。3.根据权利要求1或2所述的方法，其中，还包括：对所述原始样本图像进行加扰处理，得到所述加扰样本图像。4.一种视频处理方法，包括：获取待检测的视频帧图像；采用如权利要求1-3任一所述的方法训练而得的卷积神经网络检测所述视频帧图像中的目标对象。5.根据权利要求4所述的方法，其中，所述方法还包括：根据检测出的目标对象，对所述视频帧图像进行前景区域和背景区域分割。6.根据权利要求5所述的方法，其中，在对所述视频帧图像进行前景和背景分割之后，所述方法...

【专利技术属性】
技术研发人员：罗方浩，石建萍，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京,11