视频处理方法和装置、电子设备、计算机可读存储介质制造方法及图纸

本申请涉及一种视频处理方法和装置、电子设备、计算机可读存储介质。所述方法包括：从视频中每间隔预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度，根据图像的场景标签及对应的置信度建立标签频率直方图，根据标签频率直方图确定视频的视频标签。上述方法中，通过根据视频中图像的场景标签建立标签频率直方图从而确定视频的视频标签，可以提高视频标签的准确性。

Video processing method and device, electronic equipment, and computer readable storage medium

The application relates to a video processing method and device, an electronic device and a computer readable storage medium. The method includes: extracting a frame of image from each preset frame in the video, recognizing the scene of the extracted image, obtaining the scene label and the corresponding confidence of the image, establishing the label frequency histogram according to the scene label and the corresponding confidence of the image, and determining the video label according to the label frequency histogram. In the above method, the accuracy of video label can be improved by establishing label frequency histogram according to the scene label of the image in the video to determine the video label.

【技术实现步骤摘要】
视频处理方法和装置、电子设备、计算机可读存储介质
本申请涉及计算机
，特别是涉及一种视频处理方法和装置、电子设备、计算机可读存储介质。
技术介绍
随着互联网技术的快速发展，视频成为人们日常生活中的重要娱乐方式之一。人们可以在电子设备根据视频标签浏览不同视频，当人们将视频上传到视频网站时需要对视频进行分类并添加视频标签，电子设备可以通过对视频进行识别后获取视频的视频标签。然而，传统技术中存在获取视频标签不准确的问题。
技术实现思路
本申请实施例提供一种视频处理方法和装置、电子设备、计算机可读存储介质，可以提高视频标签的准确性。一种视频处理方法，包括：从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；根据所述图像的场景标签及对应的置信度建立标签频率直方图；根据所述标签频率直方图确定所述视频的视频标签。一种视频处理装置，包括：场景识别模块，用于从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；直方图建立模块，用于根据所述图像的场景标签及对应的置信度建立标签频率直方图；视频标签确定模块，用于根据所述标签频率直方图确定所述视频的视频标签。一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；根据所述图像的场景标签及对应的置信度建立标签频率直方图；根据所述标签频率直方图确定所述视频的视频标签。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如下步骤：从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；根据所述图像的场景标签及对应的置信度建立标签频率直方图；根据所述标签频率直方图确定所述视频的视频标签。上述视频处理方法和装置、电子设备、计算机可读存储介质，可以从视频中每个预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度，根据视频中各图像的场景标签及对对应的置信度建立标签频率直方图来确定视频的视频标签。由于可以根据视频中图像的场景标签建立标签频率直方图从而确定视频标签，可以提高视频标签的准确性。附图说明为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为一个实施例中电子设备的内部结构示意图；图2为一个实施例中视频处理方法的流程图；图3为一个实施例中神经网络的架构示意图；图4为一个实施例中建立标签频率直方图的流程图；图5为另一个实施例中建立标签频率直方图的流程图；图6为一个实施例中调整置信度的流程图；图7为一个实施例中视频处理方法的流程图；图8为一个实施例中视频处理装置的结构框图；图9为一个实施例中信息处理电路的示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。图1为一个实施例中电子设备的内部结构示意图。如图1所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种视频处理方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。图2为一个实施例中视频处理方法的流程图。本实施例中的视频处理方法，以运行于图1中的电子设备上为例进行描述。如图2所示，视频处理方法包括步骤202至步骤206。步骤202，从视频中每间隔预设帧提取一帧图像，对提取的图像进行场景识别，得到图像的场景标签及对应的置信度。视频是指电子设备上的任意视频。具体地，视频可以是电子设备通过摄像头采集的视频，也可以是存储在电子设备本地的视频，还可以是电子设备从网络下载的视频等。视频是由多帧静态图像组成的连续画面。预设帧可以根据实际应用需求来确定。具体地，预设帧可以根据视频帧率来确定，也可以根据视频时长来确定，还可以根据帧率和时长二者结合来确定。例如，预设帧可以为0帧，此时电子设备可以提取视频中的每一帧图像，对提取的图像进行场景识别。电子设备可以根据VGG(VisualGeometryGroup)、CNN(ConvolutionalNeuralNetwork)、SSD(singleshotmultiboxdetector)、决策树(DecisionTree)等深度学习算法训练场景识别模型，根据场景识别模型对图像进行场景识别。具体地，电子设备可以训练可输出多个场景标签的神经网络。具体地，在神经网络训练过程中，可以将包含多个训练标签的训练图像或多张包含不同训练标签的训练图像输入到神经网络中，神经网络对训练图像进行特征提取，对提取的图像特征进行检测得到图像中各个特征对应的预测置信度，根据特征的预测置信度和真实置信度得到损失函数，根据损失函数对神经网络的参数进行调整，使得训练的神经网络后续可同时识别图像的多个特征对应的场景标签，从而得到输出多个场景标签的神经网络。置信度是被测量参数的测量值的可信程度。真实置信度表示在该训练图像中预先标注的特征所属指定场景类别的置信度。图像的场景可以是风景、海滩、蓝天、绿草、雪景、烟火、聚光灯、文本、人像、婴儿、猫、狗、美食等。电子设备采用可输出多标签的神经网络对图像进行检测，具体地，神经网络输入层接收输入的图像，通过基础网路(如VGG网络)提取图像的特征，将提取的图像的特征输入到检测网络层进行场景检测，检测网络层可采用SSD网络、Mobilenet网络等对特征进行检测，在输出层通过softmax分类器输出特征所属类别的置信度及对应的位置，选取置信度最高且超过置信度阈值的目标类别作为图像中该特征所属的场景标签，从而输出图像中各个特征的场景标签及对应的置信度。步骤204，根据图像的场景标签及对应的置信度建立标签频率直方图。标签频率直方图是指根据视频中各场景标签的频率建立的直方图。场景标签的频率是根据包含场景标签的图像数量及图像中该场景标签的置信度来确定的。具体地，场景标签的频率可以是视频中包含该场景标签的图像数量与所有提取的图像数量的比值，也可以是根据图像中场景标签的置信度或场景标签对应的位置区域的大小确定该图像中场景标签的权重值，将视频中包含该场景标签的图像的加权和或加权平均值作为该场景标签的频本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；根据所述图像的场景标签及对应的置信度建立标签频率直方图；根据所述标签频率直方图确定所述视频的视频标签。

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：从视频中每间隔预设帧提取一帧图像，对所述提取的图像进行场景识别，得到所述图像的场景标签及对应的置信度；根据所述图像的场景标签及对应的置信度建立标签频率直方图；根据所述标签频率直方图确定所述视频的视频标签。2.根据权利要求1所述的方法，其特征在于，所述根据所述图像的场景标签及对应的置信度建立标签频率直方图，包括：将所述图像的场景标签对应的置信度作为所述图像中场景标签的权重值；根据所述图像的场景标签及对应的权重值建立标签频率直方图。3.根据权利要求1所述的方法，其特征在于，所述根据所述图像的场景标签及对应的置信度建立标签频率直方图，包括：根据所述图像的场景标签的置信度在所述图像的所有场景标签的置信度的大小确定所述场景标签的权重值；根据所述图像的场景标签及对应的权重值建立标签频率直方图。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：所述图像的场景标签的置信度在所述图像的所有场景标签的置信度最大时，所述场景标签对应的权重值在所述图像中的权重值最高。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：根据置...

【专利技术属性】
技术研发人员：陈岩，
申请(专利权)人：OPPO广东移动通信有限公司，
类型：发明
国别省市：广东,44