视频处理方法、介质及服务器技术

本发明专利技术实施例公开了一种视频处理方法、视频检索方法、装置、介质及服务器，利用从视频内容与自然语句之间的双向信息，通过对原始视频进行编解码处理，既能够得到自然语句，又可获取原始视频的视频特征及解码阶段的隐藏状态来重构目标视频，基于目标视频与原始视频之间的差异性对视频处理系统的框架进行优化；这样通过获取视频内容与自然语句之间的双向信息来约束自然语句的生成过程，有利于提升自然语句的描述准确率，优化视频内容理解服务的质量。

Video processing methods, media and servers

The embodiment of the invention discloses a video processing method, a video retrieval method, a device, a medium and a server. By using the bidirectional information between the video content and the natural statement, the natural statement can be obtained by encoding and decoding the original video, and the video features of the original video and the hidden state of the decoding stage can be obtained to reconstruct the target video based on the target view The difference between the frequency and the original video optimizes the framework of the video processing system; in this way, the two-way information between the video content and the natural statement is obtained to restrict the generation process of the natural statement, which is conducive to improving the description accuracy of the natural statement and optimizing the quality of the video content processing service.

【技术实现步骤摘要】
视频处理方法、介质及服务器
本专利技术涉及互联网
，具体涉及视频处理
，尤其涉及一种视频处理方法、一种计算机存储介质以及一种服务器。
技术介绍
为了方便快速了解视频的主要内容，视频内容理解服务应运而生。视频内容理解服务是将视频内容转换为采用一个自然语句来进行描述的服务。衡量视频内容理解服务的质量优劣的一个重要因素，即是用于描述视频内容的自然语句的描述准确率。现有技术中，视频处理流程一般分为编码阶段及解码阶段，编码阶段：由编码器对原始视频的每一帧进行特征提取；解码阶段：由解码器根据提取的视频特征预测出用于描述该视频内容的自然语句。通过现有技术的方案虽然实现了视频内容理解服务；但是，其仅获得用于描述视频内容的自然语句，却并未关注如何提升自然语句对视频内容的描述准确率，这就无法保证视频内容理解服务的质量。
技术实现思路
本专利技术实施例提供一种视频处理方法、视频检索方法、装置、介质及服务器，能够优化自然语句的生成过程以提升描述准确率，提升视频内容理解服务的质量。一方面，本专利技术实施例提供了一种视频处理方法，所本文档来自技高网...

【技术保护点】
1.一种视频处理方法，应用于视频处理系统中，所述视频处理系统包括编码器及解码器，其特征在于，所述视频处理系统还包括重构器，所述方法包括：/n通过对原始视频进行编解码处理，获取原始视频的帧特征序列及解码阶段的隐藏状态；/n基于平均特征机制，并根据所述解码阶段的隐藏状态重构出目标视频的全局特征；/n获取所述目标视频的全局特征与所述原始视频的帧特征序列之间的差异性；/n根据所述差异性对所述解码器和/或所述重构器进行优化。/n

【技术特征摘要】
1.一种视频处理方法，应用于视频处理系统中，所述视频处理系统包括编码器及解码器，其特征在于，所述视频处理系统还包括重构器，所述方法包括：
通过对原始视频进行编解码处理，获取原始视频的帧特征序列及解码阶段的隐藏状态；
基于平均特征机制，并根据所述解码阶段的隐藏状态重构出目标视频的全局特征；
获取所述目标视频的全局特征与所述原始视频的帧特征序列之间的差异性；
根据所述差异性对所述解码器和/或所述重构器进行优化。


2.如权利要求1所述的方法，其特征在于，所述通过对原始视频进行编解码处理，获取所述原始视频的帧特征序列及解码阶段的隐藏状态，包括：
调用所述编码器提取所述原始视频的帧特征；
按照所述原始视频的视频帧的时序对提取到的帧特征进行合并，生成所述原始视频的帧特征序列；
获取所述解码器在多个解码时刻的隐藏状态；
按照解码时刻的时序对获取到的多个解码时刻的隐藏状态进行合并，得到解码阶段的隐藏状态序列。


3.如权利要求2所述的方法，其特征在于，所述获取所述解码器在多个解码时刻的隐藏状态，包括：
在每个解码时刻，基于平均特征机制对所述原始视频的帧特征序列中的各帧特征进行整合，得到整合特征；
调用所述解码器对所述整合特征进行解码处理以预测出单词；
获取所述解码器在每个解码时刻的隐藏状态；
其中，各解码时刻预测出的单词按照各解码时刻的时序合并形成用于描述所述原始视频的自然语句。


4.如权利要求2所述的方法，其特征在于，所述基于平均特征机制，并根据所述解码阶段的隐藏状态重构出目标视频的全局特征，包括：
将平均特征机制作用于所述解码阶段的隐藏状态序列，得到所述自然语句的全局表达信息；
调用所述重构器根据所述自然语句的全局表达信息及所述解码阶段的隐藏状态序列重构出目标视频的全局特征。


5.如权利要求1所述的方法，其特征在于，所述获取所述目标视频的全局特征与所述原始视频的帧特征序列之间的差异性，包括：
计算所述目标视频的全局特征与所述原始视频的帧特征序列之间的第一欧氏距离；
根据所述第一欧氏距离构建所述重构器的全局损失函数；
获取所述解码器的损失函数；
根据所述解码器的损失函数及所述重构器的全局损失函数构建全局差异函数，所述全局差异函数用于描述所述目标视频与所述原始视频之间的全局特征差异性。


6.如权利要求1-5任一项所述的方法，其特征在于，所述根据所述差异性对所述解码器和/或所述重构器进行优化，包括：
根据所述差异性对所述解码器的处理参数进行优化更新；和/或
根据所述差异性对所述重构器的处理参数进行优化更新。


7.一种视频处理方法，应用于视频处理系统中，所述视频处理系统包括编码器及解码器，其特征在于，所述视频处理系统还包括重构器，所述方法包括：
通过...

【专利技术属性】
技术研发人员：王柏瑞，马林，刘威，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44