一种基于动态门控解码的语法可控视频描述生成方法及系统技术方案

本发明专利技术属于计算机视觉与自然语言处理技术领域，提供了一种基于动态门控解码的语法可控视频描述生成方法及系统，所述方法包括获取待描述视频和示例语句；预处理所述待描述视频和示例语句；将所述预处理后的待描述视频和示例语句输入至预先构建好的语法可控视频描述模型中，得到最终描述；其中，所述语法可控视频描述模型由视频编码器、分层图语法编码器和动态门控解码器组成；通过设置分层图语法编码器，分层图语法编码器能够逐步从词性级到短语级再到句子级建模语法结构，精确捕捉句子内部的依存关系，同时，通过设置视频编码器，能够有效地提取视频的时空特征并将其转换为高层次的语义表示，确保生成描述与视频内容的高度一致性。

【技术实现步骤摘要】

本专利技术属于计算机视觉与自然语言处理，特别涉及一种基于动态门控解码的语法可控视频描述生成方法及系统。

技术介绍

1、视频描述生成是通过分析视频内容并结合语法结构，自动生成符合语义且语法正确的自然语言描述的技术。

2、大多数视频描述生成方法只能根据经过充分训练的模型参数生成固定的句子，导致生成句子的语法和风格难以控制，无法灵活适应不同的实际需求。因此，语法可控的视频描述生成任务应运而生，其目标是通过生成描述的同时，能够反映示例句子的语法结构。现有的语法可控视频描述生成技术主要包括以下几种不同的模型架构：

3、1.基于长短时记忆网络的编码解码模型：通过将句子嵌入为词性序列，使用并作为门控指导控制描述解码。该方法过于简化了语言中语法结构的复杂性。

4、2.线性解析树模型：该方法将输入句子转化为线性解析树，并通过线性编码生成语法控制信号。然而，该方法不可避免地会丢失语言结构中的重要信息，无法保证生成的描述与期望的语法规则一致。

技术实现思路

1、针对
技术介绍
中的问题，本专利技术提本文档来自技高网...

【技术保护点】

1.一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，包括：

2.根据权利要求1所述的一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，构建语法可控视频描述模型，包括：

3.根据权利要求2所述的一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，将所述语法模板以及时空特征和视觉特征输入至可控视频描述模型中，得到最终视频文本；

4.根据权利要求2所述的一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，预处理所述待描述视频的方法与预处理所述原始视频相同；

5.根据权利要求2所述的一种基于动态门控解码的语法可...

【技术特征摘要】

1.一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，包括：

2.根据权利要求1所述的一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，构建语法可控视频描述模型，包括：

3.根据权利要求2所述的一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，将所述语法模板以及时空特征和视觉特征输入至可控视频描述模型中，得到最终视频文本；

4.根据权利要求2所述的一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，预处理所述待描述视频的方法与预处理所述原始视频相同；

5.根据权利要求2所述的一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，预处理所述描述文本的方法与预处理所述示例语句相同；

6.根据权利要求4所述的一种基于动态门控解码的语法可控视频描述生成方法，其特征在于，对所述视觉特征进行归一...

【专利技术属性】
技术研发人员：郭丹，孙甲慧，张静，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：