一种提高视频文本描述准确性的编码器网络模型设计方法技术

本发明专利技术公开了一种提高视频文本描述准确性的编码器网络模型设计方法，步骤包括：步骤1、构建视频的视觉特征提取编码器，步骤2、构建视频的语义特征提取编码器，步骤3、获取语义特征，步骤4、训练S‑LSTM网络模型。本发明专利技术的方法，在编码网络模型中，利用视频的特征提取更精确的语义信息，并且放大各语义单词之间的差异性，进而得到更准确的语义特征；该语义特征输入至解码网络后，对视频进行文本描述；与目前检索到的主流论文发表的算法指标相比，视频的文本描述的准确性有明显的提高。

【技术实现步骤摘要】
一种提高视频文本描述准确性的编码器网络模型设计方法
本专利技术属于视频文本描述算法
，涉及一种提高视频文本描述准确性的编码器网络模型设计方法。
技术介绍
视频文本描述算法是指对于给定的一段视频，自动输出视频内容的语言描述。视频文本描述算法在实际中具有重要意义和广泛应用。比如面对海量的视频数据，可以利用视频文本描述对用户点击过的视频进行快速分析，从而为用户进行个性化服务；并且也可以利用视频文本描述算法生成的文本描述，对用户上传的短视频进行智能审核。除此之外，视频文本描述在幼儿的早期辅助教育、视频检索、以及帮助弱视群体更好的获取信息等方面有着十分重要的应用。在视频文本描述的过程中，需要把视频转化为文本输出，因此准确的提取视频包含的语义信息具有重要作用。准确的语义信息是输出视频文本描述的前提条件，这部分的工作是在模型的编码器中完成，但是现有技术在这方面还存在输出信息不准确、输出速度慢的不足。
技术实现思路
本专利技术的目的是提供一种提高视频文本描述准确性的编码器网络模型设计方法，解决了现有技术在视频文本描述过程中，语本文档来自技高网...

【技术保护点】
1.一种提高视频文本描述准确性的编码器网络模型设计方法，其特征在于，按照以下步骤实施：/n步骤1、构建视频的视觉特征提取编码器，/n步骤2、构建视频的语义特征提取编码器，/n步骤3、获取语义特征，/n步骤4、训练S-LSTM网络模型。/n

【技术特征摘要】
1.一种提高视频文本描述准确性的编码器网络模型设计方法，其特征在于，按照以下步骤实施：
步骤1、构建视频的视觉特征提取编码器，
步骤2、构建视频的语义特征提取编码器，
步骤3、获取语义特征，
步骤4、训练S-LSTM网络模型。


2.根据权利要求1所述的提高视频文本描述准确性的编码器网络模型设计方法，其特征在于：所述的步骤1中，具体过程是，
1.1)建立训练数据集，
选用已经公开发表的MSVD数据集视频样本和MSRVTT数据集若干个视频的视觉特征作为语义特征提取网络的训练集的样本；在MSRVTT数据集中，随机选出作为训练集的数据样本之后，留下的部分视频样本作为验证集的样本；
1.2)建立语义词典，
从训练集的样本和验证集的样本的标注中选择最常用的K个单词，组成语义概念集合，
假设训练集的样本总数为N，对其中的第i个视频样本，i＝1,2,...,N，利用选择的K个单词对训练集的样本进行语义词典标注，语义属性标注的计算公式如下：
Yi＝[yi,1,yi,2,...,yi,K]，i＝1,2,...,N(1)
其中，
1.3)构建视觉特征提取编码器，
本步骤构建的视觉特征提取编码器的基本模型结构是二维卷积网络ResNeXt和三维卷积网络ECO，取二维卷积网络ResNeXt中的conv5/block3的池化层输出的M1维特征向量描述视频的二维视觉特性；取三维卷积网络ECO的全局池化层输出的M2维特征向量描述视频的三维视觉特性；将这两个特征向量拼接后，作为视频的视觉特征，每个视频对应的视觉特征向量是M＝M1+M2维，这样，训练集的N个样本的视觉特征表达式如式(3)：
Xi＝[xi,1,xi,2,...,xi,M]，i＝1,2,...,N。(3)。


3.根据权利要求2所述的提高视频文本描述准确性的编码器网络模型设计方法，其特征在于：所述的步骤2中，具体过程是，
2.1)设计视频语义特征提取网络的结构，
将步骤1得到的视觉特征Xi＝[xi,1,xi,2,...,xi,M]作为输入，经过全连接层FC1、FC2进行降维，得到的Ms维的全连接特征记为再经过HighwayLayer模块和FC3层，经过Sigmoid激活操作得到Mc维特征向量最后经过放大单词差异模块得到Mc维语义特征向量，记作
2.1.1)构建HighwayLayer模块，
HighwayLayer模块的输入为视觉特征Xi，经过FC1和FC2操作后得到的Ms维特征向量HighwayLayer模块由Transformgate和Carrygate两部分组成：
其一的Transformgate部分是对输入信息Hi经过FC4全连接操作后，再进行Sigmoid非线性变换得到特征向量，记作，计算公式如下：
Li＝σ(Wt·Hi+bt)，i＝1,2,...,N(4)
其中，σ表示Sigmoid激活函数，参数Wt和bt由网络训练得到；
其二的Carrygate部分的输出为Ji＝1-Li，i＝1,2,...,N，记作
将输入信息Hi经过FC5非线性变换后得到特征向量记作计算公式如下：
Di＝fact(Wg·Hi+bg)，i＝1,2,...,N(5)
其中，fact表示ReLU激活函数，参数Wg和bg由网络训练得到；
...

【专利技术属性】
技术研发人员：朱虹，熊鸽，潘晓容，杨恺庆，刘晶晶，杜森，王栋，
申请(专利权)人：西安理工大学，
类型：发明
国别省市：陕西;61