一种自动化生成短视频内容标签的方法及系统技术方案

本发明专利技术涉及短视频短视频标签构建技术领域，具体公开了一种自动化生成短视频内容标签的方法及系统，包括：S100,视频信息输入，将待处理视频导入系统中；S200数据预处理及关键帧提取，将视频信息进行切帧预处理，并对相邻的将两帧图像进行差分，得到图像的平均像素强度可以用来衡量两帧图像的变化大小，基于帧间差分的平均强度，每当视频中的某一帧与前一帧画面内容产生了大的变化，提取作为关键帧；S300图像描述生成，关键帧进行分析处理并输出描述关键词作为图像标签；S400描述统计等内容；本发明专利技术采用视频关键帧提取算法，相比全部帧比对的方法提高了处理速度，同时相比随机抽帧的方式提高了准确性。式提高了准确性。式提高了准确性。

【技术实现步骤摘要】
一种自动化生成短视频内容标签的方法及系统


[0001]本专利技术涉及短视频标签
，具体是一种自动化生成短视频内容标签的方法及系统。

技术介绍

[0002]近年来短视频平台经过迅猛发展已经逐渐变成了最主流的传媒方式，随之而来的就是各平台出现海量的短视频数据，在海量的数据中就不免会出现各种违规有害的视频。以往针对短视频的审核依赖于大量的人工，不过在近几年人工智能算法的技术加持下审核的方式也逐渐向自动化靠拢。利用人工智能技术对视频等数据审核的过程中都需要对数据先生成相关的标签，然后通过不同的标签进行聚类分析，获取比较容易出现问题的视频类别等方式进行。而目前现有的技术中视频的标签主要还是依赖于用户在上传时自行定义的标签，自定义的标签会出现和视频内容不匹配、多样化等问题，而且通常标签也无法将视频配套的描述信息、字幕等文本信息包含，这样就导致标签的种类会非常多并且对内容审核的参考性不大。当前环境下，算法在针对视频、图像等数据的分类及检测中很多场景下已经远远超过了人工，因此可以在定义好标签体系的情况下，生成某一个视频标签时采用深度学习算法。在此背景下，研究一种基于短视频内容信息的标签构建方法变得十分重要。
[0003]现有技术(CN114265953A)一种基于标签的短视频推荐方法、系统、设备和介质，所述方法包括如下步骤：获取视频的标签和标签相关度；根据用户行为数据生成用户画像，并计算用户对视频的标签偏好度；根据用户画像，采用基于内容和用户协同的方式推荐视频。该方法存在的不足主要是该方法只是提供了在视频已经有标签的情况下来验证标签与视频的相关性，并不能为视频生成标签。
[0004]现有技术(CN114297439A)一种短视频标签确定方法、系统、装置及存储介质，方法包括：获取第一短视频的音频信息，对第一短视频进行视频音频分析得到第一音频标签；获取第一短视频的关键帧信息，对第一短视频进行视频内容分析得到第一场景标签、第一物体标签以及第一人物标签；获取第一短视频的标题信息、视频描述信息以及字幕信息，对第一短视频进行视频语义分析得到第一语义标签；根据第一音频标签、第一场景标签、第一物体标签、第一人物标签以及第一语义标签进行权重决策分析，生成第一短视频标签。该方法不足主要为对视频关键帧内容标签生成的过程中依赖于预先训练好的场景识别、人物识别等模型，对先验模型中不存在的内容识别度不够。
[0005]综上所述,本专利技术提供了一种自动化生成短视频内容标签的方法及系统。

技术实现思路

[0006]本专利技术的目的是针对现有的视频标签生成技术中存在的问题，提出了采用视频关键帧自动化生成标签的方法。在视频帧生成标签的过程中，首先利用关键帧提取算法对视频中具有代表意义的帧进行提取，将数据预处理后采用Encoder
‑
Attention
‑
Decoder算法进行图像内容自动生成的方式，可利用算法对图像内容自主进行理解，输出可以代表图像
中包含内容的关键词作为标签。
[0007]为实现上述目的，本专利技术提供如下技术方案：一种自动化生成短视频内容标签的方法，所述方法包括如下步骤：
[0008]S100,视频信息输入，将待处理视频导入系统中；
[0009]S200数据预处理及关键帧提取，将视频信息进行切帧预处理，并对相邻的将两帧图像进行差分，得到图像的平均像素强度可以用来衡量两帧图像的变化大小，基于帧间差分的平均强度，每当视频中的某一帧与前一帧画面内容产生了大的变化，提取作为关键帧；
[0010]S300图像描述生成，关键帧进行分析处理并输出描述关键词作为图像标签；
[0011]S400描述统计，图像描述生成产生的每一个关键词进行合并去重，并将关键词安装次数排序；
[0012]S500视频标签输出，将步骤S400统计关键词中的高频词汇输出作为视频标签。
[0013]作为本专利技术所述的一种优选实施方案，所述步骤S200中详细步骤如下：
[0014]S201：将输入视频按顺序做切帧处理，切帧完成后每一帧进行高斯滤波处理；
[0015]S202：将视频原始的每一帧和前一帧(若输入为第一帧时复制该帧做为前帧进行处理)首先进行绝对值差分计算，对结果进行二值化后矩阵数值相加为其帧间差分值；
[0016]S203：对上一步差分值列表进行标准化平滑处理；
[0017]S204：利用滑动窗口方式进行最大差分值选取，并按照其下标获取原始帧数据；
[0018]S205：将上述提取的关键帧图像大小放缩至224*224并做归一化处理。
[0019]作为本专利技术所述的一种优选实施方案，所述步骤S300图像描述生成包括Encoder处理、Attention处理和Decoder处理。
[0020]作为本专利技术所述的一种优选实施方案，所述步骤S300详细内容如下如下：
[0021]S301：Encoder处理采用去除分类输出层的ResNet预训练模型，最终输出的向量维度大小为14*14*2048；
[0022]S302：Attention处理主要是将上述产生的图片的小区域和下一个单词做对齐，Attention包括三个全连接层、一个Relu激活函数以及softmax分类函数，在每一次产生词汇时需要获得对应的14*14个权重值α；
[0023]S303：Decoder处理主要是利用t
‑
1时刻产生的隐藏层状态和t时刻的图片注意力向量来产生下一个词。
[0024]作为本专利技术所述的一种优选实施方案，所述S303中去掉LSTM，再Decoder部分直接调用Attention预测下一个词，从而输出产生描述语句的关键词。
[0025]作为本专利技术所述的一种优选实施方案，所述步骤S400详细步骤如下：
[0026]S401：本步骤采用基于步骤S300对第一步产生的所有关键帧进行推理，输出为每一帧图像对应一组关键词；
[0027]S402：将步骤S401中得到的所有关键词合并、去重，统计每个关键词出现的次数并按照次数排序。
[0028]一种自动化生成短视频内容标签的系统，所述系统包括：
[0029]预处理及关键帧提取模块，用于将输入视频信息进行切帧预处理，并对相邻的将两帧图像进行差分，得到图像的平均像素强度可以用来衡量两帧图像的变化大小，基于帧间差分的平均强度，每当视频中的某一帧与前一帧画面内容产生了大的变化，提取作为关
键帧；
[0030]图像描述生成模块，用于关键帧进行分析处理并输出描述关键词作为图像标签；
[0031]统计模块，用于图像描述生成产生的每一个关键词进行合并去重，并将关键词安装次数排序，并将排序前五的关键词作为该视频内容标签输出。
[0032]与现有技术相比，本专利技术的有益效果是：
[0033]1.本专利技术采用视频关键帧提取算法，相比全部帧比对的方法提高了处理速度，同时相比随机抽帧的方式提高了准确性；
[0034]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自动化生成短视频内容标签的方法，其特征在于，所述方法包括如下步骤：S100,视频信息输入，将待处理视频导入系统中；S200数据预处理及关键帧提取，将视频信息进行切帧预处理，并对相邻的将两帧图像进行差分，得到图像的平均像素强度可以用来衡量两帧图像的变化大小，基于帧间差分的平均强度，每当视频中的某一帧与前一帧画面内容产生了大的变化，提取作为关键帧；S300图像描述生成，关键帧进行分析处理并输出描述关键词作为图像标签；S400描述统计，图像描述生成产生的每一个关键词进行合并去重，并将关键词安装次数排序；S500视频标签输出，将步骤S400统计关键词中的高频词汇输出作为视频标签。2.根据权利要求1所述的一种自动化生成短视频内容标签的方法，其特征在于，所述步骤S200中详细步骤如下：S201：将输入视频按顺序做切帧处理，切帧完成后每一帧进行高斯滤波处理；S202：将视频原始的每一帧和前一帧(若输入为第一帧时复制该帧做为前帧进行处理)首先进行绝对值差分计算，对结果进行二值化后矩阵数值相加为其帧间差分值；S203：对上一步差分值列表进行标准化平滑处理；S204：利用滑动窗口方式进行最大差分值选取，并按照其下标获取原始帧数据；S205：将上述提取的关键帧图像大小放缩至224*224并做归一化处理。3.根据权利要求1所述的一种自动化生成短视频内容标签的方法，其特征在于，所述步骤S300图像描述生成包括Encoder处理、Attention处理和Decoder处理。4.根据权利要求3所述的一种自动化生成短视频内容标签的方法，其特征在于，所述步骤S300详细内容如下如下：S301：Encoder处理采用去除分类输出层的ResNet预训练模型，最终...

【专利技术属性】
技术研发人员：孙笑科，程姣，杨云龙，王鼎华，李佳，张良，黄亮，杨近朱，党向磊，胡燕林，刘帅修，刘岩，冯静怡，李邱苹，孟繁中，李怡辰，
申请(专利权)人：长安通信科技有限责任公司，
类型：发明
国别省市：