视频摘要生成方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例提供了一种视频摘要生成方法、装置、电子设备及存储介质，属于人工智能技术领域。该方法包括：获取视频数据；通过预设的视频提取模型对视频数据进行视频提取，得到多个视频片段；对视频片段进行编码处理，得到视频隐藏特征向量；将视频隐藏特征向量与预设的参考词向量进行矩阵相乘处理，得到视频描述词段；通过预设的文本识别模型对视频描述词段进行文本识别处理，得到视频摘要语句；根据预设的拼接顺序对视频摘要语句进行拼接处理，得到视频摘要文本。本申请实施例能够提高生成视频摘要的准确性。摘要的准确性。摘要的准确性。

【技术实现步骤摘要】
视频摘要生成方法、装置、电子设备及存储介质


[0001]本申请涉及人工智能
，尤其涉及一种视频摘要生成方法、装置、电子设备及存储介质。

技术介绍

[0002]目前，在对视频进行摘要提取时，常常采用监督学习的方式：将视频数据等输入至训练好的监督学习模型，通过监督学习模型对视频数据进行处理，得到视频摘要；但是监督学习模型对训练集的人工标注要求较高，而人工标注的方式往往会存在着较大的人为误差，会影响视频摘要的准确性。因此，如何提高生成视频摘要的准确性，成为了亟待解决的技术问题。

技术实现思路

[0003]本申请实施例的主要目的在于提出一种视频摘要生成方法、装置、电子设备及存储介质，旨在提高生成视频摘要的准确性。
[0004]为实现上述目的，本申请实施例的第一方面提出了一种视频摘要生成方法，所述方法包括：
[0005]获取视频数据；
[0006]通过预设的视频提取模型对所述视频数据进行视频提取，得到多个视频片段；
[0007]对所述视频片段进行编码处理，得到视频隐藏特征向量；r/>[0008]将本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频摘要生成方法，其特征在于，所述方法包括：获取视频数据；通过预设的视频提取模型对所述视频数据进行视频提取，得到多个视频片段；对所述视频片段进行编码处理，得到视频隐藏特征向量；将所述视频隐藏特征向量与预设的参考词向量进行矩阵相乘处理，得到视频描述词段；通过预设的文本识别模型对所述视频描述词段进行文本识别处理，得到视频摘要语句；根据预设的拼接顺序对所述视频摘要语句进行拼接处理，得到视频摘要文本。2.根据权利要求1所述的视频摘要生成方法，其特征在于，所述视频提取模型包括双流网络、BM层、卷积层和预设函数，所述通过预设的视频提取模型对所述视频数据进行视频提取，得到多个视频片段的步骤，包括：通过所述双流网络对所述视频数据进行特征提取，得到视频特征；通过BM层将预设的权重矩阵与所述视频特征进行点乘处理，得到视频特征图；通过所述卷积层对所述视频特征图进行卷积处理，得到视频特征置信度图；通过所述预设函数对所述视频特征的每一时序位置进行特征概率计算，得到时序概率值；根据所述视频特征置信度图和所述时序概率值对所述视频数据进行分割处理，得到所述视频片段。3.根据权利要求1所述的视频摘要生成方法，其特征在于，所述文本识别模型包括Bert层和Transformer层，所述通过预设的文本识别模型对所述视频描述词段进行文本识别处理，得到视频摘要语句的步骤，包括：对所述视频描述词段进行词向量化处理，得到每一所述视频描述词段对应的视频描述词向量；通过所述Bert层对所述视频描述词向量进行嵌入处理，得到视频描述表征向量；通过所述Transformer层对每一所述视频描述表征向量进行文本分值计算，得到每一所述视频描述表征向量的文本分值；根据所述文本分值对所述视频描述词段进行筛选处理，得到视频摘要语句。4.根据权利要求3所述的视频摘要生成方法，其特征在于，所述通过所述Bert层对所述视频描述词向量进行嵌入处理，得到视频描述表征向量的步骤，包括：通过所述Bert层中预设的参考段嵌入向量对所述视频描述词向量进行段嵌入处理，得到视频段嵌入向量；通过所述Bert层中预设的特征维度对所述视频描述词向量进行位置嵌入处理，得到视频位置嵌入向量；对所述视频描述词向量、所述视频段嵌入向量以及所述视频位置嵌入向量进行组...

【专利技术属性】
技术研发人员：舒畅，陈又新，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：