自适应图片裁剪融合方法、系统、计算机设备及介质技术方案

本发明专利技术提供的自适应图片裁剪融合方法、系统、计算机设备及介质，方法包括以下步骤：获取视频文件，从所述视频文件中提取得到文本内容、音频内容以及视频关键帧；对所述文本内容进行自然语言分析，根据分析结果生成语义标签；根据所述音频内容进行音频匹配，根据匹配结果结合音频知识图谱生成音频标签；根据所述视频关键帧进行内容预测生成内容标签；根据所述语义标签、所述音频标签以及所述内容标签对所述视频文件进行剪裁，将剪裁后的素材进行融合得到目标视频，方案提高了内容预测速率，节省了人工成本，提高了短视频应用的便捷性并且具有更广阔的应用场景可，广泛应用于视频处理技术领域。技术领域。技术领域。

【技术实现步骤摘要】
自适应图片裁剪融合方法、系统、计算机设备及介质


[0001]本专利技术涉及视频处理
，尤其是自适应图片裁剪融合方法、系统、计算机设备及存储介质。

技术介绍

[0002]目前，相关技术的主要针对长视频(时间超过60秒以上)进行视频分类标签标注，一般通过分析视频的内容来完成短视频标签标注，主要分为以下2种场景：其一、通过人工编辑方式，人工审核整个视频内容，结合主观判断与理解，为视频标注分类标签；其二、通过AI识别技术，针对视频内容本身出现的帧进行人脸，场景，物体识别，提取对应类的标签，例如明星，食物，图书馆等。
[0003]但是，由于人工编著的分类标签进行分类的方式，属于劳动密集型工作，要求编辑人员拥有较高的审美能力及耐心，因此，人工标注的方式往往存在效率低，速度慢，标签质量主观性大，且视频帧覆盖率低等问题。此外，部分相关技术采用AI识别标注的方式，但AI识别标注的方式无法应用于存在着太多干扰画面的应用场景，适用范围有限。并且相关技术中AI识别标注的方式所能进行识别标注的目标主体有限，因此还存在着有效性不够的问题。
专利技术内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.自适应图片裁剪融合方法，其特征在于，方法包括以下步骤：获取视频文件，从所述视频文件中提取得到文本内容、音频内容以及视频关键帧；对所述文本内容进行自然语言分析，根据分析结果生成语义标签；根据所述音频内容进行音频匹配，根据匹配结果结合音频知识图谱生成音频标签；根据所述视频关键帧进行内容预测生成内容标签；根据所述语义标签、所述音频标签以及所述内容标签对所述视频文件进行剪裁，将剪裁后的素材进行融合得到目标视频。2.根据权利要求1所述的自适应图片裁剪融合方法，其特征在于，所述根据所述语义标签、所述音频标签以及所述内容标签对所述视频文件进行剪裁这一步骤，包括：确定标签集合中各个标签的标签权重值，所述标签集合包括所述语义标签、所述音频标签以及所述内容标签；根据所述标签权重值生成标签序列，根据所述标签序列以及序列中各个标签的置信度对所述视频文件标注标签信息。3.根据权利要求1所述的自适应图片裁剪融合方法，其特征在于，所述文本内容包括描述文本以及字幕文本；所述对所述文本内容进行自然语言分析，根据分析结果生成语义标签这一步骤，包括：从所述视频文件中提取得到所述描述文本，对所述描述文本进行格式化处理得到第一格式化信息；从所述视频文件中提取得到所述字幕文本；对所述第一格式化信息以及所述字幕文本进行自然语言处理得到关键实体矩阵；将所述关键实体矩阵输入语义预测模型，根据模型预测结果确定所述语义标签。4.根据权利要求3所述的自适应图片裁剪融合方法，其特征在于，对所述文本内容进行自然语言分析，根据分析结果生成语义标签这一步骤之后，所述方法还包括：获取所述描述文本的结构信息，将所述结构信息与语意知识图谱进行匹配得到衍生标签；根据所述衍生标签、所述语义标签、所述音频标签以及所述内容标签对所述视频文件进行剪裁，将剪裁后的素材进行融合得到目标视频。5.根据权利要求1所述的自适应图片裁剪融合方法，其特征在于，所述根据所述音频内容进行音频匹配，根据匹配结果结合音频知识图谱生成音频标签这一步骤，包括：将所述音频内容进行转换得到文本信息，将所述文本信息加入至所述文本内容中；根据所述音频内容提取得到音频指纹；根据所述音频指纹在指纹库中进行匹配确定候选音频；将所述候选音频输入...

【专利技术属性】
技术研发人员：肖冠正，郝德禄，
申请(专利权)人：天翼爱音乐文化科技有限公司，
类型：发明
国别省市：