信息生成方法及装置制造方法及图纸

本说明书实施例提供信息生成方法及装置，其中所述信息生成方法包括：获取输入视频，并提取所述输入视频中的视频帧以及音频数据；对所述视频帧进行处理以确定目标视频帧，以及对所述音频数据进行处理获得文本信息；基于所述目标视频帧在所述输入视频中对应的时间以及所述文本信息在所述输入视频中对应的时间，确定与所述目标视频帧对应的目标文本信息；对所述目标视频帧以及所述目标文本信息进行处理，生成图文信息。生成图文信息。生成图文信息。

【技术实现步骤摘要】
信息生成方法及装置


[0001]本说明书实施例涉及视频处理
，特别涉及信息生成方法及装置。

技术介绍

[0002]近年来通过直播、短视频等形式进行营销的方式迅速升温，各个直播、短视频平台产生了大量的直播、短视频内容，同时以图文形式进行分享营销的种草文也深受大家喜爱，比如一些分享网站存在大量种草文案，但是产出一份种草图文需要博主进行精心选图、配图，并对图片标注品牌、款式等，同时还需要编辑文案进行解说，效率低下，因此，亟需一种解决以上问题的方法。

技术实现思路

[0003]有鉴于此，本说明书施例提供了一种信息生成方法。本说明书一个或者多个实施例同时涉及一种信息生成装置，一种计算设备，以及一种计算机可读存储介质，以解决现有技术中存在的生成图文信息效率低下的缺陷。
[0004]根据本说明书实施例的第一方面，提供了一种信息生成方法，包括：
[0005]获取输入视频，并提取所述输入视频中的视频帧以及音频数据；
[0006]对所述视频帧进行处理以确定目标视频帧，以及对所述音频数据进行处理获得文本信息；
[0007]基于所述目标视频帧在所述输入视频中对应的时间以及所述文本信息在所述输入视频中对应的时间，确定与所述目标视频帧对应的目标文本信息；
[0008]对所述目标视频帧以及所述目标文本信息进行处理，生成图文信息。
[0009]根据本说明书实施例的第二方面，提供了一种信息生成装置，包括：
[0010]提取模块，被配置为获取输入视频，并提取所述输入视频中的视频帧以及音频数据；
[0011]处理模块，被配置为对所述视频帧进行处理以确定目标视频帧，以及对所述音频数据进行处理获得文本信息；
[0012]确定模块，被配置为基于所述目标视频帧在所述输入视频中对应的时间以及所述文本信息在所述输入视频中对应的时间，确定与所述目标视频帧对应的目标文本信息；
[0013]生成模块，被配置为对所述目标视频帧以及所述目标文本信息进行处理，生成图文信息。
[0014]根据本申请实施例的第三方面，提供了一种计算设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机指令，所述处理器执行所述计算机指令时实现所述信息生成方法的步骤。
[0015]根据本申请实施例的第四方面，提供了一种计算机可读存储介质，其存储有计算机指令，所述计算机指令被处理器执行时实现所述信息生成方法的步骤。
[0016]本说明书提供的信息生成方法，通过获取输入视频，并提取所述输入视频中的视
频帧以及音频数据；对所述视频帧进行处理以确定目标视频帧，以及对所述音频数据进行处理获得文本信息；基于所述目标视频帧在所述输入视频中对应的时间以及所述文本信息在所述输入视频中对应的时间，确定与所述目标视频帧对应的目标文本信息；对所述目标视频帧以及所述目标文本信息进行处理，生成图文信息；实现了自动化生成输入视频对应的图文信息，提高了图文生成的效率，并释放了人力资源。
附图说明
[0017]图1是本说明书一个实施例提供的一种信息生成方法的流程图；
[0018]图2是本说明书一个实施例提供的一种信息生成方法中实例分割结果的示意图；
[0019]图3是本说明书一个实施例提供的一种信息生成方法中目标视频帧的示意图；
[0020]图4是本说明书一个实施例提供的一种信息生成方法中背景替换的示意图；
[0021]图5是本说明书一个实施例提供的一种信息生成方法的整体流程图；
[0022]图6是本说明书一个实施例提供的一种信息生成方法中模型训练的处理流程图；
[0023]图7是本说明书一个实施例提供的一种信息生成装置的结构示意图；
[0024]图8是本说明书一个实施例提供的一种计算设备的结构框图。
具体实施方式
[0025]在下面的描述中阐述了很多具体细节以便于充分理解本说明书。但是本说明书能够以很多不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本说明书内涵的情况下做类似推广，因此本说明书不受下面公开的具体实施的限制。
[0026]在本说明书一个或多个实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本说明书一个或多个实施例。在本说明书一个或多个实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本说明书一个或多个实施例中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0027]应当理解，尽管在本说明书一个或多个实施例中可能采用术语第一、第二等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本说明书一个或多个实施例范围的情况下，第一也可以被称为第二，类似地，第二也可以被称为第一。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0028]首先，对本说明书一个或多个实施例涉及的名词术语进行解释。
[0029]种草文：通过图文描述的形式把商品、使用感受等推荐分享给其他人的一种内容营销文案。
[0030]关键帧：从视频中按一定规则抽取的关键图片。
[0031]多模态：处理的数据呈现多种表现形式，比如包括音频、视频、图片、文本，从多种数据形式中转化获取最终需要格式的数据和内容。
[0032]时序对正：对视频中获取的关键图片、音频中提取的文本在时间上进行对齐。
[0033]实例分割：机器自动从图像中用目标检测方法框出不同实例，再用语义分割方法在不同实例区域内进行逐像素标记。
[0034]SDK(Software Development Kit，软件开发工具包)：被软件开发工程师用于为特定的软件包、软件框架、硬件平台、操作系统等建立应用软件的开发工具的集合。
[0035]FFmgeg：一种关键帧提取工具。
[0036]Mask R
‑
CNN是一个网络架构，主要完成了目标个体的语义分割。
[0037]Mask(掩码)：可以理解为位图，用于表示哪个像素要处理，哪些不必处理。
[0038]音轨：在音序器软件中展示的一条一条的平行“轨道”。每条音轨分别定义了该条音轨的属性，如音轨的音色，音色库，通道数，输入/输出端口，音量等。
[0039]BERT(Bidirectional Encoder Representations From Transformer)模型的目标是利用大规模无标注语料训练、获得文本的包含丰富语义信息的文本的语义表示，然后将文本的语义表示在特定NLP任务中作微调，最终应用于该NLP任务。
[0040]在本说明书中，提供了一种信息生成方法，本说明书同时涉及一种信息生成装置，一种计算设备，以及一种计算机可读存储介质，在下面的实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息生成方法，包括：获取输入视频，并提取所述输入视频中的视频帧以及音频数据；对所述视频帧进行处理以确定目标视频帧，以及对所述音频数据进行处理获得文本信息；基于所述目标视频帧在所述输入视频中对应的时间以及所述文本信息在所述输入视频中对应的时间，确定与所述目标视频帧对应的目标文本信息；对所述目标视频帧以及所述目标文本信息进行处理，生成图文信息。2.根据权利要求1所述的信息生成方法，所述对所述视频帧进行处理以确定目标视频帧，包括：从所述视频帧中抽取关键帧，并对所述关键帧进行处理以确定目标视频帧。3.根据权利要求2所述的信息生成方法，所述对所述关键帧进行处理以确定目标视频帧，包括：对所述关键帧进行实体分割，确定所述关键帧中包含的各个对象的对象区域；对所述关键帧进行显著性检测获得所述关键帧的显著性区域；基于所述对象区域以及所述显著性区域，从所述关键帧中确定目标视频帧。4.根据权利要求3所述的信息生成方法，所述基于所述对象区域以及所述显著性区域，从所述关键帧中确定目标视频帧，包括：确定所述对象区域与所述显著性区域的重叠区域；基于所述重叠区域在所述关键帧中的占比信息和/或位置信息，从所述关键帧中确定目标视频帧。5.根据权利要求1所述的信息生成方法，所述对所述视频帧进行处理以确定目标视频帧，包括：将所述视频帧与预存对象图像进行相似度比对；基于对比结果，确定所述视频帧中的目标对象；基于所述目标对象的对象信息对所述视频帧进行筛选以确定目标视频帧。6.根据权利要求5所述的信息生成方法，所述基于所述目标对象的对象信息对所述视频帧进行筛选以确定目标视频帧，包括：基于所述目标对象的对象区域，对所述视频帧进行背景替换；根据预设美学特征，对替换后的视频帧进行筛选以确定目标视频帧。7.根据权利要求6所述的信息生成方法，所述对替换后的视频帧进行筛选以确定目标视频帧之后，还包括：基于所述目标视频帧中目标对象的占比信息和/或位置信息，确定所述目标视频帧的图像类型；从所述目标视频帧中筛选图像类型为第一类型的目标视频帧。8.根据权利要求5所述的信息生成方法，所述对所述音频数据进行处理获得文本信息，包括：对所述音频数据进行文本识别获得初始文本信息；根据所述对象信息，对所述初始文本信息进行筛选，获...

【专利技术属性】
技术研发人员：孟熠，许燚，
申请(专利权)人：阿里巴巴新加坡控股有限公司，
类型：发明
国别省市：