基于图片生成视频的方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了基于图片生成视频的方法、装置、设备及存储介质，其中方法包括：识别出待处理的图片中的主体；获取主体的相关知识；根据相关知识生成音频及字幕；获取主体的相关图片；根据相关图片、待处理的图片、音频及字幕生成视频。本发明专利技术所述方案实现了基于图片快速高效地生成视频，提升了信息展示效果。

【技术实现步骤摘要】
基于图片生成视频的方法、装置、设备及存储介质
本专利技术涉及计算机应用技术，特别涉及基于图片生成视频的方法、装置、设备及存储介质。
技术介绍
随着技术的发展，视频尤其是短视频越来越流行，相比于图片，视频更加高效、生动，更符合用户的碎片化需求。为此，提出了基于图片自动生成视频的需求，但针对这一需求，现有技术中还没有一种有效的解决方式。
技术实现思路
有鉴于此，本专利技术提供了基于图片生成视频的方法、装置、设备及存储介质。具体技术方案如下：一种基于图片生成视频的方法，包括：识别出待处理的图片中的主体；获取所述主体的相关知识；根据所述相关知识生成音频及字幕；获取所述主体的相关图片；根据所述相关图片、所述待处理的图片、所述音频及所述字幕生成视频。根据本专利技术一优选实施例，所述获取所述主体的相关知识包括：通过搜索，获取关于所述主体的问答文本；所述根据所述相关知识生成音频及字幕包括：从获取到的问答文本中选出符合要求的问答文本；根据选出的问答文本生成所述音频及所述字幕。根据本专利技术一优选实施例，所述从获取到的问答文本中选出符合要求的问答文本包括：将获取到的各问答文本按照点击率从高到低的顺序进行排序，选出排序后处于前N位的问答文本，N为大于一的正整数。根据本专利技术一优选实施例，所述从获取到的问答文本中选出符合要求的问答文本进一步包括以下之一或任意组合：过滤掉不属于预定主题的问答文本；过滤掉问答质量评估结果低于预定阈值的问答文本；对于语义重复的问答文本进行去重处理。根据本专利技术一优选实施例，所述根据选出的问答文本生成所述音频及所述字幕包括：针对选出的每个问答文本，分别获取所述问答文本的简要文字表达；生成所述简要文字表达对应的音频及字幕。根据本专利技术一优选实施例，所述获取所述主体的相关图片包括以下之一或全部：通过所述主体的名称进行搜索，得到所述主体的相关图片；通过所述待处理的图片进行搜索，得到所述主体的相关图片。根据本专利技术一优选实施例，所述根据所述相关图片、所述待处理的图片、所述音频及所述字幕生成视频之前，进一步包括以下之一或全部：过滤掉与所述字幕中的文字的相关性低于预定阈值的图片；过滤掉包含预定内容的图片。根据本专利技术一优选实施例，所述预定内容包括：模糊区域、色情内容、水印。一种基于图片生成视频的装置，包括：主体识别单元、知识获取单元、第一生成单元、图片获取单元以及第二生成单元；所述主体识别单元，用于识别出待处理的图片中的主体；所述知识获取单元，用于获取所述主体的相关知识；所述第一生成单元，用于根据所述相关知识生成音频及字幕；所述图片获取单元，用于获取所述主体的相关图片；所述第二生成单元，用于根据所述相关图片、所述待处理的图片、所述音频及所述字幕生成视频。根据本专利技术一优选实施例，所述知识获取单元通过搜索，获取关于所述主体的问答文本，并从获取到的问答文本中选出符合要求的问答文本；所述第一生成单元根据选出的问答文本生成所述音频及所述字幕。根据本专利技术一优选实施例，所述知识获取单元将获取到的各问答文本按照点击率从高到低的顺序进行排序，选出排序后处于前N位的问答文本，N为大于一的正整数。根据本专利技术一优选实施例，所述知识获取单元进一步用于，针对选出的N个问答文本，执行以下操作之一或任意组合：过滤掉不属于预定主题的问答文本；过滤掉问答质量评估结果低于预定阈值的问答文本；对于语义重复的问答文本进行去重处理。根据本专利技术一优选实施例，所述第一生成单元进一步用于，针对选出的每个问答文本，分别获取所述问答文本的简要文字表达；生成所述简要文字表达对应的音频及字幕。根据本专利技术一优选实施例，所述图片获取单元通过以下方式之一或全部获取所述主体的相关图片：通过所述主体的名称进行搜索，得到所述主体的相关图片；通过所述待处理的图片进行搜索，得到所述主体的相关图片。根据本专利技术一优选实施例，所述图片获取单元进一步用于，针对所述相关图片以及所述待处理的图片，执行以下操作之一或全部：过滤掉与所述字幕中的文字的相关性低于预定阈值的图片；过滤掉包含预定内容的图片。根据本专利技术一优选实施例，所述预定内容包括：模糊区域、色情内容、水印。一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。基于上述介绍可以看出，采用本专利技术所述方案，针对待处理的图片，可首先识别出其中的主体，之后可分别获取主体的相关知识及相关图片，并根据相关知识生成音频及字幕，进而可根据相关图片、待处理的图片、音频及字幕生成所需的视频，从而实现了基于图片快速高效地生成视频，提升了信息展示效果等。【附图说明】图1为本专利技术所述基于图片生成视频的方法第一实施例的流程图。图2为本专利技术所述待处理的图片的示意图。图3为本专利技术所述搜索到的关于“柴犬”的问答文本的示意图。图4为从图3所示问答文本中过滤掉的问答文本的示意图。图5为本专利技术所述语义重复的两个问答文本的示意图。图6为本专利技术所述字幕的示意图。图7为本专利技术所述搜索出的“柴犬”的相关图片的示意图。图8为本专利技术所述最终生成的视频的示意图。图9为本专利技术所述基于图片生成视频的方法第二实施例的流程图。图10为本专利技术所述基于图片生成视频的装置实施例的组成结构示意图。图11示出了适于用来实现本专利技术实施方式的示例性计算机系统/服务器12的框图。【具体实施方式】为了使本专利技术的技术方案更加清楚、明白，以下参照附图并举实施例，对本专利技术所述方案进行进一步说明。显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本专利技术保护的范围。图1为本专利技术所述基于图片生成视频的方法第一实施例的流程图。如图1所示，包括以下具体实现方式。在101中，识别出待处理的图片中的主体。待处理的图片可以是一张，也可以是多张，如果是多张的话，其中的主体通常是相同的。图2为本专利技术所述待处理的图片的示意图。可对待处理的图片中的主体进行识别，比如，可采用百度人工智能(AI，ArtificialIntelligence)开放平台的图像识别技术，识别出待处理的图片中的主体，如图2所示的待处理的图片，识别出的主体将为“柴犬”。在102中，获取识别出的主体的相关知识。在识别出待处理的图片中的主体之后，可进一步获取识别出的主体的相关知识。比如，可通过搜索，获取关于主体的问答文本。以识别出的主体为“柴犬”为例，可将“柴犬”作为关键词，通过搜索，获取到关于“柴犬”的问答文本，如图3所示，图3为本专利技术所述搜索到的关于“柴犬”的问答文本的示意图。在103中，根据获取到的相关知识生成音频及字幕。在获取到识别出的主体的相关知识之后，可根据获取到的相关知识来生成音频及字幕。假设获取到的相关知识为关于主体的问答文本，由于获取到的问答文本的数量可能很多，质量等参差不齐，因此，可首先对获取到的问答文本进行筛选，从而选出符合要求的问答文本，进而根据选出的问答文本生成音频及字幕。比如，可将获取到的各问答文本按照点击率(CTR，ClickThroughRate)从高到低的顺序进行排序，选出排序后处本文档来自技高网...

【技术保护点】
一种基于图片生成视频的方法，其特征在于，包括：识别出待处理的图片中的主体；获取所述主体的相关知识；根据所述相关知识生成音频及字幕；获取所述主体的相关图片；根据所述相关图片、所述待处理的图片、所述音频及所述字幕生成视频。

【技术特征摘要】
1.一种基于图片生成视频的方法，其特征在于，包括：识别出待处理的图片中的主体；获取所述主体的相关知识；根据所述相关知识生成音频及字幕；获取所述主体的相关图片；根据所述相关图片、所述待处理的图片、所述音频及所述字幕生成视频。2.根据权利要求1所述的方法，其特征在于，所述获取所述主体的相关知识包括：通过搜索，获取关于所述主体的问答文本；所述根据所述相关知识生成音频及字幕包括：从获取到的问答文本中选出符合要求的问答文本；根据选出的问答文本生成所述音频及所述字幕。3.根据权利要求2所述的方法，其特征在于，所述从获取到的问答文本中选出符合要求的问答文本包括：将获取到的各问答文本按照点击率从高到低的顺序进行排序，选出排序后处于前N位的问答文本，N为大于一的正整数。4.根据权利要求3所述的方法，其特征在于，所述从获取到的问答文本中选出符合要求的问答文本进一步包括以下之一或任意组合：过滤掉不属于预定主题的问答文本；过滤掉问答质量评估结果低于预定阈值的问答文本；对于语义重复的问答文本进行去重处理。5.根据权利要求2所述的方法，其特征在于，所述根据选出的问答文本生成所述音频及所述字幕包括：针对选出的每个问答文本，分别获取所述问答文本的简要文字表达；生成所述简要文字表达对应的音频及字幕。6.根据权利要求1所述的方法，其特征在于，所述获取所述主体的相关图片的方式包括以下之一或全部：通过所述主体的名称进行搜索，得到所述主体的相关图片；通过所述待处理的图片进行搜索，得到所述主体的相关图片。7.根据权利要求1所述的方法，其特征在于，所述根据所述相关图片、所述待处理的图片、所述音频及所述字幕生成视频之前，进一步包括以下之一或全部：过滤掉与所述字幕中的文字的相关性低于预定阈值的图片；过滤掉包含预定内容的图片。8.根据权利要求7所述的方法，其特征在于，所述预定内容包括：模糊区域、色情内容、水印。9.一种基于图片生成视频的装置，其特征在于，包括：主体识别单元、知识获取单元、第一生成单元、图片获取单元以及第二生成单元；所述主体识别单元，用于识别出待处理的图片中的主体；所述知识获取单元，用于获取所述主体...

【专利技术属性】
技术研发人员：姚后清，施鹏，孟子扬，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京,11