【技术实现步骤摘要】
本申请涉及人工智能,适用于金融科技领域和数字医疗领域,尤其涉及一种视频生成方法、视频生成装置、电子设备及存储介质。
技术介绍
1、视频检索技术用于从海量视频中快速检索出与用户查询相关的视频片段,并根据这些视频片段生成连贯的视频。相关技术中,视频检索技术仅考虑了视频片段与用户查询之间的相关性,忽略了视频片段之间的相关性,导致视频生成的质量较低。以金融科技场景为例,根据柜台业务办理流程的查询请求从业务视频库中检索出与柜台业务办理相关的视频片段,由于未考虑视频片段之间的相关性,使得离开柜台的视频片段排在与工作人员交谈的视频片段之前,视频片段的时序顺序出现异常。以数字医疗场景为例,根据病历视频的查询请求从医疗视频库中检索出与患者病历相关的问诊视频片段,由于问诊视频片段之间缺乏相关性,导致生成的视频无法准确描述患者在不同时间点的症状。因此,如何提高视频生成的质量,成为了亟待解决的问题。
技术实现思路
1、本申请实施例的主要目的在于提出一种视频生成方法、视频生成装置、电子设备及存储介质,旨在提高视频生
<本文档来自技高网...【技术保护点】
1.一种视频生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述目标时空编码器包括特征投影层、跨模态注意力层和时序感知层,所述通过目标时空编码器对所述视频视觉特征、所述视频时序特征和所述时间差特征进行特征编码,得到时空编码特征,包括:
3.根据权利要求2所述的方法,其特征在于,所述跨模态注意力层具有查询权重、键权重和值权重,所述通过所述跨模态注意力层对所述参考视频特征、所述视频视觉特征和所述视频时序特征进行跨模态注意力计算,得到视频注意力特征,包括:
4.根据权利要求1至3任一项所述的方法,其特征在于
...【技术特征摘要】
1.一种视频生成方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述目标时空编码器包括特征投影层、跨模态注意力层和时序感知层,所述通过目标时空编码器对所述视频视觉特征、所述视频时序特征和所述时间差特征进行特征编码,得到时空编码特征,包括:
3.根据权利要求2所述的方法,其特征在于,所述跨模态注意力层具有查询权重、键权重和值权重,所述通过所述跨模态注意力层对所述参考视频特征、所述视频视觉特征和所述视频时序特征进行跨模态注意力计算,得到视频注意力特征,包括:
4.根据权利要求1至3任一项所述的方法,其特征在于,所述目标时空编码器根据以下步骤训练得到:
5.根据权利要求4所述的方法,其特征在于,所述根据所述样本视频片段、所述查询嵌入向量、所述样本时空特征、所...
【专利技术属性】
技术研发人员:舒畅,陈远旭,唐小初,
申请(专利权)人:平安科技深圳有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。