本公开的实施方式提供了一种视频生成方法及装置、一种音频播放方法及装置。所述音频播放方法包括：响应于检测到针对目标音频的播放指令，确定为音频播放客户端配置的音频播放模式；如果确定为所述音频播放客户端配置的音频播放模式为预设模式，则从与所述目标音频对应的至少一个候选视频中，获取用于搭配所述目标音频播放的目标视频；其中，所述候选视频，包括基于与所述目标音频匹配的视频素材生成的视频；在与所述目标音频对应的音频播放页面中，将获取到的所述目标视频与所述目标音频进行关联播放。行关联播放。行关联播放。
【技术实现步骤摘要】
一种视频生成方法及装置、一种音频播放方法及装置
[0001]本公开的实施方式涉及应用
，更具体地，本公开的实施方式涉及一种视频生成方法、装置、电子设备及计算机可读存储介质，还涉及一种音频播放方法、装置、电子设备及计算机可读存储介质。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。
[0003]在一种音频播放场景中，可以根据用户当前播放的音频，为用户推荐与所述音频相关的视频，还可以将推荐的视频与当前播放的音频搭配播放，从而通过视频画面提高音频表现力，在听觉和视觉上同时为用户带来冲击力，改善用户的视听体验。
[0004]其中，关于为用户推荐的与音频相关的视频，通常可以包括针对所述音频拍摄的MV(Music Video，音乐短片)、录制的live(实况)现场视频等。
[0005]由此可见，由于MV等视频的更新频次较低，导致为用户推荐的用于搭配音频播放的视频的丰富度较低，容易引起观看疲劳。另外，对于部分音频而言，由于无法获得与音频匹配的视频，只能使用兜底样式，而兜底样式在视觉感受和兼容性上都表现较差，可能影响用户的视听体验。
技术实现思路
[0006]在本公开实施方式的第一方面中，提供了一种视频生成方法，所述方法包括：
[0007]对目标音频进行特征提取，以得到所述目标音频的音频特征表示；以及，对至少一个候选视频素材进行特征提取，以得到所述至少一个候选视频素材中的各个候选视频素材的视频特征表示；
[0008]将所述音频特征表示和各个视频特征表示作为输入数据，输入预训练的音视频匹配模型进行相关性计算，以得到所述音视频匹配模型输出的匹配结果；其中，所述匹配结果用于指示所述音频特征表示与各个视频特征表示之间的相关程度；
[0009]基于所述匹配结果，从所述至少一个候选视频素材中确定与所述目标音频匹配的目标视频素材，并基于所述目标视频素材，生成用于搭配所述目标音频播放的候选视频。
[0010]在本公开实施方式的第二方面中，提供了一种音频播放方法，所述方法应用于音频播放客户端；所述方法包括：
[0011]响应于检测到针对目标音频的播放指令，确定为所述音频播放客户端配置的音频播放模式；
[0012]如果确定为所述音频播放客户端配置的音频播放模式为预设模式，则从与所述目标音频对应的至少一个候选视频中，获取用于搭配所述目标音频播放的目标视频；其中，所述候选视频，包括基于与所述目标音频匹配的视频素材生成的视频；
[0013]在与所述目标音频对应的音频播放页面中，将获取到的所述目标视频与所述目标
音频进行关联播放。
[0014]在本公开实施方式的第三方面中，提供了一种视频生成装置，所述装置包括：
[0015]特征提取模块，用于对目标音频进行特征提取，以得到所述目标音频的音频特征表示；
[0016]所述特征提取模块，还用于对至少一个候选视频素材进行特征提取，以得到所述至少一个候选视频素材中的各个候选视频素材的视频特征表示；
[0017]音视频匹配模块，用于将所述音频特征表示和各个视频特征表示作为输入数据，输入预训练的音视频匹配模型进行相关性计算，以得到所述音视频匹配模型输出的匹配结果；其中，所述匹配结果用于指示所述音频特征表示与各个视频特征表示之间的相关程度；
[0018]视频生成模块，用于基于所述匹配结果，从所述至少一个候选视频素材中确定与所述目标音频匹配的目标视频素材，并基于所述目标视频素材，生成用于搭配所述目标音频播放的候选视频。
[0019]在本公开实施方式的第四方面中，提供了一种音频播放装置，所述装置应用于音频播放客户端；所述装置包括：
[0020]确定模块，用于响应于检测到针对目标音频的播放指令，确定为所述音频播放客户端配置的音频播放模式；
[0021]获取模块，用于如果确定为所述音频播放客户端配置的音频播放模式为预设模式，则从与所述目标音频对应的至少一个候选视频中，获取用于搭配所述目标音频播放的目标视频；其中，所述候选视频，包括基于与所述目标音频匹配的视频素材生成的视频；
[0022]播放模块，用于在与所述目标音频对应的音频播放页面中，将获取到的所述目标视频与所述目标音频进行关联播放。
[0023]在本公开实施方式的第五方面中，提供了一种电子设备，包括：
[0024]处理器；
[0025]用于存储所述处理器可执行指令的存储器；
[0026]其中，所述处理器被配置为执行任一所述视频生成方法或任一所述音频播放方法。
[0027]在本公开实施方式的第六方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现任一所述视频生成方法或任一所述音频播放方法。
[0028]本公开以上的实施方式，至少具有如下的有益效果：
[0029]在视频生成阶段，由于基于预训练的音视频匹配模型，可以确定目标音频与至少一个候选视频素材之间的相关程度，进而可以从所述至少一个候选视频素材中确定出与所述目标音频匹配的目标视频素材，并基于确定出的目标视频素材生成用于搭配所述目标音频播放的候选视频；因此不仅可以自动地生成用于搭配所述目标音频播放的候选视频，而且生成的候选视频与所述目标音频之间的匹配度高。
[0030]另外，由于可以从海量的候选视频素材中，筛选出与目标音频匹配的目标视频素材，以生成用于搭配所述目标音频播放的候选视频，因此在需要为用户推荐与音频相关的视频的音频播放场景中，可以提高候选视频的覆盖率和丰富度，改善用户的视听体验。
[0031]在音频播放阶段，由于在为音频播放客户端配置的音频播放模式为预设模式的情
况下，响应于检测到针对目标音频的播放指令，可以从与所述目标音频对应的至少一个候选视频中，获取用于搭配所述目标音频播放的目标视频，并可以在与所述目标音频对应的音频播放页面中，将获取到的所述目标视频与所述目标音频进行关联播放；因此可以为用户提供一种能够在聆听音频的同时，观看与其匹配度高的视频的音频播放模式，改善用户的视听体验。
[0032]另外，由于所述候选视频包括基于从海量的候选视频素材中筛选出的、与目标音频匹配的目标视频素材而生成的视频，因此在需要为用户推荐与音频相关的视频的音频播放场景中，可以提高候选视频的覆盖率和丰富度。
附图说明
[0033]通过参考附图阅读下文的详细描述，本公开示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本公开的若干实施方式，其中：
[0034]图1是一示例性实施例提供的一种视频生成流程的示意图；
[0035]图2是一示例性实施例提供的一种音频播放页面的示意图；
[0036]图3是一示例性实施例提供的一种视频生成方法的流程图；
[0037]图4是一示例性实施例提供的一种视频素材匹配流程的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种视频生成方法，所述方法包括：对目标音频进行特征提取，以得到所述目标音频的音频特征表示；以及，对至少一个候选视频素材进行特征提取，以得到所述至少一个候选视频素材中的各个候选视频素材的视频特征表示；将所述音频特征表示和各个视频特征表示作为输入数据，输入预训练的音视频匹配模型进行相关性计算，以得到所述音视频匹配模型输出的匹配结果；其中，所述匹配结果用于指示所述音频特征表示与各个视频特征表示之间的相关程度；基于所述匹配结果，从所述至少一个候选视频素材中确定与所述目标音频匹配的目标视频素材，并基于所述目标视频素材，生成用于搭配所述目标音频播放的候选视频。2.根据权利要求1所述的方法，所述方法还包括：对与所述目标音频关联的文本内容进行特征提取，以得到所述目标音频的文本特征表示；所述将所述音频特征表示和各个视频特征表示作为输入数据，输入预训练的音视频匹配模型进行相关性计算，以得到所述音视频匹配模型输出的匹配结果，包括：将所述音频特征表示、所述文本特征表示和各个视频特征表示作为输入数据，输入预训练的音视频匹配模型进行相关性计算，以得到所述音视频匹配模型输出的匹配结果；其中，所述匹配结果用于指示所述音频特征表示、所述文本特征表示与各个视频特征表示之间的相关程度。3.根据权利要求1所述的方法，在对至少一个候选视频素材进行特征提取之前，所述方法还包括：将视频素材池中的至少一个视频素材中的各个视频素材的视频标签，与所述目标音频的音频标签进行匹配，以将对应的视频标签与所述音频标签匹配的视频素材，确定为所述候选视频素材。4.根据权利要求1所述的方法，所述方法还包括：对音频播放场景的至少一个场景标签进行特征提取，以得到各个场景标签的文本特征表示；以及，对所述候选视频进行特征提取，以得到所述候选视频的视频特征表示；对所述各个场景标签的文本特征表示与所述候选视频的视频特征表示进行匹配，以确定与各个场景标签匹配的候选视频。5.一种音频播放方法，所述方法应用于音频播放客户端；所述方法包括：响应于检测到针对目标音频的播放指令，确定为所述音频播放客户端配置的音频播放模式；如果确定为所述音频播放客户端配置的音频播放模式为预设模式，则从与所述目标音频对应的至少一个候选视频中，获取用于搭配所述目标音频播放的目标视频；其中，所述候选视频，包括基于与...
【专利技术属性】
技术研发人员：李飞，郭元，张渝堃，陈尔展，吕宗胜，赵翔宇，周振南，姜皓，李晓妍，丁荥佳，汪崟灿，杨义春，赵剑，何欢，司逸晨，
申请(专利权)人：杭州网易云音乐科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。