音频推荐方法和装置制造方法及图纸

本申请的实施例提供了一种音频推荐方法和装置。该音频推荐方法包括：将待处理的视频数据输入第一机器学习模型，得到视频帧特征以及视频分类标签；根据所述视频分类标签在音频库中确定至少两个目标音频；获取基于用户偏好标签生成的用户特征以及至少两个所述目标音频的音频特征；将所述用户特征、至少两个所述目标音频的音频特征以及所述视频帧特征输入第二机器学习模型，得到至少两个所述目标音频的推荐评分；基于所述推荐评分对至少两个所述目标音频进行排序，生成所述视频数据的音频推荐列表。本申请实施例的技术方案使得所推荐的配乐与用户需求的匹配度较高，提高了推荐的精准度。

Audio recommended methods and devices

【技术实现步骤摘要】
音频推荐方法和装置
本申请涉及计算机
，具体而言，涉及一种音频推荐方法和装置。
技术介绍
目前，对于用户所上传的视频，需要为视频推荐符合视频内容的配乐。现有的配乐推荐方式一般是按照各个配乐的热门程度或基于较为简单的人工智能推荐来解决配乐和视频的匹配度问题，该方式没有考虑到用户喜好，从而使得所推荐的配乐与用户需求的匹配度不高，推荐的精准度较低。
技术实现思路
本申请的实施例提供了一种音频推荐方法和装置，可以解决所推荐的配乐与用户需求的匹配度不高，推荐的精准度较低的技术问题。本申请的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本申请的实践而习得。根据本申请实施例的一个方面，提供了一种音频推荐方法，包括：将待处理的视频数据输入第一机器学习模型，得到视频帧特征以及视频分类标签；根据所述视频分类标签在音频库中确定至少两个目标音频；获取基于用户偏好标签生成的用户特征以及至少两个所述目标音频的音频特征；将所述用户特征、至少两个所述目标音频的音频特征以及所述视频帧特征输入第二机器学习模型，得到至少两个所述目标音频的推荐评分；基于所述推荐评分对至少两个所述目标音频进行排序，生成所述视频数据的音频推荐列表。根据本申请实施例的一个方面，提供了一种音频推荐装置，包括：第一执行单元，用于将待处理的视频数据输入第一机器学习模型，得到视频帧特征以及视频分类标签；第二执行单元，用于根据所述视频分类标签在音频库中确定至少两个目标音频；获取单元，用于获取用户特征以及至少两个所述目标音频的音频特征；第三执行单元，用于将所述用户特征、至少两个所述目标音频的音频特征以及所述视频帧特征输入第二机器学习模型，得到至少两个所述目标音频的推荐评分；第一排序单元，用于基于所述推荐评分对至少两个所述目标音频进行排序，生成所述视频数据的音频推荐列表。在本申请的一些实施例中，基于前述方案，所述第一执行单元被配置为：抽取子单元，用于从用户的所述视频数据中抽取视频帧；输入子单元，用于将所述视频帧输入所述第一机器学习模型；生成子单元，用于所述第一机器学习模型基于所述视频帧生成所述视频帧特征以及所述视频分类标签。在本申请的一些实施例中，基于前述方案，生成子单元被配置为：提取各个所述视频帧的图像特征；对各个所述视频帧的图像特征进行融合处理，生成所述视频帧特征；基于所述视频帧特征进行分类处理，得到视频分类标签。在本申请的一些实施例中，基于前述方案，生成子单元被配置为：对各个所述视频帧的图像特征进行排序处理，得到排序后的图像特征；确定所述排序后的各个图像特征的权重，生成所述视频帧特征。在本申请的一些实施例中，基于前述方案，第三执行单元被配置为：根据所述用户特征、至少两个所述目标音频的音频特征以及所述视频帧特征进行特征组合，生成第一组合特征以及第二组合特征，其中，所述第一组合特征的阶数高于第二组合特征的阶数；基于所述第一组合特征以及所述第二组合特征进行评分预估处理，生成至少两个所述目标音频的推荐评分。在本申请的一些实施例中，基于前述方案，第二执行单元被配置为：根据所述视频分类标签、用户偏好标签以及音频热度标签在音频库中确定至少两个目标音频。在本申请的一些实施例中，基于前述方案，第二执行单元被配置为：对至少两个所述目标音频进行去重处理。在本申请的一些实施例中，基于前述方案，若所述视频分类标签包括一级分类标签以及二级分类标签，则第二执行单元被配置为：根据所述一级分类标签，在所述音频库中确定与所述视频数据匹配的至少两个备选音频；根据所述二级分类标签，在至少两个所述备选音频中确定与所述视频数据匹配的至少两个目标音频。在本申请的一些实施例中，基于前述方案，所述音频推荐装置还包括以下单元中的至少一种：第二排序单元，用于基于预设的推荐音频黑名单对所述音频推荐列表进行重新排序；和第二三排序单元，用于基于所述音频推荐列表中各个音频的音频标签的相似度对所述音频推荐列表进行重新排序。根据本申请实施例的一个方面，提供了一种计算机可读介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述实施例中所述的音频推荐方法。根据本申请实施例的一个方面，提供了一种电子设备，包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如上述实施例中所述的音频推荐方法。在本申请的一些实施例所提供的技术方案中，通过将待处理的视频输入第一机器学习模型，得到视频帧特征以及视频分类标，并根据视频分类标签在音频库中确定至少两个目标音频；然后获取基于用户偏好标签生成的用户特征以及至少两个目标音频的音频特征；并将用户特征、至少两个目标音频的音频特征以及视频帧特征输入第二机器学习模型，得到至少两个目标音频的推荐评分；基于推荐评分对至少两个目标音频进行排序，生成视频数据的音频推荐列表，通过用户特征、目标音频的音频特征以及视频帧特征来对目标音频进行综合评分，可以在考虑到用户喜好的情况下，使得所推荐的配乐与用户的视频的匹配度较高，进而为待处理的视频推荐合适的配乐，提高了推荐的精准度。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。附图说明此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：图1示出了可以应用本申请实施例的技术方案的示例性系统架构的示意图。图2示出了根据本申请的一个实施例的音频推荐方法的流程图。图3示出了根据本申请的一个实施例的音频推荐方法的步骤S210的具体流程图。图4示出了根据本申请的一个实施例的音频推荐方法的步骤S330的具体流程图。图5示出了根据本申请的一个实施例的音频推荐方法的步骤S420的具体流程图。图6示出了根据本申请的一个实施例的第一机器学习模型内部的网络结构示意图。图7示出了根据本申请的一个实施例的音频推荐方法的步骤S220的具体流程图。图8示出了根据本申请的一个实施例的确定目标音频的构架示意图。图9示出了根据本申请的一个实施例的音频推荐方法的步骤S240的具体流程图。图10示出了根据本申请的一个实施例的音频推荐装置的框图。图11示出了适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本申请将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体本文档来自技高网...

【技术保护点】
1.一种音频推荐方法，其特征在于，包括：/n将待处理的视频数据输入第一机器学习模型，得到视频帧特征以及视频分类标签；/n根据所述视频分类标签在音频库中确定至少两个目标音频；/n获取基于用户偏好标签生成的用户特征以及至少两个所述目标音频的音频特征；/n将所述用户特征、至少两个所述目标音频的音频特征以及所述视频帧特征输入第二机器学习模型，得到至少两个所述目标音频的推荐评分；/n基于所述推荐评分对至少两个所述目标音频进行排序，生成所述视频数据的音频推荐列表。/n

【技术特征摘要】
1.一种音频推荐方法，其特征在于，包括：
将待处理的视频数据输入第一机器学习模型，得到视频帧特征以及视频分类标签；
根据所述视频分类标签在音频库中确定至少两个目标音频；
获取基于用户偏好标签生成的用户特征以及至少两个所述目标音频的音频特征；
将所述用户特征、至少两个所述目标音频的音频特征以及所述视频帧特征输入第二机器学习模型，得到至少两个所述目标音频的推荐评分；
基于所述推荐评分对至少两个所述目标音频进行排序，生成所述视频数据的音频推荐列表。


2.根据权利要求1所述的音频推荐方法，其特征在于，所述将待处理的视频数据输入第一机器学习模型，得到视频帧特征以及视频分类标签，包括：
从所述待处理的视频数据中抽取视频帧；
将所述视频帧输入所述第一机器学习模型；
所述第一机器学习模型基于所述视频帧生成所述视频帧特征以及所述视频分类标签。


3.根据权利要求2所述的音频推荐方法，其特征在于，所述第一机器学习模型基于所述视频帧生成所述视频帧特征以及所述视频分类标签，包括：
提取各个所述视频帧的图像特征；
对各个所述视频帧的图像特征进行融合处理，生成所述视频帧特征；
基于所述视频帧特征进行分类处理，得到视频分类标签。


4.根据权利要求3所述的音频推荐方法，其特征在于，所述对各个所述视频帧的图像特征进行融合处理，生成所述视频帧特征，包括：
对各个所述视频帧的图像特征进行排序处理，得到排序后的图像特征；
确定所述排序后的各个图像特征的权重，生成所述视频帧特征。


5.根据权利要求1所述的音频推荐方法，其特征在于，所述将所述用户特征、至少两个所述目标音频的音频特征以及所述视频帧特征输入第二机器学习模型，得到至少两个所述目标音频的推荐评分，包括：
根据所述用户特征、至少两个所述目标音频的音频特征以及所述视频帧特征进行特征组合，生成第一组合特征以及第二组合特征，其中，所述第一组合特征的阶数高于第二组合特征的阶数...

【专利技术属性】
技术研发人员：李玉洁，刘才良，陈世哲，孙文，刘少伟，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44