直播音视频处理方法、装置、服务器及可读存储介质制造方法及图纸

本申请实施例提供的直播音视频处理方法、装置、服务器及计算机可读存储介质，涉及音视频处理技术领域。本实施例中，基于主播端选择的互动音乐的音频流获取与该音频流对应的互动节奏视频流，然后将音频流和互动节奏视频流发送给观众端，由观众端进行播放及显示，以便于观众参与到音乐节奏互动游戏中。本申请提供的方案可以根据主播端选择的互动音乐的音频流在线流式生成互动节奏视频流，音乐节奏互动游戏不再局限于提前制作好音乐节奏互动游戏的方式，如此可以使得主播端具有根据直播内容和直播氛围选择不同的互动音乐进行互动游戏的灵活性，提高音乐节奏类互动游戏在直播过程中的带入感，提升观众的用户体验以及直播的观众留存率。众留存率。众留存率。

【技术实现步骤摘要】
直播音视频处理方法、装置、服务器及可读存储介质


[0001]本申请涉及音视频处理
，具体而言，涉及一种直播音视频处理方法、装置、服务器及计算机可读存储介质。

技术介绍

[0002]在互联网直播场景中，主播为了增加观众的留存率往往会和观众进行游戏互动，音乐节奏类互动游戏是目前大众比较喜欢的一类互动游戏。然而现有的音乐节奏类互动游戏一般是提前制作好的，无法满足流式的直播场景，主播无法根据直播内容和直播氛围选择不同的音乐进行互动，这极大的限制了音乐节奏类互动游戏在直播过程中的带入感，影响观众的用户体验。

技术实现思路

[0003]为了至少克服现有技术中的上述不足，本申请提供一种直播音视频处理方法、装置、服务器及计算机可读存储介质。
[0004]第一方面，本申请实施例提供一种直播音视频处理方法，应用于服务器，所述服务器通信连接主播端和观众端，所述方法包括：
[0005]接收所述主播端选择的互动音乐，获取所述互动音乐的音频流所对应的互动节奏视频流，其中，所述互动节奏视频流包括互动界面的视频帧以及与位于所述互动界面中与所述互动音乐的音乐节奏对应的节奏互动点；
[0006]将所述音频流和所述互动节奏视频流发送给所述观众端，由所述观众端进行播放及显示。
[0007]在一种可能的实现方式中，所述接收所述主播端选择的互动音乐，获取所述互动音乐的音频流所对应的互动节奏视频流的步骤，包括：
[0008]确定所述互动音乐是否为预设音乐数据库中的目标音乐，其中，所述预设音乐数据库中存储有所述目标音乐的互动节奏视频；
[0009]若所述互动音乐为所述预设音乐数据库中的目标音乐，获取所述互动音乐的音频流对应的互动节奏视频流；若所述互动音乐不是所述预设音乐数据库中的目标音乐，则基于所述互动音乐的音频流实时生成所述互动音乐对应的互动节奏视频流。
[0010]在一种可能的实现方式中，在所述接收所述主播端选择的互动音乐，获取所述互动音乐的音频流所对应的互动节奏视频流的步骤之前，所述方法还包括：
[0011]对所述预设音乐数据库中的目标音乐进行音频频谱分析得到各个目标音乐的频谱分析结果；
[0012]将所述各个目标音乐的频谱分析结果输入节奏互动点确定模型中，得到所述各个目标音乐的互动节奏视频，其中，所述节奏互动点确定模型基于样本频谱分析结果以及样本互动节奏视频训练得到，所述样本频谱分析结果中标注有音乐的音乐节奏位置，所述样本互动节奏视频流中标注有与所述音乐的音乐节奏位置对应的节奏互动点；
[0013]将所述各个目标音乐的互动节奏视频存储到所述预设音乐数据库中。
[0014]在一种可能的实现方式中，所述确定所述互动音乐是否为预设音乐数据库中的目标音乐的步骤，包括：
[0015]对所述预设音乐数据库中各个目标音乐进行音频指纹特征提取，得到各所述目标音乐的音频指纹特征；
[0016]基于所述互动音乐的音频流，对所述互动音乐进行音频指纹特征提取，得到所述音频流对应的音频指纹特征；
[0017]将所述音频流对应的音频指纹特征与所述预设音乐数据库中各所述目标音乐的音频指纹特征进行匹配，得到匹配结果；
[0018]根据所述匹配结果确定所述互动音乐是否为所述预设音乐数据库中的目标音乐。
[0019]在一种可能的实现方式中，所述若所述互动音乐为所述预设音乐数据库中的目标音乐，获取所述互动音乐的音频流对应的互动节奏视频流；若所述互动音乐不是所述预设音乐数据库中的目标音乐，则基于所述互动音乐的音频流实时生成所述互动音乐对应的互动节奏视频流的步骤，包括：
[0020]在所述互动音乐的音频流对应的音频指纹特征与所述预设音乐数据库中的任意目标音乐的音频指纹特征匹配时，将匹配的目标音乐的互动节奏视频中与作为所述互动音乐的音频流对应的视频流作为所述互动节奏视频流；
[0021]在所述互动音乐的音频流对应的音频指纹特征与所述预设音乐数据库中各所述目标音乐的音频指纹特征都不匹配时，将预设时间长度的音频流输入节奏互动点预测模型中进行预测，得到与所述预设时间长度的音频流对应的互动节奏视频流，其中，所述节奏互动点预测模型通过预设时间长度的音频流样本以及对应的互动节奏视频流样本训练得到，所述预设时间长度的音频流样本标注有音乐的音乐节奏位置，所述互动节奏视频流样本中标注有与所述预设时间长度的音频流的音乐节奏位置对应的节奏互动点。
[0022]在一种可能的实现方式中，在所述获取所述互动音乐的音频流所对应的互动节奏视频流的步骤之后，所述方法还包括：
[0023]在所述互动音乐的音频流对应的音频指纹特征与所述预设音乐数据库中的任意目标音乐的音频指纹特征匹配时，将所述音频流与所述互动节奏视频中的互动节奏视频流进行对齐处理，得到对齐后的音视频流；
[0024]所述将所述音频流和所述互动节奏视频流发送给所述观众端，由所述观众端进行播放及显示的步骤，包括：
[0025]将对齐后的音视频流发送给所述观众端，由所述观众端进行播放及显示。
[0026]在一种可能的实现方式中，所述在所述互动音乐的音频流对应的音频指纹特征与所述预设音乐数据库中的任意目标音乐的音频指纹特征匹配时，将所述音频流与所述互动节奏视频流进行对齐处理，得到对齐后的音视频流的步骤，包括：
[0027]将所述互动音乐的音频流对应的音频指纹特征与所述预设音乐数据库的目标音乐的音频指纹特征进行匹配，确定所述互动音乐的音频流与所述预设音乐数据库中与该互动音乐匹配的目标音乐之间的时间相对关系；
[0028]基于所述时间相对关系，将所述互动音乐的音频流和所述预设音乐数据库中与该互动音乐匹配的目标音乐的互动节奏视频中的互动节奏视频流进行对齐，得到对齐后的音
视频流。
[0029]第二方面，本申请实施例还提供直播音视频处理装置，应用于服务器，所述服务器通信连接主播端和观众端，所述装置包括：
[0030]获取模块，用于接收所述主播端选择的互动音乐，获取所述互动音乐的音频流所对应的互动节奏视频流，其中，所述互动节奏视频流包括互动界面的视频帧以及与位于所述互动界面中与所述互动音乐的音乐节奏对应的节奏互动点；
[0031]发送模块，用于将所述音频流和所述互动节奏视频流发送给所述观众端，由所述观众端进行播放及显示。
[0032]第三方面，本申请实施例还提供一种服务器，所述服务器包括处理器、通信单元及计算机可读存储介质，所述处理器、所述通信单元及所述计算机可读存储介质之间通过总线系统连接，所述通信单元用于连接客户端以实现所述服务器与所述客户端之间的数据交互，所述计算机可读存储介质用于存储程序、指令或代码，所述处理器用于执行所述计算机可读存储介质中的程序、指令或代码，以实现第一方面中任意一个可能的实现方式中的直播音视频处理方法。
[0033]第四方面，本申请实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当其被执行时，使得服务器执行上本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种直播音视频处理方法，其特征在于，应用于服务器，所述服务器通信连接主播端和观众端，所述方法包括：接收所述主播端选择的互动音乐，获取所述互动音乐的音频流所对应的互动节奏视频流，其中，所述互动节奏视频流包括互动界面的视频帧以及与位于所述互动界面中与所述互动音乐的音乐节奏对应的节奏互动点；将所述音频流和所述互动节奏视频流发送给所述观众端，由所述观众端进行播放及显示。2.如权利要求1所述的直播音视频处理方法，其特征在于，所述接收所述主播端选择的互动音乐，获取所述互动音乐的音频流所对应的互动节奏视频流的步骤，包括：确定所述互动音乐是否为预设音乐数据库中的目标音乐，其中，所述预设音乐数据库中存储有所述目标音乐的互动节奏视频；若所述互动音乐为所述预设音乐数据库中的目标音乐，获取所述互动音乐的音频流对应的互动节奏视频流；若所述互动音乐不是所述预设音乐数据库中的目标音乐，则基于所述互动音乐的音频流实时生成所述互动音乐对应的互动节奏视频流。3.如权利要求2所述的直播音视频处理方法，其特征在于，在所述接收所述主播端选择的互动音乐，获取所述互动音乐的音频流所对应的互动节奏视频流的步骤之前，所述方法还包括：对所述预设音乐数据库中的目标音乐进行音频频谱分析得到各个目标音乐的频谱分析结果；将所述各个目标音乐的频谱分析结果输入节奏互动点确定模型中，得到所述各个目标音乐的互动节奏视频，其中，所述节奏互动点确定模型基于样本频谱分析结果以及样本互动节奏视频训练得到，所述样本频谱分析结果中标注有音乐的音乐节奏位置，所述样本互动节奏视频流中标注有与所述音乐的音乐节奏位置对应的节奏互动点；将所述各个目标音乐的互动节奏视频存储到所述预设音乐数据库中。4.如权利要求3所述的直播音视频处理方法，其特征在于，所述确定所述互动音乐是否为预设音乐数据库中的目标音乐的步骤，包括：对所述预设音乐数据库中各个目标音乐进行音频指纹特征提取，得到各所述目标音乐的音频指纹特征；基于所述互动音乐的音频流，对所述互动音乐进行音频指纹特征提取，得到所述音频流对应的音频指纹特征；将所述音频流对应的音频指纹特征与所述预设音乐数据库中各所述目标音乐的音频指纹特征进行匹配，得到匹配结果；根据所述匹配结果确定所述互动音乐是否为所述预设音乐数据库中的目标音乐。5.如权利要求4所述的直播音视频处理方法，其特征在于，所述若所述互动音乐为所述预设音乐数据库中的目标音乐，获取所述互动音乐的音频流对应的互动节奏视频流；若所述互动音乐不是所述预设音乐数据库中的目标音乐，则基于所述互动音乐的音频流实时生成所述互动音乐对应的互动节奏视频流的步骤，包括：在所述互动音乐的音频流对应的音频指纹特征与所述预设音乐数据库中的任意目标音乐的音频指纹特征匹配时，将匹配的目标音乐的互动节奏视频中与所述互动音乐的音频
流对应的视频流作为所述互动节奏视频流；在所述互动音乐的音频流对应的音频指纹特征与所述预设音乐数据库中各所...

【专利技术属性】
技术研发人员：刘峰，康世胤，司季雨，吴晓东，吴创林，卢佐卿，林晓洁，李倩鸣，戴培贤，
申请(专利权)人：广州虎牙科技有限公司，
类型：发明
国别省市：