视频直播中的音乐礼物处理方法、存储介质及终端技术

本发明专利技术提供一种视频直播中的音乐礼物处理方法，该方法包括：在视频直播中接收观众发送的音乐礼物；所述音乐礼物包括欲在视频直播中播放的音乐；获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点；确定在视频直播中播放所述音乐礼物中的音乐时，在当前播放位置出现节拍点；获取所述节拍点对应的特效；根据所述特效对视频直播中的图像进行处理，获得包含所述特效的视频直播图像。该方法丰富了视频直播中观众与主播的互动方式，显著提高观众与主播的互动积极性，有效烘托直播氛围，满足视频直播的需求，并增加了视频直播应用的趣味性，提高了用户体验满意度。

Music gift processing method, storage medium and terminal in video live broadcast

The present invention provides a method for the processing of music gifts in live video. The method includes: receiving a musical gift from an audience in a live video, the music gift includes music to be broadcast in a video broadcast, a musical signal of the music, and a beat point of the music according to the music signal; When the music of the music gift is played in the live video, a beat point appears at the current playback position; a special effect corresponding to the beat point is obtained; the images in the live video are processed according to the special effect, and the video live image containing the special effect is obtained. This method enriches the interactive mode between the audience and the host in the video broadcast, greatly improves the interactive enthusiasm of the audience and the host, effectively supports the live broadcast atmosphere, meets the demand of the video broadcast, and increases the interest of the video broadcast application, and improves the satisfaction of the user experience.

【技术实现步骤摘要】
视频直播中的音乐礼物处理方法、存储介质及终端
本专利技术涉及计算机
，具体而言，本专利技术涉及一种视频直播中的音乐礼物处理方法、计算机可读存储介质及终端。
技术介绍
视频直播作为一种新兴的网络社交方式，受到了越来越多人的追捧。为活跃气氛，主播通常会在视频直播中播放音乐，所播放的音乐可由观众选定，以给予观众在观看视频过程中的听觉享受，进而提高视频直播应用用户的体验满意度。然而，传统技术中，播放视频中的视频图像与所播放的音乐往往没有关联性，音乐仅是简单的加入到播放视频中，在播放视频中播放的音乐在听觉以及视觉上没有足够的感染力，且简单地选取音乐进行播放的互动方式无法有效提高观众与主播的互动积极性，不足于满足视频直播的需求，进而影响了视频直播应用用户的体验满意度。
技术实现思路
为克服以上技术问题，特别是现有技术无法实现通过在视频直播中播放音乐来提高观众与主播互动积极性及用户体验满意度的问题，特提出以下技术方案：本专利技术的实施例根据一个方面，提供了一种视频直播中的音乐礼物处理方法，包括：在视频直播中接收观众发送的音乐礼物；所述音乐礼物包括欲在视频直播中播放的音乐；获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点；确定在视频直播中播放所述音乐礼物中的音乐时，在当前播放位置出现节拍点；获取所述节拍点对应的特效；根据所述特效对视频直播中的图像进行处理，获得包含所述特效的视频直播图像。优选地，所述音乐礼物还包括所述音乐的节拍点对应的特效信息；所述获取所述节拍点对应的特效，包括：根据所述特效信息，从所述音乐礼物中获取所述节拍点对应的特效。优选地，根据所述特效对视频直播中的图像进行处理，获得包含所述特效的视频直播图像之后，还包括：向客户端发送处理后的视频直播图像。优选地，所述获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点之后，还包括：根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件；所述确定在视频直播中播放所述音乐礼物中的音乐时，在当前播放位置出现节拍点包括：根据所述节拍点描述文件，确定在视频直播中播放所述音乐礼物中的音乐时，在当前播放位置出现节拍点。进一步地，所述根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件之后，还包括：获取所述特效信息，将节拍点与音乐播放位置与特效信息的对应关系保存到所述节拍点描述文件中；生成包含特效信息的节拍点描述文件；所述根据所述特效信息，从所述音乐礼物中获取所述节拍点对应的特效，包括：根据所述包含特效信息的节拍点描述文件，从所述音乐礼物中获取所述节拍点对应的特效。优选地，所述在视频直播中接收观众发送的音乐礼物之后，还包括：判断直播端的主播是否执行打开所述音乐礼物的预设动作；若是，继续所述获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点的步骤；并向发送所述音乐礼物的观众反馈主播打开音乐礼物的信息。优选地，所述节拍点包括强节拍点和弱节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱；根据所述频谱，确定检测点的能量变化值；根据能量变化值，检测出检测点出现强节拍点或弱节拍点。优选地，所述节拍点包括强节拍点和弱节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：对所述音乐信号进行加权处理，获得加权后的音乐信号；根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点。优选地，所述节拍点包括强节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：根据所述音乐信号的能量强度值获得候选节拍点；根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔；根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点。优选地，所述节拍点包括强节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：根据检测点的音乐信号的能量变化差值，获得候选节拍点；根据所述候选节拍点，以各相邻两个候选节拍点作为信号起始点截取两段音乐信号；根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点。优选地，所述获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点，包括：获取所述音乐信号，判断检测强节拍点，还是检测强节拍点和弱节拍点；若检测强节拍点，判断采用强度值检测还是变化值检测；若采用强度值检测，根据所述音乐信号的能量强度值获得候选节拍点，根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔，根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点；若采用变化值检测，根据检测点的音乐信号的能量变化差值，获得候选节拍点，根据所述候选节拍点，以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号，根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点；若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测；若采用强度值检测，对所述音乐信号进行加权处理，获得加权后的音乐信号，根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点；若采用变化值检测，对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱，根据所述频谱，确定检测点的能量变化值，根据能量变化值，检测出检测点出现弱节拍点或强候选节拍点；所述判断检测强节拍点，还是检测强节拍点和弱节拍点，包括：获取所述音乐礼物中的特效信息，根据所述特效信息判断检测强节拍点，还是检测强节拍点和弱节拍点；所述若检测强节拍点，判断采用强度值检测还是变化值检测，包括：若检测强节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测；所述若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测，包括：若检测强节拍点和弱节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测。优选地，所述根据所述特效对视频直播中的图像进行处理，获得包含所述特效的视频直播图像，包括：获取所述特效中的素材，以图层叠加方式把素材与所述视频直播中的图像进行合成，获得包含所述特效的视频直播图像。本专利技术的实施例根据另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的音乐礼物处理方法。本专利技术的实施例根据又一个方面，还提供了一种终端，所述终端包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述的音乐礼物处理方法。本专利技术与现有技术相比，具有以下有益效果：本专利技术提供的音乐礼物处理方法，通过对观众发送给主播的音乐礼物中的音乐进行节拍点检测，并在播放过程中根据所检测到的节拍点在视频图像中显示该节拍点对应的特效，以使视频图像上显示的特效与观众选定的音乐的节拍点紧密关联，进而以提高在视频直播中播放的音乐在听觉以及视觉上的感染力；且通过将主播播放音乐与观众送礼物的行为相结合，丰富了视频直播中观众与主播的互动方式，显著提高了观众与主播的互动积极性，有效烘托直播氛围，满足视频直播的需求，并增加了视频直播应用的趣味性，提高了用户体验的满意度。此外，本专利技术提供的音乐礼物处理方法，结合多个节拍点检测方法，实现快速、准确地检测本文档来自技高网...

【技术保护点】
1.一种视频直播中的音乐礼物处理方法，其特征在于，包括：在视频直播中接收观众发送的音乐礼物；所述音乐礼物包括欲在视频直播中播放的音乐；获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点；确定在视频直播中播放所述音乐礼物中的音乐时，在当前播放位置出现节拍点；获取所述节拍点对应的特效；根据所述特效对视频直播中的图像进行处理，获得包含所述特效的视频直播图像。

【技术特征摘要】
1.一种视频直播中的音乐礼物处理方法，其特征在于，包括：在视频直播中接收观众发送的音乐礼物；所述音乐礼物包括欲在视频直播中播放的音乐；获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点；确定在视频直播中播放所述音乐礼物中的音乐时，在当前播放位置出现节拍点；获取所述节拍点对应的特效；根据所述特效对视频直播中的图像进行处理，获得包含所述特效的视频直播图像。2.根据权利要求1所述的音乐礼物处理方法，其特征在于，所述音乐礼物还包括所述音乐的节拍点对应的特效信息；所述获取所述节拍点对应的特效，包括：根据所述特效信息，从所述音乐礼物中获取所述节拍点对应的特效。3.根据权利要求1或2所述的音乐礼物处理方法，其特征在于，根据所述特效对视频直播中的图像进行处理，获得包含所述特效的视频直播图像之后，还包括：向客户端发送处理后的视频直播图像。4.根据权利要求2所述的音乐礼物处理方法，其特征在于，所述获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点之后，还包括：根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件；所述确定在视频直播中播放所述音乐礼物中的音乐时，在当前播放位置出现节拍点包括：根据所述节拍点描述文件，确定在视频直播中播放所述音乐礼物中的音乐时，在当前播放位置出现节拍点。5.根据权利要求4所述的音乐礼物处理方法，其特征在于，所述根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件之后，还包括：获取所述特效信息，将节拍点与音乐播放位置与特效信息的对应关系保存到所述节拍点描述文件中；生成包含特效信息的节拍点描述文件；所述根据所述特效信息，从所述音乐礼物中获取所述节拍点对应的特效，包括：根据所述包含特效信息的节拍点描述文件，从所述音乐礼物中获取所述节拍点对应的特效。6.根据权利要求1或2所述的音乐礼物处理方法，其特征在于，所述在视频直播中接收观众发送的音乐礼物之后，还包括：判断直播端的主播是否执行打开所述音乐礼物的预设动作；若是，继续所述获取所述音乐的音乐信号，根据所述音乐信号检测出所述音乐的节拍点的步骤；并向发送所述音乐礼物的观众反馈主播打开音乐礼物的信息。7.根据权利要求1或2所述的音乐礼物处理方法，其特征在于，所述节拍点包括强节拍点和弱节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱；根据所述频谱，确定检测点的能量变化值；根据能量变化值，检测出检测点出现强节拍点或弱节拍点。8.根据权利要求1或2所述的音乐礼物处理方法，其特征在于，所述节拍点包括强节拍点和弱节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：对所述音乐信号进行加权处理，获得加权后的音乐信号；根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点。9.根据权利要求1或2所述的音乐礼物处理方法，其特征在于，所述节拍点包括强节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：根据所述音乐信号的能量强度值获得候选节拍点；根据...

【专利技术属性】
技术研发人员：危文，袁少龙，周宇涛，丘智鉴，颜乐驹，魏启征，李敬，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44