视频图像处理方法、计算机可读存储介质及终端技术

本发明专利技术提供一种视频图像处理方法，该方法包括：获取欲在播放视频中播放的音乐的音乐信号；判断是否预存有用于保存音乐节拍点与音乐播放位置的对应关系的节拍点描述文件；若是，获取节拍点描述文件；若否，根据音乐信号检测出音乐的节拍点，根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件；根据节拍点描述文件，确定在播放视频中播放音乐时，在当前播放位置出现节拍点；获取节拍点对应的特效；根据特效对播放视频中的图像进行处理，获得包含特效的视频图像。本方案可使视频图像上显示的特效与播放音乐的节拍点紧密关联，进而提高在视频中播放的音乐在听觉及视觉上的感染力，增加视频应用的趣味性并提升用户体验。

Video image processing method, computer readable storage medium and terminal

The present invention provides a video image processing method. The method includes: obtaining music signals that want to play music in the playing video; determine whether there is a preexisting beat point used to preserve the corresponding relationship between the music beat point and the music playback position; if, obtain a recording point description file; if not, according to music. The signal detects the beat point of the music. According to the corresponding relationship between the detected beat point and the music playing position, the beat point description file is generated. According to the beat point description file, it is determined that the beat point appears at the current playing position when playing the music in the playback video; the special effect corresponding to the beat point is obtained; it is played according to the special effect. The image in the video is processed to get video images containing special effects. This scheme can make the special effect on video image closely related to the beat point of playing music, and then improve the auditory and visual appeal of the music played in the video, increase the interest of the video application and improve the user experience.

【技术实现步骤摘要】
视频图像处理方法、计算机可读存储介质及终端
本专利技术涉及图像处理
，具体而言，本专利技术涉及一种视频图像处理方法、计算机可读存储介质及终端。
技术介绍
随着互联网技术以及音频、图像处理技术的不断发展，在短视频、视频直播等视频应用领域中，通常会在播放视频中播放音乐，所播放的音乐可由用户选定，以给予用户在观看视频过程中的听觉享受，进而提高用户的体验满意度。然而，传统技术中，播放视频中的视频图像与所播放的音乐往往没有关联性，音乐仅是简单的加入到播放视频中，在播放视频中播放的音乐在听觉以及视觉上没有足够的感染力，进而影响了用户的体验满意度。
技术实现思路
为克服以上技术问题，特别是现有技术无法实现播放视频中视频图像与所播放音乐紧密关联的问题，特提出以下技术方案：本专利技术的实施例根据一个方面，提供了一种视频图像处理方法，包括：获取欲在播放视频中播放的音乐的音乐信号；判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件；若是，获取所述节拍点描述文件；若否，根据所述音乐信号检测出所述音乐的节拍点，根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件；根据所述节拍点描述文件，确定在播放视频中播放音乐时，在当前播放位置出现节拍点；获取所述节拍点对应的特效；根据所述特效对播放视频中的图像进行处理，获得包含所述特效的视频图像。优选地，所述判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件；若是，获取所述节拍点描述文件；包括：判断本地文件中是否预存有节拍点描述文件，若是，从本地文件中获取所述节拍点描述文件；或判断服务器是否预存有节拍点描述文件，若是，从服务器中下载所述节拍点描述文件；或判断本地文件中是否预存有节拍点描述文件，若是，从本地文件中获取所述节拍点描述文件；若否，判断服务器是否预存有节拍点描述文件，若是，从服务器中下载所述节拍点描述文件。优选地，所述获取所述节拍点描述文件之后，还包括：若所述节拍点描述文件为从服务器下载的节拍点描述文件，根据所述音乐信号检测出所述音乐的节拍点，根据检测出的节拍点对所述节拍点描述文件进行校对，在本地文件中保存所述校对后的节拍点描述文件。优选地，所述根据所述音乐信号检测出所述音乐的节拍点，根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件之后，还包括：将所述节拍点描述文件上传到服务器。优选地，所述视频为直播视频；所述获取所述节拍点对应的特效之前，还包括：获取直播端的主播设置的所述音乐的节拍点对应的特效信息，将节拍点与音乐播放位置与特效信息的对应关系保存到所述节拍点描述文件中；生成包含特效信息的节拍点描述文件；所述获取所述节拍点对应的特效，包括：根据所述包含特效信息的节拍点描述文件，获取所述节拍点对应的特效。进一步地，所述生成包含特效信息的节拍点描述文件之后，还包括：向连麦的另一直播端发送所述音乐、所述包含特效信息的节拍点描述文件、所述节拍点对应的特效，以使另一直播端在播放所述音乐时显示与本直播端相同特效。优选地，所述节拍点包括强节拍点和弱节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱；根据所述频谱，确定检测点的能量变化值；根据能量变化值，检测出检测点出现强节拍点或弱节拍点。优选地，所述节拍点包括强节拍点和弱节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：对所述音乐信号进行加权处理，获得加权后的音乐信号；根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点。优选地，所述节拍点包括强节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：根据所述音乐信号的能量强度值获得候选节拍点；根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔；根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点。优选地，所述节拍点包括强节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：根据检测点的音乐信号的能量变化差值，获得候选节拍点；根据所述候选节拍点，以各相邻两个候选节拍点作为信号起始点截取两段音乐信号；根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点。优选地，所述根据所述音乐信号检测出所述音乐的节拍点，包括：根据获取的所述音乐信号，判断检测强节拍点，还是检测强节拍点和弱节拍点；若检测强节拍点，判断采用强度值检测还是变化值检测；若采用强度值检测，根据所述音乐信号的能量强度值获得候选节拍点，根据各候选节拍点，统计各相邻两个候选节拍点所在帧之间的时间间隔，根据所述时间间隔，检测出候选节拍点对应检测点出现强节拍点；若采用变化值检测，根据检测点的音乐信号的能量变化差值，获得候选节拍点，根据所述候选节拍点，以各相邻两个所述候选节拍点作为信号起始点截取两段音乐信号，根据两段音乐信号的对比结果，检测出候选节拍点对应检测点出现强节拍点；若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测；若采用强度值检测，对所述音乐信号进行加权处理，获得加权后的音乐信号，根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点；若采用变化值检测，对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱，根据所述频谱，确定检测点的能量变化值，根据能量变化值，检测出检测点出现弱节拍点或强候选节拍点；所述判断检测强节拍点，还是检测强节拍点和弱节拍点，包括：获取视频所需特效类型，根据视频所需特效类型判断检测强节拍点，还是检测强节拍点和弱节拍点；所述若检测强节拍点，判断采用强度值检测还是变化值检测，包括：若检测强节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测；所述若检测强节拍点和弱节拍点，判断采用强度值检测还是变化值检测，包括：若检测强节拍点和弱节拍点，获取所述音乐的类型，根据类型判断采用强度值检测还是变化值检测。优选地，所述根据所述特效对播放视频中的图像进行处理，获得包含所述特效的视频图像，包括：获取所述特效中的素材，以图层叠加方式把素材与所述播放视频中的图像进行合成，获得包含所述特效的视频图像。本专利技术的实施例根据另一个方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的视频图像处理方法。本专利技术的实施例根据又一个方面，还提供了一种终端，所述终端包括一个或多个处理器；存储器；一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于：执行上述的视频图像处理方法。本专利技术与现有技术相比，具有以下有益效果：本专利技术提供的视频图像处理方法、计算机可读存储介质及终端，通过获取音乐的节拍点描述文件或根据音乐信号智能生成节拍点描述文件，获得根据节拍点描述文件确定的节拍点对应的特效，以使视频图像上显示的特效与所选定的视频播放音乐的节拍点紧密关联，进而提高在视频中播放的音乐在听觉及视觉上的感染力，增加视频应用的趣味性并提高用户体验的满意度。此外，本专利技术还可实现对从服务器获取的节拍点描述文件进行校对，以确保所述节拍点描述文件的准确性，进而确保节拍点与音乐播放位置的对应关系的准确性，进本文档来自技高网...

【技术保护点】
1.一种视频图像处理方法，其特征在于，包括如下步骤：获取欲在播放视频中播放的音乐的音乐信号；判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件；若是，获取所述节拍点描述文件；若否，根据所述音乐信号检测出所述音乐的节拍点，根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件；根据所述节拍点描述文件，确定在播放视频中播放音乐时，在当前播放位置出现节拍点；获取所述节拍点对应的特效；根据所述特效对播放视频中的图像进行处理，获得包含所述特效的视频图像。

【技术特征摘要】
1.一种视频图像处理方法，其特征在于，包括如下步骤：获取欲在播放视频中播放的音乐的音乐信号；判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件；若是，获取所述节拍点描述文件；若否，根据所述音乐信号检测出所述音乐的节拍点，根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件；根据所述节拍点描述文件，确定在播放视频中播放音乐时，在当前播放位置出现节拍点；获取所述节拍点对应的特效；根据所述特效对播放视频中的图像进行处理，获得包含所述特效的视频图像。2.根据权利要求1所述的视频图像处理方法，其特征在于，所述判断是否预存有用于保存所述音乐的节拍点与音乐播放位置的对应关系的节拍点描述文件；若是，获取所述节拍点描述文件；包括：判断本地文件中是否预存有节拍点描述文件，若是，从本地文件中获取所述节拍点描述文件；或判断服务器是否预存有节拍点描述文件，若是，从服务器中下载所述节拍点描述文件；或判断本地文件中是否预存有节拍点描述文件，若是，从本地文件中获取所述节拍点描述文件；若否，判断服务器是否预存有节拍点描述文件，若是，从服务器中下载所述节拍点描述文件。3.根据权利要求1所述的视频图像处理方法，其特征在于，所述获取所述节拍点描述文件之后，还包括：若所述节拍点描述文件为从服务器下载的节拍点描述文件，根据所述音乐信号检测出所述音乐的节拍点，根据检测出的节拍点对所述节拍点描述文件进行校对，在本地文件中保存所述校对后的节拍点描述文件。4.根据权利要求1所述的视频图像处理方法，其特征在于，所述根据所述音乐信号检测出所述音乐的节拍点，根据所检测出的节拍点与音乐播放位置的对应关系生成节拍点描述文件之后，还包括：将所述节拍点描述文件上传到服务器。5.根据权利要求1所述的视频图像处理方法，其特征在于，所述视频为直播视频；所述获取所述节拍点对应的特效之前，还包括：获取直播端的主播设置的所述音乐的节拍点对应的特效信息，将节拍点与音乐播放位置与特效信息的对应关系保存到所述节拍点描述文件中；生成包含特效信息的节拍点描述文件；所述获取所述节拍点对应的特效，包括：根据所述包含特效信息的节拍点描述文件，获取所述节拍点对应的特效。6.根据权利要求5所述的视频图像处理方法，其特征在于，所述生成包含特效信息的节拍点描述文件之后，还包括：向连麦的另一直播端发送所述音乐、所述包含特效信息的节拍点描述文件、所述节拍点对应的特效，以使另一直播端在播放所述音乐时显示与本直播端相同特效。7.根据权利要求1所述的视频图像处理方法，其特征在于，所述节拍点包括强节拍点和弱节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：对所述音乐信号进行滤波，滤波后进行短时傅立叶变换，获得频谱；根据所述频谱，确定检测点的能量变化值；根据能量变化值，检测出检测点出现强节拍点或弱节拍点。8.根据权利要求1所述的视频图像处理方法，其特征在于，所述节拍点包括强节拍点和弱节拍点；所述根据所述音乐信号检测出所述音乐的节拍点，包括：对所述音乐信号进行加权处理，获得加权后的音乐信号；根据所述加权后的音乐信号的能量强度值，检测出检测点出现强节拍点或弱节拍点。9.根据权利要求1所述的视频...

【专利技术属性】
技术研发人员：危文，袁少龙，周宇涛，丘智鉴，颜乐驹，魏启征，李敬，
申请(专利权)人：广州市百果园信息技术有限公司，
类型：发明
国别省市：广东,44