一种实时生成演唱视频的方法和系统技术方案

本发明专利技术涉及多媒体技术领域，特别涉及一种实时生成演唱视频的方法和系统。一种实时生成演唱视频的方法，包括步骤：获取演唱视频；生成基础素材；获取渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述演唱视频。用户可通过多种渠道实时自定义基础素材，基础素材资源丰富，且可对基础素材进行预编辑，使得显示效果更加丰富的同时用户体验性更好；渲染模板的制作采用3D建模和3D引擎技术，渲染模板包含多种特效组合，使得显示效果更加生动酷炫、视觉效果更加好；渲染后的视频播放过程中，可以多个用户同时进行追加素材，对于追加素材将优先被播放，可实现多用户间的实时互动，大大提高互动性和趣味性。

A method and system for generating live videos in real time

The invention relates to the technical field of multimedia, in particular to a method and a system for generating singing video in real time. A method for generating a singing video in real time includes steps of acquiring a singing video, generating a basic material, acquiring a rendering template, and rendering the basic material to the singing video in real time according to the rendering template. Users can customize the basic materials through various channels in real time, and the basic materials are rich in resources, and can pre-edit the basic materials, which makes the display effect richer and user experience better; rendering templates are made using 3D modeling and 3D engine technology, rendering templates contain a variety of special effects combination, making the display effect better. More vivid cool, better visual effect; after the rendering of video playback process, multiple users can simultaneously add material, for additional material will be preferentially played, can achieve real-time interaction between multiple users, greatly improving the interaction and interesting.

【技术实现步骤摘要】
一种实时生成演唱视频的方法和系统
本专利技术涉及多媒体
，特别涉及一种实时生成演唱视频的方法和系统。
技术介绍
随着屏幕技术的发展，人们对屏幕内容(无论是图片或视频)的展示效果要求越来越高，现有的2D展示效果不够丰富，例如KTV点歌系统的电视界面等，不仅显示单调，而且互动性不够，让人容易产生视觉疲劳，无法满足人们的要求。特别是现在随着网络的发展，人们越来越喜欢重复观看一些经典旧视频，而这些经典旧视频由于当年拍摄硬件的限制，显示分辨率很低，而由于各种原因其显示分辨率无法提高，或者分辨率提高成本比较高，如重新拍摄。因此这些经典旧视频在现在高分辨率的大尺寸电视上显示效果非常差。并且目前的演唱形式只有歌曲的MV视频播放，视频MV画面效果比较固定和单一，缺乏互动性和趣味性。为解决上述的技术问题，常用的技术手段是通过将这些旧视频叠在高分辨率背景视频上，经典旧视频按较低尺寸显示，可以改善显示效果。而这样的解决办法仅仅只能改善显示清晰度，在视频的显示效果上仍然是显示单调，缺乏互动性和趣味性。
技术实现思路
为此，需要提供一种实时生成演唱视频的方法，用以解决现有技术中视频只能改善显示清晰度，但显示效果单调、缺乏互动性和趣味性的问题。具体的技术方案如下：一种实时生成演唱视频的方法，包括步骤：播放歌曲的视频画面和/或音频，实时获取基础素材；选择预置的渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面；实时获取追加素材；根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示。进一步的，所述步骤“实时获取追加素材；根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示”具体为：实时获取追加素材；发送所述追加素材至数字终端可访问的位置；数字终端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示；或实时获取追加素材并发送至云端；云端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；将所述渲染后的歌曲视频画面发送到数字终端可访问的位置；数字终端获取所述渲染后的歌曲视频画面后进行实时显示。进一步的，所述根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示中，所述实时渲染操作具体为：将追加素材读取到显存中作为GPU处理的输入；GPU执行预制着色语言程序(shader)对显存中的追加素材实时处理输出到framebuffer中待显示；其中所述预制着色语言程序效果包括滤镜、抠图、人脸识别或叠加。进一步的，所述“选择预置的渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面”，还包括步骤：在云端预置渲染模板；发送所述演唱视频和所述基础素材至云端；云端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；将渲染后的歌曲视频画面发送至数字终端可访问的位置；或在云端预置渲染模板；发送所述基础素材至云端；云端根据所述渲染模板对基础素材进行预渲染，形成初步渲染素材；发送所述初步渲染素材至数字终端可访问的位置；数字终端将所述初步渲染素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；或在数字终端预置渲染模板；发送所述基础素材、歌曲视频画面至数字终端可访问的位置；数字终端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面。进一步的，所述“获取基础素材”，包括步骤：获取移动终端、云端或数字终端多媒体素材，和/或通过摄像头实时获取多媒体素材，和/或获取特定网页。进一步的，所述“获取基础素材”后，还包括步骤：对所述基础素材进行预编辑，所述预编辑操作包括下列中的一种或两种以上：调整文字字体、大小，调整图片显示效果，添加壁纸或音频变声。进一步的，所述“渲染模板”包括下列中的一种或两种以上：辅助效果素材、3D模型、贴图、特效、动画、滤镜或素材与特效组合显示。进一步的，还包括步骤：数字终端将渲染后的歌曲视频画面及用户演唱声音编码合成视频，保存合成后的视频，并生成与所述合成视频对应的二维码或将合成视频上传至云端；移动终端与数字终端进行绑定，移动终端获取合成后的视频，并进行分享；或移动终端与数字终端进行绑定，数字终端将合成后的视频发送至云端，移动终端从云端获取合成后的视频。为解决上述技术问题，还提供了一种实时生成演唱视频的系统，具体技术如下：一种实时生成演唱视频的系统，包括：移动终端、云端和数字终端；所述数字终端用于：播放歌曲的视频画面和/或音频；所述移动终端用于：实时获取基础素材；所述云端或所述数字终端至少有一个用于：选择预置的渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面；所述移动终端用于：实时获取追加素材；所述云端或所述数字终端至少有一个用于：根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示。进一步的，所述移动终端还用于：实时获取追加素材；发送所述追加素材至数字终端可访问的位置；所述数字终端还用于：根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示；或所述移动终端还用于：实时获取追加素材并发送至云端；所述云端还用于：根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；将所述渲染后的歌曲视频画面发送到数字终端可访问的位置；所述数字终端还用于：获取所述渲染后的歌曲视频画面后进行实时显示。进一步的，所述云端或数字终端还用于：将追加素材读取到显存中作为GPU处理的输入；GPU执行预制着色语言程序(shader)对显存中的追加素材实时处理输出到framebuffer中待显示；其中所述预制着色语言程序效果包括滤镜、抠图、人脸识别或叠加。进一步的，所述移动终端用于：发送所述演唱视频和所述基础素材至云端；所述云端用于：预置渲染模板，根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；将渲染后的演唱视频画面发送至数字终端可访问的位置；或所述移动终端用于：发送所述基础素材至云端；所述云端用于：预置渲染模板，根据所述渲染模板对基础素材进行预渲染，形成初步渲染素材；发送所述初步渲染素材至数字终端可访问的位置；所述数字终端用于：将所述初步渲染素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；或所述移动终端用于：发送所述基础素材、歌曲视频画面至数字终端可访问的位置；所述数字终端用于：预置渲染模板；所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面。进一步的，所述移动终端或云端或数字终端还用于：获取移动终端、云端或数字终端多媒体素材，和/或通过摄像头实时获取多媒体素材，和/或获取特定网页。进一步的，所述移动终端或云端或数字终端还用于：对所述基础素材进行预编辑，所述预编辑操作包括下列中的一种或两种以上：调整文字字体、大小，调整图片显示效果，添加壁纸或音频变声。进一步的，所述“渲染模板”包括下列中的一种或两种以上：辅助效果素材、3D模型、贴图、特效、动画、滤镜或素材与特效组合显示。进一步的，所述数字终端还用于：将渲染后的歌曲视频画面及用户演唱声音编码合成视频，保存合成后的视频，并生成与所述合本文档来自技高网...

【技术保护点】
1.一种实时生成演唱视频的方法，其特征在于，包括步骤：播放歌曲的视频画面和/或音频，实时获取基础素材；选择预置的渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面；实时获取追加素材；根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示。

【技术特征摘要】
1.一种实时生成演唱视频的方法，其特征在于，包括步骤：播放歌曲的视频画面和/或音频，实时获取基础素材；选择预置的渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面；实时获取追加素材；根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示。2.根据权利要求1所述的一种实时生成演唱视频的方法，其特征在于，所述步骤“实时获取追加素材；根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示”具体为：实时获取追加素材；发送所述追加素材至数字终端可访问的位置；数字终端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示；或实时获取追加素材并发送至云端；云端根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；将所述渲染后的歌曲视频画面发送到数字终端可访问的位置；数字终端获取所述渲染后的歌曲视频画面后进行实时显示。3.根据权利要求1或2所述的一种实时生成演唱视频的方法，其特征在于，所述根据所述渲染模板优先将所述追加素材实时渲染至所述歌曲视频画面，并进行实时显示中，所述实时渲染操作具体为：将追加素材读取到显存中作为GPU处理的输入；GPU执行预制着色语言程序对显存中的追加素材实时处理输出到framebuffer中待显示；其中所述预制着色语言程序效果包括滤镜、抠图、人脸识别或叠加。4.根据权利要求1所述的一种实时生成演唱视频的方法，其特征在于，所述“选择预置的渲染模板；根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面”，还包括步骤：在云端预置渲染模板；发送所述歌曲的视频画面和所述基础素材至云端；云端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；将渲染后的歌曲视频画面发送至数字终端可访问的位置；或在云端预置渲染模板；发送所述基础素材至云端；云端根据所述渲染模板对基础素材进行预渲染，形成初步渲染素材；发送所述初步渲染素材至数字终端可访问的位置；数字终端将所述初步渲染素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面；或在数字终端预置渲染模板；发送所述基础素材、歌曲视频画面至数字终端可访问的位置；数字终端根据所述渲染模板将所述基础素材实时渲染至所述歌曲视频画面，得到渲染后的歌曲视频画面。5.根据权利要求1至4任一所述的一种实时生成演唱视频的方法，其特征在于，所述“获取基础素材”，包括步骤：获取移动终端、云端或数字终端多媒体素材，和/或通过摄像头实时获取多媒体素材，和/或获取特定网页。6.根据权利要求5所述的一种实时生成演唱视频的方法，其特征在于，所述“获取基础素材”后，还包括步骤：对所述基础素材进行预编辑，所述预编辑操作包括下列中的一种或两种以上：调整文字字体、大小，调整图片显示效果，添加壁纸或音频变声。7.根据权利要求1所述的一种实时生成演唱视频的方法，其特征在于，所述“渲染模板”包括下列中的一种或两种以上：辅助效果素材、3D模型、贴图、特效、动画、滤镜或素材与特效组合显示。8.根据权利要求1所述的一种实时生成演唱视频的方法，其特征在于，还包括步骤：数字终端将渲染后的歌曲视频画面及用户演唱声音编码合成视频，保存合成后的视频，并生成与所述合成视频对应的二维码或将合成视频上传至云端；移动终端与数字终端进行绑定，移动终端获取合成后的视频，并进行分享；或移动终端与数字终端进行绑定，数字终端将合成后的视频发送至云端，移动终端从云端获取合成后的视频。9.一种实时生成演唱视频的系统...

【专利技术属性】
技术研发人员：冯皓，祖可峰，郑灵玮，林群，林鎏娟，
申请(专利权)人：福建星网视易信息系统有限公司，
类型：发明
国别省市：福建,35