元宇宙直播视频处理方法、装置及元宇宙直播系统制造方法及图纸

本申请涉及一种元宇宙直播视频处理方法、装置、元宇宙直播系统、计算机设备及计算机可读存储介质；所述方法包括：获取元宇宙直播间的主播全景视频流并与背景图像进行合成得到直播全景视频流；对直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；将实时直播视频流渲染在透明球体上，并在透明球体的内部设置虚拟摄像头；获取客户端的设备类型，根据设备类型选择相应的实时直播视频流下发至客户端，并使得客户端以虚拟摄像头的视觉角度对实时直播视频流进行渲染；该技术方案，可以适应元宇宙直播场景下的不同终端设备的播放与观看交互需求，促进了元宇宙直播技术的应用推广。宇宙直播技术的应用推广。宇宙直播技术的应用推广。

【技术实现步骤摘要】
元宇宙直播视频处理方法、装置及元宇宙直播系统


[0001]本申请涉及网络直播
，特别是涉及一种元宇宙直播视频处理方法、装置、元宇宙直播系统、计算机设备及计算机可读存储介质。

技术介绍

[0002]随着元宇宙技术的发展，在直播领域也得到越来越多的应用，基于元宇宙搭建的虚拟空间，各种虚拟资源在直播间中展示，可供主播和观众可以进行更加沉浸式的虚拟互动。
[0003]在元宇宙直播场景下，主播是在现实场景上开播，将现实人物跟虚拟场景进行结合，并呈现一套虚实结合的直播与观看技术方案；同时，客户端会使用不同的终端设备，如移动端设备、PC(Personal Computer，个人计算机)端设备及VR(Virtual Reality，虚拟现实)设备等等，不同设备类型的客户端观看直播体验与观看交互具有较大差异，常规的直播视频处理架构，无法匹配同一场元宇宙全景直播下的多类型终端直播视频处理需求，阻碍了元宇宙直播技术的应用。

技术实现思路

[0004]基于此，有必要针对上述技术问题之一，提供一种元宇宙直播视频处理方法、装置、元宇宙直播系统、计算机设备及计算机可读存储介质，满足元宇宙直播场景下不同设备类型终端设备的直播视频处理需求。
[0005]第一方面，本申请提供一种元宇宙直播视频处理方法，包括：
[0006]获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流；
[0007]对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；
[0008]将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头；
[0009]获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。
[0010]在一个实施例中，在获取元宇宙直播间的主播全景视频流之前，还包括：
[0011]通过主播端控制摄像机拍摄直播视频画面的角度，使得所述主播位于直播视频画面的中心区域；
[0012]对所述直播视频画面的人物畸变进行优化处理得到所述主播全景视频流。
[0013]在一个实施例中，将所述主播全景视频流与背景图像进行合成得到直播全景视频流，包括：
[0014]利用绿幕抠像技术从所述主播全景视频流中抠出主播图像；
[0015]将所述主播图像添加到背景图像的预定位置处，对所述主播图像进行参数设置，并将所述主播图像与所述背景图像进行合成得到直播全景视频流。
[0016]在一个实施例中，所述适配设备类型包括3D全景播放设备和2D平面播放设备；
[0017]所述对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流，包括：
[0018]以直播全景视频流中的主播图像为中心，从面向摄像机中心位置上裁剪出至少一种视角范围的3D全景视频流和至少一种宽高比的长方形的2D平面视频流。
[0019]在一个实施例中，所述3D全景视频流包括：360度全景视频流、180度全景视频流和90度全景视频流。
[0020]在一个实施例中，将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头，包括：
[0021]若所述实时直播视频流为360度全景视频流，则将所述实时直播视频流渲染在透明球体的内面上，并在透明球体的中心位置处设置虚拟摄像头；
[0022]若所述实时直播视频流为180度全景视频流，则将所述实时直播视频流渲染在透明半球的内面上，并在透明半球的中心偏内位置处设置虚拟摄像头；
[0023]若所述实时直播视频流为90度全景视频流，则将所述实时直播视频流渲染在1/4透明球体的内面上，并在1/4透明球体的中心靠近内面位置处设置虚拟摄像头。
[0024]在一个实施例中，所述的元宇宙直播视频处理方法，还包括：
[0025]获取现场麦克风采集到的实时声音；其中，所述实时声音包括人物声音、背景音乐和/或物体声音；
[0026]对所述实时声音的音效进行调整，并进行声音降噪和混响处理得到音频数据，添加到所述主播全景视频流中。
[0027]在一个实施例中，所述的元宇宙直播视频处理方法，还包括：
[0028]当元宇宙直播间产生赠送礼物事件时，根据客户端的设备类型下发所赠送礼物相应的播放脚本；其中，所述播放脚本与客户端预先下载的礼物模型进行绑定，用于控制礼物模型的动作；
[0029]触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现。
[0030]在一个实施例中，所述客户端包括主播端和观众端；
[0031]若所述实时直播视频流与赠送礼物为实时同步播放，所述触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现，包括：
[0032]当观众端收到赠送礼物的广播通知时，通过主播端将对应的礼物特效渲染层与实时直播视频流进行合成得到带特效直播视频流，并将所述带特效直播视频流推送到各个观众端，使得观众端播放所述带特效直播视频流。
[0033]在一个实施例中，若所述实时直播视频流与赠送礼物为非实时同步播放；
[0034]所述触发所述客户端根据所述播放脚本对绑定的礼物模型进行播放并进行相应的动作呈现，包括：
[0035]若所述赠送礼物为2D特效礼物，则触发所述客户端在界面上设定位置渲染礼物特征，并执行播放脚本控制礼物渲染过程；
[0036]若所述赠送礼物为3D特效礼物，则触发所述客户端将所述礼物模型渲染到球体中心上，执行所述播放脚本对所绑定的礼物模型进行程序脚本控制，使得所述礼物模型呈现出相应的动作。
[0037]第二方面，本申请提供一种元宇宙直播视频处理装置，包括：
[0038]全景合成模块，用于获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流；
[0039]视频裁剪模块，用于对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；
[0040]视频渲染模块，用于将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头；
[0041]视频播放模块，用于获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。
[0042]第三方面，本申请提供一种元宇宙直播系统，包括：主播端、观众端以及直播服务器；其中，所述主播端和观众端分别通过网络连接至所述直播服务器；
[0043]所述直播服务器，用于接收主播端上传的视频画面数据，执行所述的元宇宙直播视频处理方法的步骤，以及将直播视频数据转发至观众端；
[0044]所述主播端，用于接入直播间的主播，采集主播的视频画面并上传至直播服务器；
[0045]所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种元宇宙直播视频处理方法，其特征在于，包括：获取元宇宙直播间的主播全景视频流，将所述主播全景视频流与背景图像进行合成得到直播全景视频流；对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流；将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头；获取客户端的设备类型，根据所述设备类型选择相应的实时直播视频流下发至所述客户端，并使得所述客户端以所述虚拟摄像头的视觉角度对所述实时直播视频流进行渲染。2.根据权利要求1所述的元宇宙直播视频处理方法，其特征在于，在获取元宇宙直播间的主播全景视频流之前，还包括：通过主播端控制摄像机拍摄直播视频画面的角度，使得所述主播位于直播视频画面的中心区域；对所述直播视频画面的人物畸变进行优化处理得到所述主播全景视频流。3.根据权利要求1所述的元宇宙直播视频处理方法，其特征在于，将所述主播全景视频流与背景图像进行合成得到直播全景视频流，包括：利用绿幕抠像技术从所述主播全景视频流中抠出主播图像；将所述主播图像添加到背景图像的预定位置处，对所述主播图像进行参数设置，并将所述主播图像与所述背景图像进行合成得到直播全景视频流。4.根据权利要求1所述的元宇宙直播视频处理方法，其特征在于，所述适配设备类型包括3D全景播放设备和2D平面播放设备；所述对所述直播全景视频流进行裁剪获取多路与预设的适配设备类型相匹配的实时直播视频流，包括：以直播全景视频流中的主播图像为中心，从面向摄像机中心位置上裁剪出至少一种视角范围的3D全景视频流和至少一种宽高比的长方形的2D平面视频流。5.根据权利要求4所述的元宇宙直播视频处理方法，其特征在于，所述3D全景视频流包括：360度全景视频流、180度全景视频流和90度全景视频流。6.根据权利要求4所述的元宇宙直播视频处理方法，其特征在于，将所述实时直播视频流渲染在透明球体上，并在所述透明球体的内部设置虚拟摄像头，包括：若所述实时直播视频流为360度全景视频流，则将所述实时直播视频流渲染在透明球体的内面上，并在透明球体的中心位置处设置虚拟摄像头；若所述实时直播视频流为180度全景视频流，则将所述实时直播视频流渲染在透明半球的内面上，并在透明半球的中心偏内位置处设置虚拟摄像头；若所述实时直播视频流为90度全景视频流，则将所述实时直播视频流渲染在1/4透明球体的内面上，并在1/4透明球体的中心靠近内面位置处设置虚拟摄像头。7.根据权利要求1所述的元宇宙直播视频处理方法，其特征在于，还包括：获取现场麦克风采集到的实时声音；其中，所述实时声音包括人物声音、背景音乐和/或物体声音；对所述实时声音的音效进行调整，并进行声音降噪和混响处理得到音频数据，添加到
所述主播全景视频流中。8.根据权利要求1
‑
7任一项所述的元宇宙直播视频处理方法，其特征在于，还包括：当元宇...

【专利技术属性】
技术研发人员：曾衍，
申请(专利权)人：广州方硅信息技术有限公司，
类型：发明
国别省市：