VR-AR一体机终端真人远程交互方法以及基于其的系统技术方案

本发明专利技术提供了VR‑AR一体机终端真人远程交互方法，包括如下步骤：S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；S4、云端处理服务器对音视频流进行混合压缩编码；S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流。R‑AR一体机终端真人远程交互方法以及基于其的系统解决现有技术中将AR或VR设备的语音采集功能与视频采集设备的图像采集功能相结合而导致AR或VR设备的功能不能得到充分利用的问题。

【技术实现步骤摘要】
VR-AR一体机终端真人远程交互方法以及基于其的系统
本专利技术涉及实现远程教育虚拟实景的领域，具体涉及一种VR-AR一体机终端真人远程交互方法以及基于其的系统。
技术介绍
中国专利公开了申请号为CN201810124075.9的图像数据处理方法及装置、计算机装置及可读存储介质，其中，所述图像数据处理方法包括：若将采集到的YUV编码图像转换成的RGB图像包括抠图目标，则从所述RGB图像中抠取目标图像；对所述目标图像进行编码处理得到待传输图像数据，其中，所述待传输图像数据包括YUV422平面格式数据及alpha通道数据。虽然该方法可降低现有进行虚拟场景或360度全景视频中传输图像数据的频宽，但是存在的问题：再加上，现有技术有用AR或VR技术实现模型模拟会议展开等，利用AR或VR技术可以将学生更加容易带入到学习模拟场景中，上述图像处理虽然实现了将学生真实动作图片与场景结合在一起，而一般的视频采集设备没有语音采集功能，并且视频采集设备传输图像数据的通道由于数据量较大，如果还承担音频流的传输功能导致视频采集设备传输通道负担较重，而一般AR或VR设备具有语音采集功能，但是现有技术不能将AR或V本文档来自技高网...

【技术保护点】
1.一种VR‑AR一体机终端真人远程交互方法，其特征在于，包括如下步骤：S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；S4、云端处理服务器对音视频流进行混合压缩编码；S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流；S6、一体机终端设备对混合压缩编码后的音视频流解码，得到音视频流；S7、一体机终端设备播放音视频流。

【技术特征摘要】
1.一种VR-AR一体机终端真人远程交互方法，其特征在于，包括如下步骤：S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；S4、云端处理服务器对音视频流进行混合压缩编码；S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流；S6、一体机终端设备对混合压缩编码后的音视频流解码，得到音视频流；S7、一体机终端设备播放音视频流。2.根据权利要求1所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S1中云端处理服务器从视频采集设备获取编码预处理视频流的步骤包括：S111、视频采集设备的视频采集单元采集视频流，视频采集设备的控制单元获得视频流；S112、视频采集设备的控制单元对视频中的图片进行初次扣像处理得到预处理视频流，预处理视频流中图片为通过结合深度摄像头采集的深度信息数据，得出一个人体大致形态的框图，框图中包含后续进一步运算扣像所需要的深度信息初次扣像处理；S113、视频采集设备的控制单元采用4：2：2格式图像压缩编码技术对预处理视频流仅编码，得到编码预处理视频流；S114、视频采集设备控制单元通过视频采集设备的通信单元向云端处理服务器发送编码预处理视频流。3.根据权利要求1或2所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S1中云端处理服务器从一体机终端设备获取编码音频流的步骤包括：S121、一体机终端设备上的麦克风采集音频流，一体机终端设备内的控制器获取麦克风采集的音频流；S122、一体机终端设备内的控制器采用AAC音频压缩编码技术对音频流进行编码，得到编码音频流；...

【专利技术属性】
技术研发人员：张鹏，陶澍，李锐，施仙玉，
申请(专利权)人：重庆虚拟实境科技有限公司，
类型：发明
国别省市：重庆,50