视频数据处理方法及视频会议终端技术

本发明专利技术公开了一种视频数据处理方法及视频会议终端。其中视频数据处理方法包括：摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到显卡的内部存储器中。以及显卡的GPU根据显示帧率从内部存储器读取采集到的原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至显卡的帧缓冲器中并输出至显示设备；同时GPU根据应用软件设置的编码参数从显卡的内部存储器读取采集到的原始图像帧，利用GPU或者显卡内的硬件加速器进行编码并得到压缩码流，此码流可以经由显卡与CPU的接口传到CPU，并且由CPU发送到网络远端或者后台。借此，本发明专利技术的视频数据处理方法，显卡提供基于压缩流的视频输入和输出接口，减少了开发工作量，缩短了开发周期。

【技术实现步骤摘要】
视频数据处理方法及视频会议终端
本专利技术是关于网络视频会议
，特别是关于一种视频数据处理方法及视频会议终端。
技术介绍
随着网络技术的快速发展和线上视频沟通需求的持续增长，网络视频会议被越来越多的用户所接触和接受。使用更高视频分辨率和帧率来获得更加清晰和流畅的视频体验效果，也成为重要的视频会议功能和性能指标。一般网络视频会议终端包括视频采集、编码、传输、解码、显示等主要模块；音频采集、前端处理、编码、传输、解码、后端处理、播放等主要功能模块。其中视频采集一般通过USB接口或HDMI接口来读取摄像头的原始图像帧，使用CPU或者GPU(或者专用编解码卡)对采集的图像进行编码，然后经过网络和后台服务器传输到指定的与会用户；同时该终端经过网络从后台服务器获取远端某用户的视频码流，使用CPU或者GPU(或者专用编解码卡)把视频码流解码成无压缩图像(YUV/RGB格式)，然后送到GPU进行渲染显示。随着视频分辨率提高到4K和8K，视频会议终端需要处理的数据量也成倍增长：例如相同帧率下，4K视频比1080P视频的数据量扩大4倍，8K视本文档来自技高网...

【技术保护点】
1.一种视频数据处理方法，其特征在于，包括：/n摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到所述显卡的内部存储器中；以及/n所述显卡的GPU根据显示帧率从所述内部存储器读取采集到的所述原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至所述显卡的帧缓冲器中并输出至显示设备；/n其中，所述GPU还能够根据应用软件设置的编码参数从所述显卡的所述内部存储器中读取采集到的所述原始图像的所述视频帧，并利用所述GPU或所述显卡内的硬件加速器进行编码并得到压缩码流，所述压缩码流能够经由所述显卡与CPU的接口传输到所述CPU，并且由所述CPU发送到网络远端或后台。/n

【技术特征摘要】
1.一种视频数据处理方法，其特征在于，包括：
摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到所述显卡的内部存储器中；以及
所述显卡的GPU根据显示帧率从所述内部存储器读取采集到的所述原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至所述显卡的帧缓冲器中并输出至显示设备；
其中，所述GPU还能够根据应用软件设置的编码参数从所述显卡的所述内部存储器中读取采集到的所述原始图像的所述视频帧，并利用所述GPU或所述显卡内的硬件加速器进行编码并得到压缩码流，所述压缩码流能够经由所述显卡与CPU的接口传输到所述CPU，并且由所述CPU发送到网络远端或后台。


2.如权利要求1所述的视频数据处理方法，其特征在于，所述采集模块与所述GPU之间为异步处理，且使用FIFO队列或环形BUFFER机制存储接收到的视频帧。


3.如权利要求1所述的视频数据处理方法，其特征在于，当采集的视频规格与渲染显示的视频规格不一致时，则所述GPU完成规格转换。


4.一种视频数据处理方法，其特征在于，包括：
摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到所述显卡的内部存储器中；
所述显卡的GPU根据显示帧率从所述内部存储器中读取采集到的的所述原始图像的视频帧并完成多层SVC编码，且将所述SVC编码传输给CPU；
所述CPU将所述SVC编码打包成RTP数据包，并将所述RTP数据包发送至远端服务器；
所述远端服务器将所述RTP数据包发送至用户终端设备。


5.一种视频数据处理方法，其特征在于，包括：
CPU根据视频显示分屏数量，创建相同数量的视频解码器，并把各个所述视频显示分屏与所述解码器建立本地索引表；
所述CPU接收到远程终端的视频码流后，根据所述远程终端在视频布局中的分屏位置，在所述本地索引表中找到对应的视频解码器索引，并通过PCI-E接口把所述视频码流和所述解码器索引的值拷贝至显卡的GPU中；
所述GPU根据所述解码器索引的值找到对应的视频解码器对所述视频码流进行解码，并把解码后的YUV数据拷贝至所述显卡的内部存储器中，存入FIFO队列或环形BUFFER；
所述GPU根据显示设备的输出帧率，从所述FIFO队列或环形BUFFER中读取一帧所述YUV数据进行渲染，且把渲染后的RGB数据存储至所述显卡的帧缓冲器中并输出至显示设备。


6.一种视频会议终端，与摄像头和显示设备通信连接，其特征在于，所述视频会议终端包括：
显卡，所述显卡内集成有采集模块、内部存储器、帧缓冲器和GPU；
其中，所述摄像头与所述采集模块通信连接；
其中，所述显示设备与所述帧缓冲器通信连接；
其中，所述采集模块与所述内部存储器通信连接，所述内部存储器与所述GPU通信连接，所述GPU与所述帧缓冲器通信连接；
其中，所述采集模块通过HDMI接口接收所述摄像头采集到的原始图像，并...

【专利技术属性】
技术研发人员：王耀臣，冯文澜，
申请(专利权)人：随锐科技集团股份有限公司，
类型：发明
国别省市：北京;11