一种基于视频流调帧率的桌面共享系统及其桌面共享方法技术方案

本发明专利技术目的是提供一种基于视频流调帧率的桌面共享系统及桌面共享方法，一种基于视频流调帧率的桌面共享系统包括视频解码模块、桌面渲染模块、桌面抓取模块、拼接模块、调帧模块、视频编码模块，其中：所述视频解码模块，用于负责来网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)，并把解码后视频YUV数据发送给桌面渲染模块与拼接模块；所述桌面渲染模块，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块提供视频图像A的位置与大小；本发明专利技术能够有效地解决并修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。

【技术实现步骤摘要】
一种基于视频流调帧率的桌面共享系统及其桌面共享方法
本专利技术涉及信息处理
，具体涉及一种基于视频流调帧率的桌面共享系统及桌面共享方法。
技术介绍
参考图1所示，当前桌面共享的实现模式：桌面抓取模块(1)获取桌面图像，视频编码模块(2)对桌面图像进行压缩后发送给远端桌面显示(3)，远端桌面显示(3)对压缩数据解码显示。这里存在一个问题，桌面包如含类似视频监控摄像头的高帧率视频图像，视频监控摄像头的视频帧率较高(如每秒60帧图像)，但桌面抓取模块(1)获取图像为低帧率，一般为每秒20帧图像，导致远端桌面显示(3)看到桌面中的摄像头图像也为低帧率(如每秒20帧图像)，最终显示效果不佳。
技术实现思路
本专利技术目的是提供一种基于视频流调帧率的桌面共享系统及桌面共享方法，解决并修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。为实现上述目的，本专利技术提供如下技术方案：一种基于视频流调帧率的桌面共享系统，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：所述视频解码模块(1)，用于负责来网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)，并把解码后视频YUV数据发送给桌面渲染模块(2)与拼接模块(4)；所述桌面渲染模块(2)，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块(3)提供视频图像A的位置与大小；所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率(如每秒20帧图像)的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；所述拼接模块(4)，用于把低帧率(如每秒20帧图像)桌面图像与高帧率(如每秒60帧图像)视频图像A拼接合并(方法参考步骤7)；所述调帧模块(5)，用于控制(方法参考步骤8)视频编码GOP与I帧生成时间，去除拼接模块(4)复制桌面图像而带来数据冗余，减低传输带宽；所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率(如每秒60帧图像)。本专利技术还提供一种基于视频流调帧率的桌面共享方法，包括如下步骤：步骤(1)、视频解码模块(1)解码网络视频流(如网络监控摄像头)或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)的视频图像A的YUV视频数据；步骤(2)、视频解码模块(1)并把解码视频图像A的YUV视频数据带上时间戳t1分别复制分发给桌面渲染模块(2)与拼接模块(4)；步骤(3)、桌面渲染模块(2)接收视频图像A的YUV视频数据，按照视频图像A的位置(图像左上角坐标)与大小(图像图像长与宽)在电脑桌面的渲染显示,桌面渲染模块(2)保存时间戳t1为当前渲染时间戳t1’；步骤(4)、桌面抓取模块(3)通过抓取桌面获取低帧率(如每秒20帧图像)的桌面图像Z的RGB视频数据；桌面抓取模块(3)从桌面渲染模块(2)获取视频图像A的位置(图像左上角坐标)与大小(图像图像长与宽)与当前渲染时间戳t1’；步骤(5)、桌面抓取模块(3)把桌面图像Z的YUV视频数据带上与视频图像A位置与大小与时间戳t’发送给拼接模块(4)；步骤(6)、拼接模块(4)接收到视频图像A的YUV视频数据与时间戳t’，保存到拼接模块(4)的缓存h1；步骤(7)、拼接模块(4)拼接桌面图像Z与视频图像A的方法(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1(图像左上角坐标)与大小s1(图像长与宽)与时间戳t1’；(7.2)、拼接模块(4)按照时间戳小与视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；(7.2)、拼接模块(4)视频图像A的视频数据队列去第一个YUV视频数据(7.3)、拼接模块(4)根据视频图像A的大小s1(图像长与宽)对视频图像A的YUV视频数据进缩放，得到视频图像A的叠加YUV视频数据；(7.4)、拼接模块(4)根据视频图像A的位置p1(图像左上角坐标)使用视频图像A的叠加YUV视频数据对桌面图像Z的YUV视频数据进行替换，得到桌面图像Z的YUV视频数据d1的编号为1(编号视频图像A的视频数据队列的顺序编号)合并图像的YUV视频数据；拼接模块(4)按照当前时间生成合并时间戳，拼接模块(4)把合并图像的YUV视频数据与合并时间戳发送给视频编码模块(6)，拼接模块(4)把合并图像的合并时间戳与编号发送调帧模块(5)；(7.5)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’.(7.6)、拼接模块(4)依次取视频图像A的视频数据队列的YUV视频数据，重复步骤(7.3)～步骤(7.5)，生成以桌面图像Z的YUV视频数据d1为底图的其他图像(合并图像的编号为2,3,4...)；(7.7)、拼接模块(4)获取桌面图像Z的YUV视频数据d2带上与视频图像A位置p2(图像左上角坐标)与大小s2(图像长与宽)与时间戳t2’，则重复步骤(7.1)～步骤(7.6)；生成以桌面图像Z的YUV视频数据d2为底图的所有图像；步骤(8)、调帧模块(5)的调帧方法(8.1)、调帧模块(5)根据统计得到桌面图像Z的帧率A(如每秒20帧图像)与视频图像A的帧率B(如每秒60帧图像)，计算帧率A与帧率B的最小公约数C(如为60)，最小公约数C为桌面图像Z与视频图像A不同帧率拼接重复周期，设置最小公约数C为GOP值(I帧出现周期)；(8.2)、调帧模块(5)设置视频编码模块(6)GOP为最小公约数C，设置视频编码模块(6)起始时间戳；起始时间戳对应视频编码帧类型为I帧，起始时间戳取值合并图像的编号为1的时间戳；这样I帧为桌面图像Z在步骤(7.4)生成第一张合并图像，桌面图像Z复制而生成其他合并图像为P帧，P帧为两张画面差异点，所以桌面图像Z复制而带来数据冗余也被消除，从而减少传输带宽；(8.3)、调帧模块(5)发现桌面图像Z的帧率或视频图像A的帧率发生变化，则重新进行步骤(8.1)～步骤(8.2)；步骤(9)、视频编码模块(6)接收到拼接模块(4)的合并图像的YUV视频数据与合并时间戳，保存本身缓存h2中；步骤(10)、视频编码模块(6)接到调帧模块(5)的GOP值与起始时间戳；视频编码模块(6)把GOP值设置到视频编码中；视频编码模块(6)根据起始时间戳在缓存h2找到合并图像对应的YUV视频数据，开始视频编码；步骤(11)、视频编码模块(6)最终编码输出标准视频压缩数据流，但帧率提高为高帧率(如每秒60帧图像)。与现有技术相比，本专利技术的有益效果是：采用本专利技术的技术方案，能够有效地修正桌面共享帧率不高问题，按照桌面的高帧率视频图像内容来提高帧率，同时消除冗余数据控制码率，最终提升桌面共享的品质。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本文档来自技高网...

【技术保护点】
1.一种基于视频流调帧率的桌面共享系统，其特征在于，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：所述视频解码模块(1)，用于负责来网络视频流或本地视频文件解码进行解码得到高帧率，并把解码后视频YUV数据发送给桌面渲染模块(2)与拼接模块(4)；所述桌面渲染模块(2)，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块(3)提供视频图像A的位置与大小；所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；所述拼接模块(4)，用于把低帧率桌面图像与高帧率视频图像A拼接合并；所述调帧模块(5)，用于控制视频编码GOP与I帧生成时间，去除拼接模块(4)复制桌面图像而带来数据冗余，减低传输带宽；所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率。

【技术特征摘要】
1.一种基于视频流调帧率的桌面共享系统，其特征在于，包括视频解码模块(1)、桌面渲染模块(2)、桌面抓取模块(3)、拼接模块(4)、调帧模块(5)、视频编码模块(6)，其中：所述视频解码模块(1)，用于负责来网络视频流或本地视频文件解码进行解码得到高帧率，并把解码后视频YUV数据发送给桌面渲染模块(2)与拼接模块(4)；所述桌面渲染模块(2)，用于负责把视频图像A渲染显示到电脑桌面上，并为桌面抓取模块(3)提供视频图像A的位置与大小；所述桌面抓取模块(3)，用于抓取电脑桌面获取低帧率的桌面图像，并把桌面图像与视频图像A的位置与大小发给拼接模块(4)；所述拼接模块(4)，用于把低帧率桌面图像与高帧率视频图像A拼接合并；所述调帧模块(5)，用于控制视频编码GOP与I帧生成时间，去除拼接模块(4)复制桌面图像而带来数据冗余，减低传输带宽；所述视频编码模块(6)，用于负责拼接模块(4)输出视频进行压缩编码，最终输出标准视频压缩数据流，并将帧率提高为高帧率。2.一种基于视频流调帧率的桌面共享方法，其特征在于，包括如下步骤：步骤(1)、视频解码模块(1)解码网络视频流或本地视频文件解码进行解码得到高帧率(如每秒60帧图像)的视频图像A的YUV视频数据；步骤(2)、视频解码模块(1)并把解码视频图像A的YUV视频数据带上时间戳t1分别复制分发给桌面渲染模块(2)与拼接模块(4)；步骤(3)、桌面渲染模块(2)接收视频图像A的YUV视频数据，按照视频图像A的位置与大小在电脑桌面的渲染显示,桌面渲染模块(2)保存时间戳t1为当前渲染时间戳t1’；步骤(4)、桌面抓取模块(3)通过抓取桌面获取低帧率的桌面图像Z的RGB视频数据；桌面抓取模块(3)从桌面渲染模块(2)获取视频图像A的位置与大小与当前渲染时间戳t1’；步骤(5)、桌面抓取模块(3)把桌面图像Z的YUV视频数据带上与视频图像A位置与大小与时间戳t’发送给拼接模块(4)；步骤(6)、拼接模块(4)接收到视频图像A的YUV视频数据与时间戳t’，保存到拼接模块(4)的缓存h1；步骤(7)、拼接模块(4)拼接桌面图像Z与视频图像A的方法(7.1)、拼接模块(4)获取桌面图像Z的YUV视频数据d1带上与视频图像A位置p1与大小s1与时间戳t1’；(7.2)、拼接模块(4)按照时间戳小与视频图像A时间戳t1’条件从缓存h1获取视频图像A的视频数据队列；(7.2)、拼接模块(4)视频图像A的视频数据队列去第一个YUV视频数据(7.3)、拼接...

【专利技术属性】
技术研发人员：金国庆，陈尚武，
申请(专利权)人：杭州叙简科技股份有限公司，
类型：发明
国别省市：浙江,33