自动调整关键帧量化参数和帧率的系统和方法技术方案

本发明专利技术提供了一种新的实时视频通信系统和方法，该方法通过自动调整关键帧的量化参数值来提高屏幕共享的清晰度。这种调整是基于网络带宽的状况进行的。当网络带宽情况变差时，关键帧的量化参数值会从H.264编码器计算的值的基础上进一步减小，以获得更合适的量化参数值，从而实现理想的屏幕共享的用户体验。并且新的实时视频通信系统和方法也会基于当前的量化参数值来调整屏幕共享的帧率，以实现更理想的屏幕共享用户体验。想的屏幕共享用户体验。想的屏幕共享用户体验。

【技术实现步骤摘要】
自动调整关键帧量化参数和帧率的系统和方法
相关申请的交叉引用
[0001]无


[0002]本专利技术总体上涉及实时视频通信领域，具体而言，本专利技术涉及用于屏幕共享的实时视频通信的系统和方法。更具体而言，本专利技术涉及一种自动调整量化参数和帧率的实时屏幕共享系统。

技术介绍

[0003]在实时视频通信系统中，参与通信的电子设备(如笔记本电脑、台式电脑、平板电脑、智能手机等)之间进行音频和视频数据的交换。实时视频通信系统通常遵循工业标准，如H.264。H.264(又称为高级视频编码，或MPEG
‑
4第10部分：高级视频编码)是基于预测、变换、量化和熵编码的视频压缩标准，由国际电信联盟(ITU)和国际标准化组织(ISO)/国际电工委员会(IEC)的运动图像专家组(MPEG)联合开发。同时第16研究组的ITU
‑
T视频编码专家组(VCEG)和ISO/IEC JTC1运动图像专家组也将其进一步标准化。
[0004]在实时视频通信会话(如视频会议)期间，每个参与通信的电子设备使用麦克风设备捕获音频数据，并使用照相机设备或者屏幕捕获程序捕获视频数据。接收到的音频数据通过扬声器设备播放，而接收到的视频数据会在显示设备上播放。人们希望实时视频通信系统可以实时地交换数据，并且其中的延时可以忽略不计，从而获得理想的用户体验。实时视频通信系统的实时性对于用户而言是至关重要的。
[0005]在实时视频通信会话期间，参与者经常需要共享某位参与者的计算机屏幕。例如，将第一台设备的显示屏上显示的内容发送到并显示在其他参与设备的显示屏。屏幕共享是实时视频通信中的常用功能。屏幕共享有其独特的特征。屏幕显示通常包含文本、图画线条和其他图形元素，因此对于观看者(即，除了共享其计算机屏幕的人之外的其它参与者)而言，需要比照相机所捕获的视频帧具有更高的清晰度。比如说，我们不希望在接收设备上显示的共享内容是断断续续的。又如，我们也不希望看到显示字体是模糊的。此外，共享屏幕的内容通常不会经常发生变动，这与相机视图有所不同。因此，共享屏幕向其他参与设备发送的视频数据量一般来说少于同等分辨率和帧率的相机视频通话。
[0006]因此，需要一种新的系统和方法，根据屏幕共享的特性来提高屏幕共享中屏幕内容的清晰度和锐利度。另外，实时视频通信系统的基础通信网络(如Wi
‑
Fi连接和互联网)的状况也会实时地改变。网络带宽都在不断变化。因此，需要一种全新的系统和方法根据网络状况自动重新配置共享的屏幕编码组件，从而获得高屏幕清晰度。另外该技术也应能满足屏幕共享中低延迟和带宽的需求。

技术实现思路

[0007]总体而言，本专利技术基于各个实施方案，提供了一种在实时视频通信系统中，用于根
据网络带宽状况在屏幕共享中自动调整量化参数的方法。该方法通过实时视频通信系统的电子设备执行。该方法包括：通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享关键帧量化参数设置初始值。实时视频通信系统电子设备包括处理器；可有效耦合至该处理器的存储器；可有效耦合至该处理器的输入接口；可有效耦合至该处理器的音频输出接口；可有效耦合至该处理器的的网络接口；可有效耦合至该处理器的视频输出接口；可有效耦合至该处理器的视频输入接口；可有效耦合至该处理器的音频输入接口；以及可由该处理器运行的专用实时视频通信软件应用程序。该方法还包括：确定网络连接的当前带宽量。实时视频通信系统电子设备可通过网络连接与实时视频通信系统中的一组电子设备在视频输出接口上共享显示屏幕。该方法还包括：从视频编码器处获取屏幕共享的关键帧的量化参数；采用专用实时视频通信软件应用程序，调整上述获得的量化参数值，从而获得调整后的量化参数值；使用调整后的量化参数值对屏幕共享的关键帧进行编码；将该关键帧设置为其他非关键帧的长期参考帧；通过网络连接将该编码后的关键帧发送至该组电子设备。例如在一个实施方案中，屏幕共享的关键帧是瞬时解码器刷新帧；关键帧量化参数为瞬时解码器刷新帧的量化参数；视频编码器是H.264编码器。在一个实施方案中，当带宽量大于800kbps时，专用软件应用程序会通过将已知的量化参数值减2来调整已知的量化参数值，以创建调整后的量化参数值。当带宽量在800kbps至400kbps之间时，将已知的量化参数值减4；当带宽量在400kbps和200kbps之间时，将已知的量化参数值减6；当带宽量低于200kbps时，将已知的量化参数值减8。
[0008]此外，根据本专利技术还提供了，一种用于在实时视频通信系统中根据量化参数在屏幕共享中自动调整帧率的方法。该方法通过实时视频通信系统的电子设备执行。该方法包括：通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享的编码设置初始帧率值。实时视频通信系统电子设备包括处理器；可有效耦合至该处理器的存储器；可有效耦合至该处理器的输入接口；可有效耦合至该处理器的音频输出接口；可有效耦合至该处理器的网络接口；可有效耦合至该处理器的视频输出接口；可有效耦合至该处理器的视频输入接口；可有效耦合至该处理器的音频输入接口；以及可由该处理器运行的专用实时视频通信软件应用程序。该方法还包括：获取屏幕共享最近发送的一帧的量化参数值；为量化参数值划分一组区间；根据量化参数值的区间确定其对应的一组帧率调整值；根据当前量化参数值，在该组帧率调整值中选取对应的一个帧率调整值；根据当前帧率和帧率调整值确定新的帧率；根据新的帧率决定下一帧的发送时间；将新的帧率设置为当前帧率；对下一帧进行编码；然后将下一帧发送到实时视频通信系统中的一组电子设备中。例如在一个实施方案中，当前的量化参数值从视频编码器获取。另外，所述视频编码器是H.264编码器。在一个实施方案中，该组量化参数值的区间包括从零到二十、二十到二十五、二十五到三十、三十到三十五以及三十五到五十的区间；而与该组量化参数值的区间相对应的一组帧率调整数值包括，帧率调整值1、帧率调整值1/2、帧率调整值0、帧率调整值
‑
1/2，以及帧率调整值
‑
1。
附图说明
[0009]本专利技术或申请文件包含至少一个彩色附图。专利局将根据需求并在支付相关费用的情况下，提供带有彩色附图的本专利技术或专利申请的副本。
[0010]在权利要求书中将会特别指出本专利技术的功能特征，同时也可通过参考以下附图及其相关描述来更好地理解本专利技术本身以及本专利技术的构成和使用方式。构成本专利技术一部分的全部附图中，其中相同的附图标记表示相同的部件：
[0011]图1是根据本专利技术实施例所绘制的实时视频通信系统的说明性框图。
[0012]图2是根据本专利技术实施例所绘制的实时视频通信设备的说明性框图。
[0013]图3是根据本专利技术实施例所绘制的在实时视频通信会话中，进行屏幕共享的一系列显示屏数据帧的说明性框图。
[0014]图4是根据本专利技术实施例所绘制的实时视频通信设备根据通信网络的状况自动调整屏幕共享的关键帧的QP值(量化参数值)这一过程本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在实时视频通信中根据网络带宽状况在屏幕共享中自动调整量化参数的方法，所述方法通过实时视频通信系统的电子设备执行，包括：1)通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享序列的关键帧的量化参数设置一个初始值，所述实时视频通信系统电子设备包括：i)处理器；ii)可有效耦合至所述处理器的存储器；iii)可有效耦合至所述处理器的输入接口；iv)可有效耦合至所述处理器的音频输出接口；v)可有效耦合至所述处理器的网络接口；vi)可有效耦合至所述处理器的视频输出接口；vii)可有效耦合至所述处理器的视频输入接口；viii)可有效耦合至所述处理器的音频输入接口；以及ix)可由所述处理器运行的所述专用实时视频通信软件的应用程序；2)确定网络连接的当前带宽量，使所述专用实时视频通信系统电子设备通过网络连接，与实时视频通信系统中的一组电子设备在视频输出接口处进行屏幕共享；3)从视频编码器获取关键帧的量化参数值；4)根据下列条件调整所述已知量化参数值，从而获得调整后的量化参数值：i)当带宽量大于800kbps时，将已知的量化参数值减2；ii)当带宽量在800kbps至400kbps之间时，将已知的量化参数值减4；iii)当带宽量在400kbps和200kbps之间时，将已知的量化参数值减6；以及iv)当带宽量低于200kbps时，将已知的量化参数值减8；5)使用调整后的量化参数值对所述屏幕共享的关键帧进行编码；以及6)通过网络连接将编码后的所述屏幕共享的关键帧发送至所述的一组电子设备。2.根据权利要求1所述的方法，其中：1)所述屏幕共享的关键帧是瞬时解码器刷新帧；2)所述关键帧量化参数是瞬时解码器刷新帧的量化参数；或3)所述视频编码器是H.264编码器。3.一种在实时视频通信中根据网络带宽状况在屏幕共享中自动调整量化参数的方法，所述方法通过实时视频通信系统的电子设备执行，包括：1)通过运行在实时视频通信系统电子设备上的专用实时视频通信软件应用程序，为屏幕共享的关键帧的量化参数设置一个初始值，所述实时视频通信系统电子设备包括：i)处理器；ii)可有效耦合至所述处理器的存储器；iii)可有效耦合至所述处理器的输入接口；iv)可有效耦合至所述处理器的音频输出接口；v)可有效耦合至所述处理器的网络接口；vi)可有效耦合至所述处理器的视频输出接口；vii)可有效耦合至所述处理器的视频输入接口；viii)可有效耦合至所述处理器的音频输入接口；以及
ix)可由上述处理器执行的上述专用实时视频通信软件应用程序；2)确定网络连接的当前带宽量，使所述专用实时视频通信系统电子设备通过网络连接，与实时视频通信系统中的一组电子设备在视频输出接口处进行屏幕共享；3)从视频编码器获取所述屏幕共享关键帧的量化参数值；4)通过所述专用实时视频...

【专利技术属性】
技术研发人员：李江，张哲源，
申请(专利权)人：达音网络科技上海有限公司，
类型：发明
国别省市：