用于向客户端提供图形用户界面的服务器，以及客户端制造技术

本发明专利技术涉及一种用于通过通信网络向客户端提供图形用户界面的服务器(100)，所述图形用户界面包括图形用户界面元素，所述图形用户界面元素由元素形状和元素文本组成，所述元素形状通过元素形状数据表示，所述元素文本通过元素文本数据表示；所述服务器(100)包括用于将所述元素形状数据编码为视频数据的编码器(101)，用于检测与所述图形用户界面内的所述图形用户界面元素有关的变化的检测器(103)，以及用于通过所述通信网络分别传输所述视频数据和所述元素文本数据的通信接口(105)，其中所述元素文本数据在检测到与所述图形用户界面元素有关的所述变化后传输以向所述客户端提供所述图形用户界面。此外，本发明专利技术涉及一种客户端。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及计算机图形领域，尤其涉及图形用户界面的呈现。
技术介绍
众多应用主要关注的是通过通信网络提供图形用户界面。例如在将多媒体内容从服务器流式传输到客户端时提供图形用户界面。图形用户界面可包括不同的图形用户界面元素，这些元素可允许用户控制客户端的功能。图形用户界面常被称为远程图形用户界面，这是因为图形用户界面的呈现通常由服务器远程进行。因此，可通过通信网络将呈现的图形用户界面从服务器传送到客户端。服务器处图形用户界面的呈现通常包括在服务器的帧缓冲器内处理整个图形用户界面。然后，可编码帧缓冲器的内容以将图形用户界面传送给客户端。为此，通常在服务器处使用硬件加速器。然而，在连接客户端的数量不断增长的情况下，普通技术的可扩展性不足。此外，在服务器处呈现整个图形用户界面会导致编码效率降低。
技术实现思路
本专利技术的目的是提供一种用于通过通信网络从服务器向客户端提供图形用户界面的高效概念。该目的由独立权利要求的特征来实现。其它实施形式在从属权利要求、具体说明和附图中显而易见。本专利技术基于如下发现：可以通过分别提供图形用户界面元素的元素形状和元素文本来更高效地提供所述图形用户界面内的所述图形用户界面元素。所述元素形状通过视频数据表示并由所述服务器编码。所述元素文本通过元素文本数据表示，所述元素文本数据在检测到与所述图形用户界面元素有关的变化后与所述视频数据分别从所述服务器传输到所述客户端。所以，所述视频数据和所述元素文本数据在客户端接收并组合。因此，可实现所述图形用户界面的高压缩比和编码效率。根据第一方面，本专利技术涉及一种用于通过通信网络向客户端提供图形用户界面的服务器，所述图形用户界面包括图形用户界面元素，所述图形用户界面元素由元素形状和元素文本组成，所述元素形状通过元素形状数据表示，所述元素文本通过元素文本数据表示；所述服务器包括用于将所述元素形状数据编码为视频数据的编码器，用于检测与所述图形用户界面内的所述图形用户界面元素有关的变化的检测器，以及用于通过所述通信网络分别传输所述视频数据和所述元素文本数据的通信接口，其中所述元素文本数据在检测到与所述图形用户界面元素有关的所述变化后传输以向所述客户端提供所述图形用户界面。这样，可实现一种用于通过通信网络从服务器向客户端提供图形用户界面的高效概念。所述编码器可用于编码所述服务器的帧缓冲器，其中所述帧缓冲器包括所述元素形状而不包括所述元素文本。所述帧缓冲器可为虚拟帧缓冲器。所述编码器可用于使用MPEG-4、ITU-TH.264或ITU-TH.265等视频编解码器将所述元素形状数据编码为视频数据。所述检测器可用于通过监控所述图形用户界面元素来检测与所述图形用户界面元素有关的所述变化。所述图形用户界面元素的所述元素形状和所述元素文本可由应用分别提供。所述通信接口可用于通过所述通信网络建立所述服务器和所述客户端之间的通信链路。所述通信链路可基于TCP(TransmissionControlProtocol，传输控制协议)协议和/或UDP(UserDatagramProtocol，用户数据报协议)协议。所述通信网络可为互联网。所述视频数据可作为视频流通过所述通信网络传输。可使用MPEG-4、ITU-TH.264或ITU-TH.265等视频编解码器压缩所述视频数据。可使用MPEG-TS或MPEG-DASH等音频和/或视频流协议通过所述通信网络将所述视频数据传输给所述客户端。所述检测器可用于在所述图形用户界面元素被复制到所述服务器的所述帧缓冲器之前检测与所述图形用户界面内的所述图形用户界面元素有关的所述变化。所述检测器可用于阻止所述元素文本在所述服务器的所述帧缓冲器中呈现和/或禁止将所述呈现的元素文本复制到所述服务器的所述帧缓冲器中。这样，所述检测器可用于在所述元素文本被复制到所述服务器的所述帧缓冲器之前通过所述服务器阻拦所述元素文本的呈现。在根据如上所述第一方面的所述服务器的第一实施形式中，所述图形用户界面还包括视频元素，所述视频元素通过其它视频数据表示，其中所述通信接口用于通过所述通信网络分别传输所述其它视频数据、所述视频数据和所述元素文本数据。这样，可向所述客户端提供所述图形用户界面的视频元素。在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第二实施形式中，所述视频数据包括指示所述视频数据的有效期的第一定时表，所述元素文本数据包括指示所述元素文本数据的有效期的第二定时表。这样，可在客户端实现所述视频数据和所述元素文本数据的及时同步。所述第一定时表或所述第二定时表可包括时间戳。所述第一定时表或所述第二定时表可指示表示为日期、小时、分钟、秒和/或毫秒的有效期。所述视频数据的所述第一定时表可以是MPEG元数据的一部分。所述元素文本数据的所述第二定时表可通过时间文本标记语言等标记语言定义。在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第三实施形式中，所述编码器用于基于所述元素形状数据生成若干视频帧以将所述元素形状数据编码为所述视频数据，所述若干视频帧用于组成所述视频数据。这样，可有效地编码所述元素形状数据。因为所述元素文本数据可能不是所述视频数据的一部分，所以可实现有效编码。在根据如上所述第一方面或根据所述第一方面的任一前述实施形式的所述服务器的第四实施形式中，所述服务器包括文本编码器，用于将所述元素文本编码为纯文本数据和布局数据，所述布局数据指示文本大小、文本字体或所述元素文本在所述图形用户界面元素内的文本路径，所述纯文本数据和所述布局数据组成所述元素文本数据。这样，可有效地编码所述元素文本。所述文本编码器可用于基于矢量图形格式或矢量图形表示将所述元素文本编码为纯文本数据和布局数据。所述文本编码器可用于根据开放矢量图形(OpenVectorGraphics，OpenVG)规范、可缩放矢量图形(ScalableVectorGraphics，SVG)规范、级联样式表(CascadingStyleSheets，CSS)规范或附录(Postscript，PS)规范将所述元素文本编码为纯文本数据和布局数据。由所述纯文本数据和所述布局数据组成的所述元素文本数据可使用数据流协议等通过所述通信网络作为数据流传输给所述客户端。所述检测器可用于基于所述矢量图形形式或矢量图形表示对于所述纯文本数据和/或所述布局数据阻拦和/或解释所述元素本文档来自技高网...

【技术保护点】
一种用于通过通信网络(301)向客户端(200)提供图形用户界面(600)的服务器(100)，其特征在于，所述图形用户界面(600)包括图形用户界面元素(601)，所述图形用户界面元素(601)由元素形状(603)和元素文本(605)组成，所述元素形状(603)通过元素形状数据表示，所述元素文本(605)通过元素文本数据表示，所述服务器(100)包括：编码器(101)，用于将所述元素形状数据编码为视频数据；检测器(103)，用于检测与所述图形用户界面(600)内的所述图形用户界面元素(601)有关的变化；以及通信接口(105)，用于通过所述通信网络(301)分别传输所述视频数据和所述元素文本数据，所述元素文本数据在检测到与所述图形用户界面元素(601)有关的所述变化后传输以向所述客户端(200)提供所述图形用户界面(600)。

【技术特征摘要】
【国外来华专利技术】1.一种用于通过通信网络(301)向客户端(200)提供图形用户界
面(600)的服务器(100)，其特征在于，所述图形用户界面(600)包
括图形用户界面元素(601)，所述图形用户界面元素(601)由元素形状
(603)和元素文本(605)组成，所述元素形状(603)通过元素形状数
据表示，所述元素文本(605)通过元素文本数据表示，所述服务器(100)
包括：
编码器(101)，用于将所述元素形状数据编码为视频数据；
检测器(103)，用于检测与所述图形用户界面(600)内的所述图形
用户界面元素(601)有关的变化；以及
通信接口(105)，用于通过所述通信网络(301)分别传输所述视频
数据和所述元素文本数据，所述元素文本数据在检测到与所述图形用户界
面元素(601)有关的所述变化后传输以向所述客户端(200)提供所述图
形用户界面(600)。
2.根据权利要求1所述的服务器(100)，其特征在于，所述图形用
户界面(600)还包括视频元素(607)，所述视频元素(607)通过其它
视频数据表示，以及所述通信接口(105)用于通过所述通信网络(301)
分别传输所述其它视频数据、所述视频数据和所述元素文本数据。
3.根据任一前述权利要求所述的服务器(100)，其特征在于，所述
视频数据包括指示所述视频数据的有效期的第一定时表，以及所述元素文
本数据包括指示所述元素文本数据的有效期的第二定时表。
4.根据任一前述权利要求所述的服务器(100)，其特征在于，所述
编码器(101)用于基于所述元素形状数据生成若干视频帧以将所述元素
形状数据编码为所述视频数据，所述若干视频帧用于组成所述视频数据。
5.根据任一前述权利要求所述的服务器(100)，其特征在于，所述
服务器(100)包括用于将所述元素文本(605)编码为纯文本数据和布局

\t数据的文本编码器，所述布局数据指示文本大小、文本字体或所述元素文
本(605)在所述图形用户界面元素(601)内的文本路径，所述纯文本数
据和所述布局数据组成所述元素文本数据。
6.根据权利要求1至5所述的服务器(100)，其特征在于，所述服
务器(100)包括用于将所述元素文本(605)编码为图像数据的图像编码
器，所述图像数据表示所述图形用户界面元素(601)的所述元素文本(605)
的图像，所述图像数据组成所述元素文本数据。
7.根据任一前述权利要求所述的服务器(100)，其特征在于，所述
通信接口(105)用于接收请求信号，所述请求信号请求与所述图形用户
界面(600)内的所述图形用户界面元素(601)有关的变化，以及所述通
信接口(105)用于在接收所述请求信号后通过所述通信网络(301)分别
传输所述视频数据和所述元素文本数据。
8.根据任一前述权利要求所述的服务器(100)，其特征在于，所述
图形用户界面元素(601)包括窗口元素、文本框元素、按钮元素、图标
元素、列表框元素、菜单元素或轮播菜单元素。
9.根据任一前述权利要求所述的服务器(100)，其特征在于，与所
述图形用户界面元素(601)有关的所述变化包括所述图形用户界面(600)
内的所述图形用户界面元素(601)的重新布置、所述图形用户界面(600)
内的所述图形用户界面元素(601)的缩放或所述图形用户界面(600)内
的所述图形用户界面元素(601)的所述元素文本(605)的修改。
10.一种用于通过通信网络(301)从服务器(100)获取图形用户界
面(600)的客户端(200)，其特征在于，所述图形用户界面(600)包
括图形用户界面元素(601)，所述图形用户界面元素(...

【专利技术属性】
技术研发人员：金皮埃尔·莫拉尔，埃兰·甘佩尔，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44