具有广义屏幕描述的屏幕内容共享系统的框架技术方案

描述了一种具有广义屏幕描述的屏幕内容共享系统的框架。在一种方法中，将屏幕内容更新消息从客户端设备发送到控制面，其中，在所述控制面上，所述客户端设备期望与远程设备共享其屏幕内容。所述远程设备发送指示对接收所述更新感兴趣的消息。所述控制面随后从所述客户端设备检索具体描述。可基于所述远程设备的计算上下文将所述具体描述修剪为更兼容的格式。在一些实施例中，将所述具体描述发送给所述远程设备，且所述具体描述包括屏幕描述和内容描述。对共享屏幕内容进行描述，之后从业务路由器中检索所述内容。基于所述屏幕描述和从所述业务路由器中检索出的所述内容组装所述共享屏幕内容。

【技术实现步骤摘要】
【国外来华专利技术】相关申请案交叉申请本专利技术要求于2013年10月11日递交的、专利技术名称为“具有广义屏幕描述的屏幕共享系统的框架”的第61/890,140号临时专利申请案的在先申请优先权，其专利技术人与本专利技术的专利技术人相同。以上参考的临时申请案的全部内容以引用的方式并入本文本。
本专利技术大体涉及远程屏幕内容共享领域。更具体地说，本专利技术涉及在多个设备间提供具有广义描述文件的屏幕内容共享。
技术介绍
远程端主机间的屏幕内容共享是为人们克服空间障碍并实现各种任务的一项重要工具，包括但不限于世界各地用户间的访问、远程控制和实时协作。为支持远程屏幕内容共享，已开发出许多现有技术和产品。它们基本上可以分成两大类：共享数据以在远程显示器上进行绘制和连续捕捉VGA(视频图形阵列)流或者将屏幕作为一系列像素图进行捕捉。考虑下面的场景：Alice想与Bob共享她的当前屏幕，屏幕上显示的是名为“HelloWorld.ppt”的幻灯片文件的第一张幻灯片。她可以通过网络将该文件以及指示当前页码的消息发送给Bob。之后，Bob可以通过播放所述文件的指定页来呈现Alice的屏幕。这一场景中，Alice通过共享内容数据和辅助信息共享其屏幕内容。这种方法有效消耗了网络带宽。但这对参与者的操作系统和应用程序安装有严格的要求。在本例中，如果Bob没有合适的软件打开幻灯片文件，他就无法呈现Alice的屏幕内容。一种可选的方法是连续共享捕捉到的像素图。在本示例场景中，Alice将其屏幕作为像素阵列进行捕捉，并将一系列像素图发送给Bob，Bob随后像播放视频一样呈现这些像素图。与共享数据相比，这一方法的软件要求较灵活。但这还是会占用大量的网络资源，并且可能会降低显示的清晰度。考虑下面的情况：Alice想与Bob共享她全屏播放视频的当前屏幕。若她直接共享捕捉到的屏幕像素图，则会大量消耗Alice的上行带宽。或者，Alice可以在共享像素图之前将其进行压缩，从而减少带宽消耗，但编码和解码期间视频的分辨率和质量会降低。具体地，若Alice的屏幕上播放的视频来自网站，如YouTube，那么Alice设备的路由会给Alice的计算资源和网络资源增加不必要的负载。一般而言，不考虑屏幕内容而捕捉整个屏幕会导致屏幕内容共享机制效率低，因为没有保证适合各种屏幕内容的统一的编码和压缩方法。考虑这样一种情况：远程参与者共享屏幕内容，屏幕上是包含一段文字和视频的网页。直接发送该文本比将该屏幕作为帧进行捕捉并发送该帧的开销要小。同时，与共享原始视频文件相比，使用屏幕捕捉机制的视频清晰度降低。此外，若视频为网络资源，屏幕内容共享发送器的迂回会增加带宽消耗和传输时延。在参与者间发送原始对象和呈现命令是共享屏幕内容最省时的机制。微软远程桌面协议(简称MSRDP)使用MS图形设备接口(简称GDI)、重定向文本文件、音频、视频、鼠标移动和其它文件对屏幕内容进行重建。但需要在MSWindows或Linux系统上建立RDP服务器。有了苹果Airplay的支持，苹果电视可以串流播放来自iPhone、iPad和其他设备的视频和音频。然而，特定情况下需要使用比如Airplay的设备。为应用于更广泛的情境，许多屏幕内容共享机制和系统选择捕捉从端主机到终端的显示信号。例如，NCast捕捉VGA流，将捕捉到的流作为视频流进行编码并在接收器侧播放。NCast以固定速率捕捉屏幕内容。VNC使用远程帧缓冲协议(简称RFB)将屏幕内容作为一系列像素图更新进行捕捉。
技术实现思路
为理解屏幕、屏幕上内容对象以及内容对象之间的关系，要认真研究显示属性和内容。一个目标是以一般格式描述屏幕内容，所述格式可以在具有不同应用程序和其他计算上下文的不同操作系统中读取和呈现。通过使用抽象的屏幕描述，具有不同能力和上下文的参与者可以重播同一共享屏幕内容。此外，他们可以在会话期间灵活订阅屏幕内容对象，并修剪描述从而只播放感兴趣的屏幕内容。用于发布、传输和呈现共享屏幕内容的自适应屏幕内容共享框架也已经设计出来。该框架由四个组件构成：端主机上运行的应用程序、控制面、业务面和内容面。共享屏幕内容被建模为一棵树，其由许多内容对象构成。此外，树中节点的子节点包含在该节点所表示的内容对象中。在一描述的实施例中，该树中的每个节点均由屏幕中的屏幕内容对象映射而来。两个屏幕内容对象间的包含关系在该树中表现为父子关系。树的根是包含屏幕上任何其他内容对象的屏幕内容对象的桌面。在一种方法中，将更新消息从客户端设备发送到控制面，其中，在所述控制面上，所述客户端设备期望与远程设备共享屏幕内容。所述远程设备发送指示对接收所述更新感兴趣的消息。所述控制面随后从所述客户端设备检索具体描述。可基于所述远程设备的计算上下文将所述具体描述修剪为更兼容的格式。在一些实施例中，将所述具体描述发送给所述远程设备，且所述具体描述包括屏幕描述和内容描述。对共享屏幕的内容进行了描述，且随后从业务路由器中检索出所述内容。基于所述屏幕描述和从所述业务路由器中检索出的所述内容组装所述共享屏幕内容。另一方式描述了一种系统，包括：控制面，用于接收涉及屏幕内容更新的更新消息，所述更新消息包括来自第一客户端设备的发布者ID，并通知第二客户端设备可更新屏幕内容；耦合到所述控制面的业务面，用于接收来自所述第二客户端设备的兴趣消息，所述兴趣消息指示期望接收所述屏幕内容更新；耦合到所述业务面的数据面，用于存储和/或检索将所述屏幕内容更新呈现到所述第二客户端设备所需要的内容；耦合到所述控制面、所述业务面和所述数据面的屏幕内容共享控制服务器，用于请求和接收来自所述第一客户端设备的所述屏幕内容更新的具体描述，并将所述具体描述发送给所述第二客户端设备。基于所述具体描述在所述第二客户端设备上呈现共享屏幕内容。附图说明附图包含在并且构成本说明书的一部分，示出了本专利技术的各种实施例，并且与描述内容一起用于解释本专利技术的原则：图1为可实现本专利技术实施例的示例性计算系统的图；图2为本专利技术实施例提供的基于微软WindowsOS进行共享的示例性屏幕及相关联的树形结构描述的图；图3为本专利技术实施例提供的图2中屏幕内容的示例性描述的伪代码；图4A为本专利技术实施例提供的打开新项目时屏幕内容更新的示例性描述的伪代码；图4B为本专利技术实施例提供的对象的特权设置变化时屏幕内容更新的示例性描述的伪代码；图4C为本专利技术实施例提供本文档来自技高网...

【技术保护点】
一种设备与远程设备共享屏幕上屏幕内容的方法，其特征在于，包括：在控制面接收来自第二客户端设备的兴趣消息；在所述控制面接收来自第一客户端的更新消息的具体描述，其中，所述具体描述包括屏幕描述和内容描述；将所述具体描述发送给所述第二客户端设备；检索来自业务路由器的内容，其中，所述内容描述中描述了所述内容；基于所述屏幕描述和从所述业务路由器中检索出的所述内容组装共享屏幕内容。

【技术特征摘要】
【国外来华专利技术】2013.10.11 US 61/890,1401.一种设备与远程设备共享屏幕上屏幕内容的方法，其特征在于，包括：
在控制面接收来自第二客户端设备的兴趣消息；
在所述控制面接收来自第一客户端的更新消息的具体描述，其中，所述
具体描述包括屏幕描述和内容描述；
将所述具体描述发送给所述第二客户端设备；
检索来自业务路由器的内容，其中，所述内容描述中描述了所述内容；
基于所述屏幕描述和从所述业务路由器中检索出的所述内容组装共享屏
幕内容。
2.根据权利要求1所述的方法，其特征在于，还包括：
在所述第二客户端设备呈现所述共享屏幕内容。
3.根据权利要求2所述的方法，其特征在于，还包括：
基于所述第二客户端设备的计算上下文修剪所述具体描述。
4.根据权利要求2所述的方法，其特征在于，还包括：在所述第一客户
端设备收集鼠标移动；
将所述鼠标移动作为屏幕内容更新发送到所述控制面；
将所述鼠标移动集成到所述共享屏幕内容。
5.根据权利要求2所述的方法，其特征在于，组装共享屏幕内容由屏幕
内容共享控制服务器来执行。
6.根据权利要求1所述的方法，其特征在于，还包括：
捕捉所述共享屏幕内容的多个像素图，并将所述像素图作为流式视频发
送给所述第二客户端设备。
7.一种计算机可用介质，其特征在于，具有体现在其中的计算机可读程
序代码，所述计算机可读程序代码用于使计算机系统执行与远程设备共享设
备屏幕内容的方法，包括
在控制面接收来自第二客户端设备的兴趣消息；
在所述控制面接收来自第一客户端的更新消息的具体描述，其中，所述
具体描述包括屏幕描述和内容描述；
将所述具体描述发送给所述第二客户端设备；
检索来自业务路由器的内容，其中，所述内容描述中描述了所述内容；
基于所述屏幕描述和从所述业务路由器中检索出的所述内容组装共享屏
幕内容。
8.根据权利要求7所述的计算机可用介质，其特征在于，还包括：在所
述第二客户端设备呈现所述共享屏幕内容。
9.根据权利要求8所述的计算机可用介质，其特征在于，还包括：
基于所述第二客户端设备的计算上下文修剪所述具体描述。
10.根据权利...

【专利技术属性】
技术研发人员：王新，关昕杰，王国强，于浩平，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东;44