处理图像的更新以从第一终端传输至第二终端制造技术

用于处理图像的更新以从第一终端传输至第二终端以用在所述第一终端与所述第二终端之间的屏幕共享中的方法、终端、网络和计算机程序产品，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上。所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素。确定在所述第一终端处所述图像的多个子片块已改变，并且选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块。对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。

【技术实现步骤摘要】
【国外来华专利技术】处理图像的更新以从第一终端传输至第二终端的方法、设备和系统
本专利技术涉及对图像进行更新。特别地，本专利技术涉及对第一终端处的图像的改变进行编码以传输至第二终端。
技术介绍
当第一计算终端处的图像改变时，可以生成随后可以用于形成改变后的图像的数据。生成表示已对图像进行的改变的数据可以是有益的，而不是生成表示整个改变后的图像的数据，其中，原始图像和表示对该原始图像进行的改变的数据可以一起用于形成改变后的图像。在要将对图像的改变从第一终端传输至第二终端时生成表示对图像的改变的数据可以特别有用。在终端之间传输数据通常存在带宽约束，因此，减少在终端之间传输的数据量可以是有益的。因此，传输表示对图像的改变的数据而不是表示整个改变后的图像的数据可以是有益的，这是由于需要传输更少数据。这样，可以将第一终端处的图像的更新传输至第二终端。将对图像进行的改变从第一终端传输至第二终端有用的一个示例是当实现屏幕共享时。屏幕共享是对两个终端之间的通信来说有用的技术。可以将在第一终端（或“共享者”终端）处的第一屏幕上显示的图像传输至第二终端（或“观看者”终端），并将其显示在第二终端处的第二屏幕上。作为示例，当第一终端处的第一用户（“共享者”）尝试向第二终端处的第二用户（“观看者”）说明他们在其屏幕上看到的内容时，屏幕共享可以特别有用，这是由于利用屏幕共享，观看者可以看到在共享者的屏幕上显示的图像。当共享者终端处的图像改变时，就将这些改变传输至观看者终端，并且可以相应地更新在观看者的屏幕上显示的图像，以反映这些改变。当图像的仅特定区域在共享者终端处改变时，就将表示需要更新的那些区域的屏幕矩形从共享者终端传输至观看者终端。这样，当图像的仅特定区域需要更新时，不必更新整个图像。在虚拟网络计算系统中在服务器终端与客户端终端之间传输图像的改变时使用的示例协议是RFB（远程帧缓冲）协议（如“TheRFBProtocol”byTristanRichardson,RealVNCLtd,Version3.8中所描述）。协议的显示侧基于单个图形基元：“将像素数据的矩形放在给定的x,y位置处”。图像元素或“像素”是可控制的图像的最小单位。可以使用用于对像素数据进行编码的不同编码方案。矩形的序列形成表示从一个有效帧缓冲状态至另一有效帧缓冲状态的改变的帧缓冲更新。可以用于在RFB协议中对矩形进行编码的一种类型的编码是RRE编码（上升和运行长度编码）。在RRE编码中，将要编码的像素数据的矩形被划分为矩形子区（“子矩形”），这些矩形子区中的每一个由单个值的像素构成。然后，以表示矩形的具有单个像素值的部分的子矩形的方式将矩形的像素数据发送至客户端终端。可以用于在RFB协议中对矩形进行编码的另一种类型的编码是Hextile编码，其为RRE思想的变型。在Hextile编码中，将要编码的像素数据的每个矩形被分割为大小为16×16像素的片块。每个片块是作为原始像素数据而被编码的，或者作为RRE编码的变型而被编码的。然后，以16×16片块的方式将矩形的像素数据发送至客户端终端。其他类型的编码可以用于在RFB协议中对矩形进行编码，例如：ZRLE编码（Zlib运行长度编码），其中，zlib数据在被压缩时表示64×64像素的片块（与Hextile编码的16×16片块类似），并且其中，ZRLE编码利用可仅为3字节长的压缩像素。可在RFB协议中使用的其他类型的编码是原始（Raw）和复制矩形（CopyRect），如本领域技术人员所明了的（以及如“TheRFBProtocol”byTristanRichardson,RealVNCLtd,Version3.8中所描述）。对观看者的屏幕上的图像的更新而言，随着共享者的屏幕上的图像改变而实时执行通常是优选的。这在例如共享者和观看者同时参与屏幕共享和通信会话（例如呼叫或即时消息收发会话）时是特别优选的。
技术实现思路
根据本专利技术的第一方面，提供了一种处理图像的更新以从第一终端传输至第二终端以用在所述第一终端与所述第二终端之间的屏幕共享中的方法，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述方法包括：确定在所述第一终端处所述图像的多个子片块已改变；选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。根据本专利技术的第二方面，提供了一种终端，用于将图像的更新传输至另一终端以用在所述终端与所述另一终端之间的屏幕共享中，其中，在所述终端处的第一显示器上显示的图像的更新也被显示在所述另一终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述终端包括：确定装置，用于确定所述图像的多个子片块已改变；选择装置，用于选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及编码装置，用于对所述片块进行编码以传输至第二终端，所述编码装置被配置为确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变在所述另一终端处更新所述图像，其中，所述片块的配置是灵活的，使得由所述编码装置在所述片块中编码的邻接子片块的数目能够变化。根据本专利技术的第三方面，提供了一种网络，包括：根据本专利技术的第二方面的终端；以及另一终端，其中，所述另一终端包括：用于接收编码后的片块的装置；以及用于根据对所述改变后的子片块的改变在所述另一终端处更新所述图像的装置。根据本专利技术的第四方面，提供了一种包括计算机可读指令的计算机程序产品，所述计算机可读指令用于被第一终端处的计算机处理装置执行以将图像的更新从所述第一终端传输至第二终端，以用在所述第一终端与所述第二终端之间的屏幕共享中，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述指令包括用于进行以下操作的指令：确定在所述第一终端处所述图像的多个子片块已改变；选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块；以及对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。在优选实施例中，形成片块的步骤包括：根据改变后的子片块在所述阵列中的布置，确定所述片块的配置。由于片块的配置是灵活的，因此可以改变片块的配置，以便以高效的方式包括更新后的子片块。特别地，片块的配置可以被适配为适合改变后的子片块的特定布置。可以使用多于一个片块来对改变后的子片块的特定布置进行编码。例如，在一些情形中，在两个不同片块中对两个不同的改变后的子片块进行编码可以是优选的，而在其他情形中，在公共片块中本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.06.30 GB 1011002.11.一种处理图像的更新以从第一终端传输至第二终端以用在所述第一终端与所述第二终端之间的屏幕共享中的方法，其中，在所述第一终端处的第一显示器上显示的图像的更新也被显示在所述第二终端处的第二显示器上，所述图像被划分为邻接子片块的阵列，每个子片块包括所述图像的多于一个图像元素，所述方法包括：确定在所述第一终端处所述图像的多个子片块已改变；通过以下步骤选择所述改变后的子片块中的至少一个和至少一个邻接子片块，以形成片块：向改变后的子片块分配相应权重；以及在聚类技术和降维技术之一中使用所述权重来确定所述片块的配置；以及对所述片块进行编码以传输至所述第二终端，所述编码确定标识在所述片块中包括哪些子片块的子片块数据，使得能够根据所述改变后的子片块的改变而在所述第二终端处更新所述图像，其中，所述片块的配置是灵活的，使得在所述片块中编码的邻接子片块的数目能够变化。2.根据权利要求1所述的方法，其中，所述形成片块包括：根据改变后的子片块在所述阵列中的布置，确定所述片块的配置。3.根据权利要求2所述的方法，其中，所述片块的配置是使用用于对在所述片块中对改变后的子片块的编码进行优化的算法来确定的。4.根据权利要求2所述的方法，其中，所述片块的配置是根据对所述片块进行编码的复杂度来确定的。5.根据权利要求2至4中任一项所述的方法，其中，所述片块的配置是根据编码后的片块中的总数据量来确定的。6.根据权利要求2至4中任一项所述的方法，其中，所述片块的配置是根据编码后的片块的片块首部开销来确定的。7.根据权利要求2至4中任一项所述的方法，其中，所述片块的配置是根据对所述片块进行压缩的压缩效率来确定的。8.根据权利要求2至4中任一项所述的方法，其中，所述形成片块包括：针对所述改变后的子片块的每个邻接区域创建初步片块；以及将所述初步片块中的至少两个一起成组，以形成所述片块。9.根据权利要求1所述的方法，还包括：根据未改变的子片块与所述改变后的子片块的接近度，向未改变的子片块分配权重。10.根据权利要求2至4中任一项所述的方法，其中，所述至少一个邻接子片块不论是否已改变都在所述片块被编码。11.根据权利要求2至4中任一项所述的方法，其中，所述对所述片块进行编码包括：对所述片块进行压缩。12.根据权利要求11所述的方法，其中，所述片块是使用JPEG压缩和PNG压缩之一来压缩的。13.根据权利要求2至4中任一项所述的方法，其中，所述确定所述图像的多个子片块已改变的步骤包括：确定自上次针对所述图像形成了片块起子片块已改变。14.根据权利要求2至4中任一项所述的方法，其中，所述确定所述图像的多个子片块已改变的步骤包括：确定自上次将片块传输至所述第二终端起子片块已改变。15.根据权利要求2至4中任一项所述的方法，还包括：将编码后的片块从所述第一终端直接传输至所述第二终端。16.根据权利要求2至4中任一项所述的方法，还包括：将编码后的片块从所述第一终端传输至服务器。17.根据权利要求16所述的方法，其中，所述服务器将编码后的片块传输至所述第二终端。18.根据权利要求16所述的方法，其中，所述服务器确定是否将编码后的片块传输至所述第二终端。19.根据权利要求2至4中任一项所述的方法，...

【专利技术属性】
技术研发人员：F布拉希斯，R列丁斯，J林德布隆，
申请(专利权)人：斯凯普公司，
类型：
国别省市：