单屏幕多窗口低延迟编码方法和相关装置制造方法及图纸

本发明专利技术公开了一种单屏幕多窗口低延迟编码方法，通过采集当前桌面屏幕图像，桌面屏幕图像中包括至少一个用户的子桌面窗口图像，对获取的当前桌面屏幕图像进行硬件编码，得到编码桌面屏幕图像，根据每一个子桌面窗口图像在桌面屏幕上的位置信息，修改编码桌面屏幕图像的SPS数据段的crop参数，并将修改后的编码数据发送给对应的用户，即修改编码后的输出码流的参数，使得每个用户只能看到自己的子桌面窗口图像，实现了在服务器端采集一次图像，进行一次编码，然后在客户端根据编码后码流的参数，只显示对应的子窗口图像，尽可能的降低系统在服务端的采集和编码延迟，通过网络带宽和分散在多处的客户端的解码能力来换取服务器端的编码低延迟效果。

【技术实现步骤摘要】
单屏幕多窗口低延迟编码方法和相关装置
本专利技术涉及计算机软件领域，尤其是一种单屏幕多窗口低延迟编码方法和相关装置。
技术介绍
云服务器系统能够支持多个用户同时运行不同的程序，即为了降低单路程序的运营成本，会将多路程序运行在同一台服务主机上，例如多个用户同时在一台云服务器主机上运行不同的游戏，这样在采集屏幕图像的时候就会有多个游戏窗口同时被采集下来，在这种情况下，为了实现每个用户只看到各自的游戏操作窗口，通常采用的方法有：(1)分多次采集不同的游戏窗口，然后多次编码，把多路码流分别发送给不同的用户；(2)采集一次屏幕，根据用户区域分别裁减出多个游戏窗口，然后分别编码分别发送给不同的用户，但是这两种方法的编码方式效率较低，而且多次采集或者多次编码导致的编码延迟较高，因此提出一种适用于单屏幕多窗口，编码延迟较低的编码方法是很有必要的。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的目的是提供一种适用于单屏幕多窗口的编码延迟较低的编码方法和相关装置。本专利技术所采用的技术方案是：第一方面，本专利技术提供一种单屏幕多窗口低延迟编码方法，包括：采集当前桌面屏幕图像，所述当前桌面屏幕图像中包括至少一个用户的子桌面窗口图像；对所述当前桌面屏幕图像进行硬件编码，得到编码桌面屏幕图像；根据每一个所述的子桌面窗口图像在桌面屏幕上的位置信息，修改所述编码桌面屏幕图像的SPS数据段的crop参数，并将修改后的编码数据发送给对应的用户。进一步地，所述修改所述编码桌面屏幕图像的SPS数据段的crop参数的修改方式包括：直接修改参数或替换SPS数据段；所述直接修改参数指：修改所述编码桌面屏幕图像的SPS数据段中的crop参数；所述替换SPS数据段具体是：根据当前桌面屏幕图像分辨率和每一个所述的子桌面窗口图像在当前桌面屏幕上的位置信息，预先编码SPS数据段，替换所述编码桌面屏幕图像中对应的SPS数据段。进一步地，编码方式为H.264编码方式或H.265编码方式。第二方面，本专利技术还提供一种单屏幕多窗口低延迟编码装置，包括：采集桌面屏幕模块，用于采集当前桌面屏幕图像，所述当前桌面屏幕图像中包括至少一个用户的子桌面窗口图像；桌面屏幕编码模块，用于对所述当前桌面屏幕图像进行硬件编码，得到编码桌面屏幕图像；编码数据分发模块，用于根据每一个所述的子桌面窗口图像在当前桌面屏幕上的位置信息，修改所述编码桌面屏幕图像的SPS数据段的crop参数，并将修改后的编码数据发送给对应的用户。进一步地，所述修改所述编码桌面屏幕图像的SPS数据段的crop参数，还包括：根据当前桌面屏幕图像分辨率和每一个所述的子桌面窗口图像在当前桌面屏幕上的位置信息，预先编码SPS数据段，替换所述编码桌面屏幕图像中对应的SPS数据段。进一步地，编码方式为H.264编码方式或H.265编码方式。第三方面，本专利技术提供一种单屏幕多窗口低延迟编码设备，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器；其中，所述处理器通过调用所述存储器中存储的计算机程序，用于执行如第一方面任一项所述的方法。第四方面，本专利技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如第一方面任一项所述的方法。本专利技术的有益效果是：本专利技术通过采集当前桌面屏幕图像，桌面屏幕图像中包括至少一个用户的子桌面窗口图像，对获取的当前桌面屏幕图像进行硬件编码，得到编码桌面屏幕图像，根据每一个子桌面窗口图像在桌面屏幕上的位置信息，修改编码桌面屏幕图像的SPS数据段的crop参数，并将修改后的编码数据发送给对应的用户，即修改编码后的输出码流的参数，使得每个用户只能看到自己的子桌面窗口图像，实现了在服务器端采集一次图像，进行一次编码，然后在客户端根据编码后码流的参数，只显示对应的子窗口图像，尽可能的降低系统在服务端的采集和编码延迟，通过网络带宽和分散在多处的客户端的解码能力来换取服务器端的编码低延迟效果。附图说明图1是单屏幕多用户的一个具体使用场景示意图；图2是本专利技术中单屏幕多窗口低延迟编码方法的一具体实施例的实现流程图；图3是本专利技术中单屏幕多窗口低延迟编码方法的一具体实施例的使用场景中子桌面窗口示意图；图4是本专利技术中单屏幕多窗口低延迟编码方法的一具体实施例的流程示意图；图5是本专利技术中单屏幕多窗口低延迟编码装置的一具体实施例的结构框图。具体实施方式为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对照附图说明本专利技术的具体实施方式。显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。除非另有定义，本文所使用的所有的技术和科学术语与属于本专利技术的
的技术人员通常理解的含义相同。本文中在本专利技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本专利技术。实施例一：如图1所示，为单屏幕多用户的一个具体使用场景示意图，以云游戏为例，多个用户通过连接云服务器，在云服务器上运行各自不同的游戏，互不干扰，如图中可见，两个游戏窗口在同一个屏幕上显示，云服务器需要将不同用户的游戏窗口图像发送给对应的用户。现有的实现单屏幕多用户图像编码一般采用的方法有：(1)分多次采集不同的游戏窗口，然后多次编码，把多路码流分别发送给不同的用户；(2)采集一次屏幕，根据用户区域分别裁减出多个游戏窗口，然后分别编码分别发送给不同的用户。但是当屏幕采集程序从显存中读取数据时，分多次进行采集，即使每次读取的数据量较小，由于这种方法不能采用效率高的采集屏幕方法，会导致多次屏幕采集的耗时大于一次采集屏幕的耗时，同样对于GPU硬件编码核来说，进行多次小分辨率的独立编码，其耗时比进行一次大分辨率的图像编码耗时要多很多，因此对于屏幕编码，最有效的方式是将显存数据直接到编码器，采集一次编码一次，但这种方式编码后，码流中会出现多个用户的游戏窗口，导致用户1从编码码流中看到用户2的游戏窗口，因此本专利技术通过实施例一的一种单屏幕多窗口低延迟编码方法来避免这样情况。图2为本专利技术实施例提供的一种单屏幕多窗口低延迟编码方法的实现流程图，如图2所示，该方法可以包括以下步骤：S1：采集当前桌面屏幕图像，其中当前桌面屏幕图像中包括至少一个用户的子桌面窗口图像，即单屏幕多用户的使用场景。S2：对采集的当前桌面屏幕图像进行硬件编码，得到编码后的编码桌面屏幕图像。S3：修改编码后码流的参数，并将修改后的编码数据发送给对应的用户，具体是：根据每一个子桌面窗口图像在桌面屏幕上的位置信息，修改编码桌面屏幕图像的SPS数据段的crop参数，并将修改后的编码数据发送给对应的用户。本实施例采用H.264编码方式或H.265编码方式，根据H.264/H.265等国际标准，编码信息的SPS数据段均包含crop信息部分，具体如下所示。1)H.264中SPS数据段中crop信息部分参数为：frame_cropping_flagframe_crop_left_offsetframe_crop_right_offsetframe_crop_top_offsetframe_crop_bottom_本文档来自技高网...

【技术保护点】
1.一种单屏幕多窗口低延迟编码方法，其特征在于，包括：采集当前桌面屏幕图像，所述当前桌面屏幕图像中包括至少一个用户的子桌面窗口图像；对所述当前桌面屏幕图像进行硬件编码，得到编码桌面屏幕图像；根据每一个所述的子桌面窗口图像在桌面屏幕上的位置信息，修改所述编码桌面屏幕图像的SPS数据段的crop参数，并将修改后的编码数据发送给对应的用户。

【技术特征摘要】
1.一种单屏幕多窗口低延迟编码方法，其特征在于，包括：采集当前桌面屏幕图像，所述当前桌面屏幕图像中包括至少一个用户的子桌面窗口图像；对所述当前桌面屏幕图像进行硬件编码，得到编码桌面屏幕图像；根据每一个所述的子桌面窗口图像在桌面屏幕上的位置信息，修改所述编码桌面屏幕图像的SPS数据段的crop参数，并将修改后的编码数据发送给对应的用户。2.根据权利要求1所述的一种单屏幕多窗口低延迟编码方法，其特征在于，所述修改所述编码桌面屏幕图像的SPS数据段的crop参数的修改方式包括：直接修改参数或替换SPS数据段；所述直接修改参数指：修改所述编码桌面屏幕图像的SPS数据段中的crop参数；所述替换SPS数据段具体是：根据当前桌面屏幕图像分辨率和每一个所述的子桌面窗口图像在当前桌面屏幕上的位置信息，预先编码SPS数据段，替换所述编码桌面屏幕图像中对应的SPS数据段。3.根据权利要求2任一项所述的一种单屏幕多窗口低延迟编码方法，其特征在于，编码方式为H.264编码方式或H.265编码方式。4.一种单屏幕多窗口低延迟编码装置，其特征在于，包括：采集桌面屏幕模块，用于采集当前桌面屏幕图像，所述当前桌面屏幕图像中包括至少一个用户的子桌面窗口...

【专利技术属性】
技术研发人员：谭建军，王曜，梁峰，
申请(专利权)人：深圳威尔视觉传媒有限公司，
类型：发明
国别省市：广东,44