一种虚拟桌面的桌面内容传输方法、系统及相关组件技术方案

本申请公开了一种虚拟桌面的桌面内容传输方法，所述桌面内容传输方法包括获取目标帧桌面内容中的视频区域信息和脏域信息；当根据所述视频区域信息和所述脏域信息确定所述目标帧桌面内容的显示类型为视频类桌面内容时，将所述脏域信息对应的内容进行视频编码得到待解码桌面内容；将所述待解码桌面内容和所述脏域信息传输至客户端。本方法能够使服务端传输的桌面内容减少对客户端的资源占用，提高客户端的解码速率。本申请还公开了一种虚拟桌面的桌面内容传输系统、一种虚拟桌面的桌面内容显示方法及系统、一种虚拟桌面服务端、一种虚拟桌面客户端、一种计算机可读存储介质及一种虚拟桌面系统，具有以上有益效果。

A method, system and related components of desktop content transfer for virtual desktop

【技术实现步骤摘要】
一种虚拟桌面的桌面内容传输方法、系统及相关组件
本专利技术涉及虚拟桌面架构
，特别涉及一种虚拟桌面的桌面内容传输方法及系统、一种虚拟桌面的桌面内容显示方法及系统、一种虚拟桌面服务端、一种虚拟桌面客户端、一种计算机可读存储介质及一种虚拟桌面系统。
技术介绍
虚拟桌面是基于服务器的计算模型，是一种支持企业级实现桌面系统的远程动态访问与数据中心统一托管的技术。虚拟桌面技术可以让用户通过任何设备、在任何时间、任何地点访问在网络中属于个人的桌面系统。虚拟桌面中一项关键的技术就是需要通过网络传输桌面内容到瘦客户端。为了更好地提高带宽利用率来传输桌面内容，现有技术中通常采用多种压缩算法对屏幕内容进行编码压缩来减少数据传输发送量，以取得码流与图像质量之间的最佳平衡。但是，上述现有技术的方法针对于视频类场景而言，需要频繁大量的缓存匹配以及CPU内存拷贝的操作，将会导致瘦客户端解码速率满足不了高帧率的视频场景，视频会出现卡顿且有明显的延时感，严重影响了用户体验。因此，如何使服务端传输的桌面内容减少对客户端的资源占用，提高客户端的解码速率是本领域技术人员目前需要解决的技术问题。
技术实现思路
本申请的目的是提供一种虚拟桌面的桌面内容传输方法及系统、一种虚拟桌面的桌面内容显示方法及系统、一种虚拟桌面服务端、一种虚拟桌面客户端、一种计算机可读存储介质及一种虚拟桌面系统，能够使服务端传输的桌面内容减少对客户端的资源占用，提高客户端的解码速率。为解决上述技术问题，本申请提供一种虚拟桌面的桌面内容传输方法，该桌面内容传输方法包括：获取目标帧桌面内容中的视频区域信息和脏域信息；根据视频区域信息和脏域信息确定目标帧桌面内容的显示类型；当显示类型为视频类桌面内容时，将脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容；将待解码桌面内容和脏域信息传输至客户端，以便客户端根据脏域信息对待解码桌面内容进行解码得到桌面显示内容。可选的，根据视频区域信息和脏域信息确定目标帧桌面内容的显示类型包括：根据视频区域信息和脏域信息计算每一脏域内视频区域所占的面积比例；判断是否所有面积比例均大于预设比例；若是，则判定目标帧桌面内容的显示类型为视频类桌面内容。可选的，根据视频区域信息和脏域信息计算每一脏域内视频区域所占的面积比例包括：对脏域信息进行矩形整合操作，以使利用最少数量的矩形包围所有的脏域；根据视频区域信息和矩形整合操作后的脏域信息计算每一脏域内视频区域所占的面积比例。可选的，将脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容包括：利用宏块掩码表对目标帧桌面内容中除了脏域之外的区域进行屏蔽，并将脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容。可选的，还包括：当显示类型为非视频类桌面内容时，对脏域信息对应的目标帧桌面内容进行图文分类得到分类结果；根据分类结果判断所有脏域信息对应的目标帧桌面内容是否为自然图像类内容；若是，则将脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容；若否，则对目标帧桌面内容进行缓存区域匹配，将缓存命中的区域中拷贝缓存中对应位置的图像内容，对缓存未命中的区域进行图文分类并根据图文分类结果进行对应的压缩处理，得到待解码桌面内容。可选的，获取目标帧桌面内容中的视频区域信息包括：根据桌面内容参数通过视频流识别技术获取目标帧桌面内容中的视频区域信息；其中，桌面内容参数包括画面变化区域的频率、位置信息、自然图像成分比例和持续时间。本申请还提供了一种虚拟桌面的桌面内容显示方法，该桌面内容显示方法包括：当接收到服务端发送的待解码桌面内容和脏域信息时，对脏域信息对应的待解码桌面内容进行视频解码得到脏域解码内容；其中，待解码桌面内容由服务端对脏域信息对应的目标帧桌面内容进行视频编码得到；根据脏域信息确定目标帧的非脏域，确定目标帧的上一帧的桌面显示内容中与非脏域对应位置的复用内容；根据脏域解码内容和复用内容得到目标帧的桌面显示内容。可选的，还包括：将桌面显示内容缓存至显存中，以便执行目标帧的贴图操作。本申请还提供了一种虚拟桌面的桌面内容传输系统，该桌面内容传输系统包括：信息获取模块，用于获取目标帧桌面内容中的视频区域信息和脏域信息；显示类型确定模块，用于根据视频区域信息和脏域信息确定目标帧桌面内容的显示类型；编码模块，用于当显示类型为视频类桌面内容时，将脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容；传输模块，用于将待解码桌面内容和脏域信息传输至客户端，以便客户端根据脏域信息对待解码桌面内容进行解码得到桌面显示内容。可选的，显示类型确定模块包括：比例计算单元，用于根据视频区域信息和脏域信息计算每一脏域内视频区域所占的面积比例；判定单元，用于判断是否所有面积比例均大于预设比例；若是，则判定目标帧桌面内容的显示类型为视频类桌面内容。可选的，比例计算单元包括：整合子单元，用于对脏域信息进行矩形整合操作，以使利用最少数量的矩形包围所有的脏域；计算子单元，用于根据视频区域信息和矩形整合操作后的脏域信息计算每一脏域内视频区域所占的面积比例。可选的，编码模块具体为当显示类型为视频类桌面内容时，利用宏块掩码表对目标帧桌面内容中除了脏域之外的区域进行屏蔽，并将脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容的模块。可选的，还包括：图文分类模块，用于当显示类型为非视频类桌面内容时，对脏域信息对应的目标帧桌面内容进行图文分类得到分类结果；自然图像类内容判断模块，用于根据分类结果判断所有脏域信息对应的目标帧桌面内容是否为自然图像类内容；若是，则将脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容；若否，则对目标帧桌面内容进行缓存区域匹配，将缓存命中的区域中拷贝缓存中对应位置的图像内容，对缓存未命中的区域进行图文分类并根据图文分类结果进行对应的压缩处理，得到待解码桌面内容。可选的，信息获取模块具体为根据桌面内容参数通过视频流识别技术获取目标帧桌面内容中的视频区域信息；其中，桌面内容参数包括画面变化区域的频率、位置信息、自然图像成分比例和持续时间的模块。本申请还提供了一种虚拟桌面的桌面内容显示系统，该桌面内容显示系统包括：解码模块，用于当接收到服务端发送的待解码桌面内容和脏域信息时，对脏域信息对应的待解码桌面内容进行视频解码得到脏域解码内容；复用内容确定模块，用于根据脏域信息确定目标帧的非脏域，确定目标帧的上一帧的桌面显示内容中与非脏域对应位置的复用内容；桌面显示内容生成模块，用于根据脏域解码内容和复用内容得到目标帧的桌面显示内容。可选的，还包括：缓存模块，用于将桌面显示内容缓存至显存中，以便执行目标帧的贴图操作。本申请还提供了本文档来自技高网...

【技术保护点】
1.一种虚拟桌面的桌面内容传输方法，其特征在于，包括：/n获取目标帧桌面内容中的视频区域信息和脏域信息；/n根据所述视频区域信息和所述脏域信息确定所述目标帧桌面内容的显示类型；/n当所述显示类型为视频类桌面内容时，将所述脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容；/n将所述待解码桌面内容和所述脏域信息传输至客户端，以便所述客户端根据所述脏域信息对所述待解码桌面内容进行解码得到桌面显示内容。/n

【技术特征摘要】
1.一种虚拟桌面的桌面内容传输方法，其特征在于，包括：
获取目标帧桌面内容中的视频区域信息和脏域信息；
根据所述视频区域信息和所述脏域信息确定所述目标帧桌面内容的显示类型；
当所述显示类型为视频类桌面内容时，将所述脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容；
将所述待解码桌面内容和所述脏域信息传输至客户端，以便所述客户端根据所述脏域信息对所述待解码桌面内容进行解码得到桌面显示内容。


2.根据权利要求1所述桌面内容传输方法，其特征在于，根据所述视频区域信息和所述脏域信息确定所述目标帧桌面内容的显示类型包括：
根据所述视频区域信息和所述脏域信息计算每一脏域内视频区域所占的面积比例；
判断是否所有所述面积比例均大于预设比例；
若是，则判定所述目标帧桌面内容的显示类型为视频类桌面内容。


3.根据权利要求2所述桌面内容传输方法，其特征在于，根据所述视频区域信息和所述脏域信息计算每一脏域内视频区域所占的面积比例包括：
对所述脏域信息进行矩形整合操作，以使利用最少数量的矩形包围所有的脏域；
根据所述视频区域信息和所述矩形整合操作后的脏域信息计算每一脏域内视频区域所占的面积比例。


4.根据权利要求1至3任一项所述桌面内容传输方法，其特征在于，将所述脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容包括：
利用宏块掩码表对所述目标帧桌面内容中除了脏域之外的区域进行屏蔽，并将所述脏域信息对应的目标帧桌面内容进行视频编码得到所述待解码桌面内容。


5.根据权利要求1所述桌面内容传输方法，其特征在于，还包括：
当所述显示类型为非视频类桌面内容时，对所述脏域信息对应的目标帧桌面内容进行图文分类得到分类结果；
根据所述分类结果判断所有所述脏域信息对应的目标帧桌面内容是否为自然图像类内容；
若是，则将所述脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容；
若否，则对所述目标帧桌面内容进行缓存区域匹配，将缓存命中的区域中拷贝缓存中对应位置的图像内容，对缓存未命中的区域进行图文分类并根据图文分类结果进行对应的压缩处理，得到待解码桌面内容。


6.根据权利要求1所述桌面内容传输方法，其特征在于，获取目标帧桌面内容中的视频区域信息包括：
根据桌面内容参数通过视频流识别技术获取所述目标帧桌面内容中的视频区域信息；其中，所述桌面内容参数包括画面变化区域的频率、位置信息、自然图像成分比例和持续时间。


7.一种虚拟桌面的桌面内容显示方法，其特征在于，包括：
当接收到服务端发送的待解码桌面内容和脏域信息时，对所述脏域信息对应的待解码桌面内容进行视频解码得到脏域解码内容；其中，所述待解码桌面内容由所述服务端对所述脏域信息对应的目标帧桌面内容进行视频编码得到；
根据所述脏域信息确定目标帧的非脏域，确定所述目标帧的上一帧的桌面显示内容中与所述非脏域对应位置的复用内容；
根据所述脏域解码内容和所述复用内容得到所述目标帧的桌面显示内容。


8.根据权利要求7所述桌面内容显示方法，其特征在于，还包括：
将所述桌面显示内容缓存至显存中，以便执行所述目标帧的贴图操作。


9.一种虚拟桌面的桌面内容传输系统，其特征在于，包括：
信息获取模块，用于获取目标帧桌面内容中的视频区域信息和脏域信息；
显示类型确定模块，用于根据所述视频区域信息和所述脏域信息确定所述目标帧桌面内容的显示类型；
编码模块，用于当所述显示类型为视频类桌面内容时，将所述脏域信息对应的目标帧桌面内容进行视频编码得到待解码桌面内容；
传输模块，用于将所述待解码桌面内容和所述脏域信息传输至客户端，以便客户端根据所述脏域信息对所述待解码桌面内容进行解码得到桌面显示内容。


10.根据权利要求9所述桌面内容传输系统，其特征在于，所述显示类型确定模块包括：
比例计算单元，用于根据所述视频区域信息和所述脏域信息计算每一脏域内视频区域所占的面积比例；
判定单元，用于判断是否所有所述面积比例均大于预设比例；若是，则判定所...

【专利技术属性】
技术研发人员：刘杰洪，罗得安，黄忠强，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：广东;44