远程桌面的视频优化处理方法及装置制造方法及图纸

本发明专利技术提供一种远程桌面的视频优化处理方法，包括：在预设的多媒体视频处理工具启动初始化时，注册与视频处理单元支持的视频解码格式对应的编解码器；判断已注册编解码器对应的视频解码格式是否匹配编码格式；若匹配，则调用视频处理单元对视频帧数据进行解码；以及返回对应的文件描述符；将文件描述符传递至位图硬件加速模块的处理接口，以使位图硬件加速模块对视频解码数据进行图像变换处理。本发明专利技术还提供了一种远程桌面的视频优化处理装置。本发明专利技术解决了现有ARM‑SOC架构的嵌入式平台使用软件处理的方式进行解码及图像变换处理导致视频播放体验差的技术问题。

Optimized Video Processing Method and Device for Remote Desktop

The invention provides a video optimization processing method for a remote desktop, which includes: registering a codec corresponding to the video decoding format supported by the video processing unit when the preset multimedia video processing tool starts initialization; judging whether the video decoding format corresponding to the registered codec matches the encoding format; and judging if the video decoding format matches the encoding format; In addition, the video processing unit is called to decode the video frame data, and the corresponding file descriptor is returned. The file descriptor is transferred to the processing interface of the bitmap hardware acceleration module, so that the bitmap hardware acceleration module can transform the video decoded data into images. The invention also provides a video optimization processing device for a remote desktop. The invention solves the technical problem that the embedded platform of the existing ARM SOC architecture uses software processing to decode and image transformation processing to cause poor video playback experience.

【技术实现步骤摘要】
远程桌面的视频优化处理方法及装置
本专利技术涉及计算机视频处理
，尤其涉及一种远程桌面的视频优化处理方法及装置。
技术介绍
在计算机桌面虚拟化领域，RDP协议(RemoteDesktopProtocol，远程桌面协议)应用非常广泛，各种云计算终端都提供支持RDP协议的远程桌面客户端。对云计算终端而言，为了降低成本，终端的硬件大多采用基于ARM架构(ARM为一种处理器架构)的SOC(SystemOnChip，片上系统)处理器；在软件方面，一般采用Linux系统加上开源的FreeRDP协议栈来实现RDP客户端程序。而开源的FreeRDP协议栈实现的RDP客户端程序，存在操作延时大、视频播放卡顿、不流畅等播放体验差的问题。其中，视频播放卡顿、不流畅、视音频不同步最影响用户体验。其主要原因在于：构成RDP客户端的软件主要包括开源的FreeRDP协议栈、以及许多支持软件开发库，如支持视音频编解码的FFmpeg库、USB设备的开发库libusb、支持加解密的OpenSSL库等。由于开源的RDP协议栈的实现以及视音频解码库FFmpeg通过软件算法进行视频解码、图形格式变换等操作，所以对于处理器CPU进行相关操作的处理能力要求很高。对于低成本、低功耗的ARM-SOC架构的嵌入式平台而言，其完全采用软件解码方式来处理视频播放，具体包括：客户端接收到服务端传送过来的数据，分析并组合成已压缩的视频帧数据(如H264帧数据)，然后对该视频帧数据进行软件解码，生成视频解码数据(YUV格式)。由于客户端显示系统采用的是RGB格式的显示图形系统，所以需要对视频解码数据(YUV格式)进行软件计算并转换成RGB格式的数据，以便于在显示系统中显示。整个过程占用大量的CPU资源和内存资源，数据类型变换过程中还存在多次内存数据拷贝，同时加上低成本的CPU处理能力比普通计算机要弱，最终导致处理器CPU占用率高，进而造成视频播放卡顿、不流畅、视音频不同步等问题。上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。
技术实现思路
本专利技术的主要目的在于提供一种远程桌面的视频优化处理方法及装置，旨在解决现有ARM-SOC架构的嵌入式平台使用软件处理的方式进行解码及图像变换处理导致视频播放体验差的技术问题。为实现上述目的，本专利技术提供一种远程桌面的视频优化处理方法，应用于嵌入式终端，所述嵌入式终端设置有片上系统处理器，所述片上系统处理器集成有视频处理单元、位图硬件加速模块；所述方法包括以下步骤：在预设的多媒体视频处理工具启动初始化时，注册与所述视频处理单元支持的视频解码格式对应的编解码器；识别已接收的视频帧数据的编码格式，并判断已注册编解码器对应的视频解码格式是否匹配所述编码格式；若匹配，则基于预设的多媒体视频处理工具的预设解码接口，调用所述视频处理单元对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回对应的文件描述符；将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。优选地，所述将所述文件描述符传递至所述位图硬件加速模块的处理接口的步骤之前，还包括：为预设内核添加与所述位图硬件加速模块对应的驱动支持，并添加输入输出通道管理接口。优选地，所述将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理的步骤，具体包括：通过所述输入输出通道管理接口调用预设变换命令；基于所述预设变换命令，将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。优选地，所述判断已注册编解码器对应的视频解码格式是否匹配所述编码格式的步骤之后，还包括：若已注册编解码器对应的视频解码格式不匹配所述编码格式，则调用预设的解码软件对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回存储视频解码数据的缓冲区的地址。优选地，所述返回存储视频解码数据的缓冲区的地址的步骤之后，还包括：通过输入输出通道管理接口调用预设变换命令；基于所述预设变换命令，将所述缓冲区的地址传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。优选地，所述位图硬件加速模块对视频解码数据进行图像变换处理的步骤，具体包括：对视频解码数据进行图像格式变换处理，以使所述视频解码数据从第一图像格式变换为第二图像格式。优选地，所述对视频解码数据进行图像格式变换处理的步骤的同时，还包括：获取视频解码数据对应的原始视频尺寸、嵌入式终端上的待显示视频区域的实际显示尺寸，并进行比较；若所述原始视频尺寸不等于所述实际显示尺寸，则对视频解码数据进行尺寸变换处理，以使处理后的视频尺寸等于实际显示尺寸。优选地，已接收的所述视频帧数据具体包括：支持图形管道扩展协议的位图流、支持视频优化远程虚拟通道扩展的视频帧数据、支持视频重定向虚拟通道协议的视频帧数据。此外，为实现上述目的，本专利技术还提供一种远程桌面的视频优化处理装置，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的远程桌面的视频优化处理程序，其中：所述远程桌面的视频优化处理程序被所述处理器执行时实现如上所述的远程桌面的视频优化处理方法的步骤。本专利技术提供一种远程桌面的视频优化处理方法及装置，通过在视频解码时调用视频处理单元(VPU)，以及在图像变换处理将文件描述符传递至位图硬件加速模块(RGA)并由位图硬件加速模块进行图像变换处理，充分利用嵌入式终端的SOC处理器集成的硬件功能，避免了占用大量系统资源的视频解码、图形格式变换、中间环节数据内存拷贝的软件运算过程，从而减轻CPU的处理压力、提高系统性能，并使得嵌入式终端的视频流畅播放，降低出现视频播放卡顿、不流畅、视音频不同步的可能性，从而改善视频播放体验。附图说明图1为本专利技术远程桌面的视频优化处理装置各组成部分框图；图2为本专利技术远程桌面的视频优化处理方法第一实施例的流程图；图3为本专利技术远程桌面的视频优化处理方法第二实施例的流程图；图4为嵌入式终端基于远程桌面协议接收的视频帧数据进行优化处理的流程图。本专利技术目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。首先，针对本专利技术中涉及的一些术语，给出如下的定义或者说明。嵌入式终端：采用以Linux内核为基础的嵌入式作业系统的终端设备，例如移动电话、个人数字助理(PDA)、媒体播放器、消费性电子产品等。FreeRDP：免费的RDP协议的一种开源执行版本，它支持多个操作系统平台，如Windows、Linux和Android。视频处理单元：即VPU(VideoProcessUnit)，一种支持多种格式的视频编码、解码物理处理模块。位图硬件加速模块：即RGA(RasterGraphicAcceleration)，用于进行二维图形的绘图、图像缩放、旋转、透明度、锐化、虚化、格式变换等操作。在本专利技术中，主要用于将视频帧从YUV格式变换成RGB格式，以及视频帧的图形尺寸缩放。软件解码：传统的视频帧数据的解码方式，其基于软件程序运行及算法运算，需本文档来自技高网...

【技术保护点】
1.一种远程桌面的视频优化处理方法，应用于嵌入式终端，所述嵌入式终端设置有片上系统处理器，所述片上系统处理器集成有视频处理单元、位图硬件加速模块；其特征在于，所述方法包括以下步骤：在预设的多媒体视频处理工具启动初始化时，注册与所述视频处理单元支持的视频解码格式对应的编解码器；识别已接收的视频帧数据的编码格式，并判断已注册编解码器对应的视频解码格式是否匹配所述编码格式；若匹配，则基于预设的多媒体视频处理工具的预设解码接口，调用所述视频处理单元对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回对应的文件描述符；将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。

【技术特征摘要】
1.一种远程桌面的视频优化处理方法，应用于嵌入式终端，所述嵌入式终端设置有片上系统处理器，所述片上系统处理器集成有视频处理单元、位图硬件加速模块；其特征在于，所述方法包括以下步骤：在预设的多媒体视频处理工具启动初始化时，注册与所述视频处理单元支持的视频解码格式对应的编解码器；识别已接收的视频帧数据的编码格式，并判断已注册编解码器对应的视频解码格式是否匹配所述编码格式；若匹配，则基于预设的多媒体视频处理工具的预设解码接口，调用所述视频处理单元对所述视频帧数据进行解码，生成对应的视频解码数据；以及在解码完成后，返回对应的文件描述符；将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。2.如权利要求1所述的远程桌面的视频优化处理方法，其特征在于，所述将所述文件描述符传递至所述位图硬件加速模块的处理接口的步骤之前，还包括：为预设内核添加与所述位图硬件加速模块对应的驱动支持，并添加输入输出通道管理接口。3.如权利要求2所述的远程桌面的视频优化处理方法，其特征在于，所述将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理的步骤，具体包括：通过所述输入输出通道管理接口调用预设变换命令；基于所述预设变换命令，将所述文件描述符传递至所述位图硬件加速模块的处理接口，以使所述位图硬件加速模块对视频解码数据进行图像变换处理。4.如权利要求1所述的远程桌面的视频优化处理方法，其特征在于，所述判断已注册编解码器对应的视频解码格式是否匹配所述编码格式的步骤之后，还包括：若已注册编解码器对应的视频解码格式不匹配所述编码格式，则调用预设的...

【专利技术属性】
技术研发人员：邹伟军，
申请(专利权)人：深圳市斯迈龙科技有限公司，
类型：发明
国别省市：广东,44