图像处理装置、方法、终端和服务器制造方法及图纸

技术编号:17880110 阅读:38 留言:0更新日期:2018-05-06 01:36
本发明专利技术公开了一种图像处理装置、方法、终端和服务器。装置包括:第一缓存模块用于在通过第一线程将第N帧图像上传至图像处理模块的过程中,通过第二线程接收经图像处理模块渲染后的第N‑2帧图像;第二缓存模块用于在通过第一线程接收并缓存第一缓存模块上传的第N帧图像的过程中,通过第三线程接收并缓存经过渲染的第N‑1帧图像,并通过第二线程将第N‑2帧图像发送至第一缓存模块;图像处理器用于通过第三线程从第二缓存模块读取第N‑1帧图像,渲染第N‑1帧图像,将第N‑1帧图像写入第二缓存模块。通过本发明专利技术的技术方案,可并发地上传第N帧图像、渲染第N‑1帧图像和下载第N‑2帧图像,以节省图像的上传、下载的等待时间,从而提高图像的处理速度。

Image processing devices, methods, terminals and servers

The invention discloses an image processing device, a method, a terminal and a server. The device includes: the first cache module is used in the process of uploading the N frame image to the image processing module through the first thread, receiving the 2 frame image after rendering the image processing module through the second thread; the second cache module is used to receive and cache the N frame image uploaded through the first thread and cache the first cache module through the first thread. During the process, the third thread receives and caches the rendered N 1 frame image, and sends the 2 frame image to the first cache module through the second thread; the image processor reads the N 1 frame image from the second cache module through the third thread, render the N 1 frame image, and write the N 1 frame 1 frame into second slowly. Memory module. Through the technical scheme of the invention, the N frame image can be uploaded concurrently, the 1 frames of the first N frames are rendered and the 2 frame of the N frame can be downloaded to save the waiting time for the upload and download of the image, thus improving the processing speed of the image.

【技术实现步骤摘要】
图像处理装置、方法、终端和服务器
本专利技术涉及图像
,特别涉及一种图像处理方法、装置、终端和服务器。
技术介绍
目前,随着用户对视频实时处理的需求越来越多,实时图像处理一直是实时转码过程中的瓶颈,因而,如何更有效地提高图像处理速度是实现视频实时转码的一大难题。相关技术中,通常是基于GPU(GraphicsProcessingUnit,图形处理器)通过opengl(OpenGraphicsLibrary,是指定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口)对图像进行处理,然而由于opengl的特性,采用这种处理方式时需要通过串行的方式对待处理图像进行操作,这种方式是通过单线程的方式对图像进行处理的,因而,在处理大分辨率图像时速度会有明显下降,某些图像处理的过程无法保证实时性,进而影响视频实时转码的效率;或者可在CPU(CentralProcessingUnit,中央处理器)上通过单线程进行图像处理,而由于CPU对图像进行处理的速度和图像的像素个数成正比,因而在通过CPU对图像进行处理时,如果处理到较高分辨率的图像,其处理速度也不理想,同时,图像处理的质量也不足。
技术实现思路
本专利技术实施例提供一种图像处理方法、装置、终端和服务器,可通过三个线程并发地上传第N帧图像、渲染第N-1帧图像和下载第N-2帧图像,以显著地节省图像的上传、下载的等待时间,从而提高图像的处理速度,尽可能地实现图像的实时处理,如此,有利于提高转码速率,减少转码服务器的负担。技术方案如下:本专利技术提供了一种图像处理装置,包括:中央处理模块,包括:中央处理器和第一缓存模块,其中:所述中央处理器,与所述第一缓存模块相连接,用于将待处理的第N帧图像缓存至所述第一缓存模块;以及从第一缓存模块中读取渲染后的第N-2帧图像;N为不小于3的整数;所述第一缓存模块,用于接收所述第N帧的图像并进行缓存,在通过第一线程将所述第N帧上传至图像处理模块的过程中,通过第二线程接收经所述图像处理模块渲染后的所述第N-2帧图像,并缓存所述第N-2帧图像;所述图像处理模块,与所述中央处理模块相连接,包括:第二缓存模块和图像处理器,其中:所述第二缓存模块,与所述图像处理器连接,用于在通过所述第一线程接收并缓存所述第一缓存模块上传的所述第N帧图像的过程中,通过第三线程接收并缓存经过所述图像处理器渲染的所述第N-1帧图像,并通过所述第二线程将所述第N-2帧图像发送至所述第一缓存模块;所述图像处理器,与所述第二缓存模块相连接,用于通过所述第三线程从所述第二缓存模块读取所述第N-1帧图像,对所述第N-1帧图像进行渲染,将所述第N-1帧图像写入所述第二缓存模块。在一个实施例中,所述第一缓存模块包括上传缓存器和下载缓存器;所述第二缓存模块包括接收缓存器、发送缓存器、渲染缓存器;所述中央处理器将所述第N帧图像缓存至所述上传缓存器;所述上传缓存器用于缓存所述第N帧图像;所述接收缓存器,与所述上传缓存器连接,用于通过所述第一线程获取所述上传缓存器缓存的所述第N帧图像;所述渲染缓存器,用于通过所述第三线程从所述接收缓存器获取所述第N-1帧图像;所述发送缓存器,用于缓存经过图像处理器渲染的所述第N-1帧图像;所述下载缓存器,与所述发送缓存器连接,用于通过所述第二线程从所述发送缓存器获取经过所述图像处理器渲染的所述第N-2帧图像并缓存。在一个实施例中,所述图像处理器包括:第一DMA控制器和第二DMA控制器;所述第一DMA控制器,与所述上传缓存器和所述接收缓存器连接,用于通过所述第一线程从所述上传缓存器读取所述第N帧图像,并写入所述接收缓存器;所述第二DMA控制器,与所述下载缓存器和所述发送缓存器连接,用于通过所述第二线程从所述发送缓存器读取经过所述图像处理器渲染的所述第N-2帧图像,并写入所述下载缓存器。在一个实施例中,所述装置还包括:输出端口,与所述中央处理器相连接;所述中央处理器还用于:对渲染后的第N-3帧图像进行预设处理;所述输出端口用于输出经过所述预设处理的第N-3帧图像,其中,所述预设处理包括以下至少一项:编码、使用增强现实技术处理、使用虚拟现实技术处理。在一个实施例中,所述第一线程、所述第二线程、所述第三线程为并行线程。本专利技术还提供了一种图像处理方法,包括:接收第N帧的图像并进行缓存;通过第一线程上传所述第N帧图像;在通过所述第一线程将所述第N帧进行上传过程中,通过第三线程读取接收到的第N-1帧图像、对所述第N-1帧图像进行渲染、将所述第N-1帧图像进行缓存,并通过第二线程将已经渲染的第N-2帧图像进行缓存。在一个实施例中,所述接收所述第N帧的图像并进行缓存,包括:中央处理器将所述第N帧的图像缓存至第一缓存模块;以及所述方法还包括:所述第一缓存模块接收所述第N帧的图像并进行缓存,且在通过第一线程将所述第N帧上传至图像处理模块的过程中,通过第二线程接收经所述图像处理模块渲染后的所述第N-2帧图像,并缓存所述第N-2帧图像;所述在通过所述第一线程将所述第N帧进行上传过程中,通过第三线程读取接收到的第N-1帧图像、对所述第N-1帧图像进行渲染、将所述第N-1帧图像进行缓存,并通过第二线程将已经渲染的第N-2帧图像进行缓存,包括:第二缓存模块在通过所述第一线程接收并缓存所述第一缓存模块上传的所述第N-1帧图像的过程中,通过第三线程接收并缓存经过图像处理器渲染的图像,并通过所述第二线程将渲染后的第N-2帧图像发送至所述第一缓存模块;所述图像处理器通过所述第三线程从所述第二缓存模块读取所述第N-1帧图像,对所述第N-1帧图像进行渲染,将所述第N-1帧图像写入所述第二缓存模块。在一个实施例中,所述第一缓存模块包括上传缓存器和下载缓存器;所述第二缓存模块包括接收缓存器、发送缓存器、渲染缓存器;所述中央处理器将所述第N帧图像缓存至所述上传缓存器;所述第一缓存模块接收所述第N帧的图像并进行缓存,包括:所述上传缓存器接收并缓存所述第N帧图像;所述第二缓存模块通过所述第一线程接收并缓存所述第一缓存模块上传的所述第N-1帧图像,包括:所述接收缓存器通过所述第一线程获取所述上传缓存器缓存的所述第N帧图像;所述渲染缓存器从所述接收缓存器获取所述第N-1帧图像;所述发送缓存器缓存经过所述图像处理器渲染的所述第N-1帧图像;所述第一缓存模块通过第二线程接收经所述图像处理模块渲染后的所述第N-2帧图像,并缓存所述第N-2帧图像,包括:所述下载缓存器通过所述第二线程从所述发送缓存器获取经过所述图像处理器渲染的所述第N-2帧图像并缓存。在一个实施例中,所述图像处理器包括:第一DMA控制器和第二DMA控制器;所述第二缓存模块通过所述第一线程接收并缓存所述第一缓存模块上传的所述第N-1帧图像,包括:所述第一DMA控制器通过所述第一线程从所述上传缓存器读取所述第N帧图像,并写入所述接收缓存器;所述第二缓存模块通过所述第二线程将渲染后的第N-2帧图像发送至所述第一缓存模块,包括:所述第二DMA控制器通过所述第二线程从所述发送缓存器读取经过所述图像处理器渲染的第N-2帧图像,并写入所述下载缓存器。在一个实施例中,所述图像处理模块还包括:输出端口,所述中央处理器对渲染后的第N-3帧图像进行预设处理;所述输本文档来自技高网...
图像处理装置、方法、终端和服务器

【技术保护点】
一种图像处理装置,其特征在于,包括:中央处理模块,包括:中央处理器和第一缓存模块,其中:所述中央处理器,与所述第一缓存模块相连接,用于将待处理的第N帧图像缓存至所述第一缓存模块;以及从第一缓存模块中读取渲染后的第N‑2帧图像;N为不小于3的整数;所述第一缓存模块,用于接收所述第N帧的图像并进行缓存,在通过第一线程将所述第N帧上传至图像处理模块的过程中,通过第二线程接收经所述图像处理模块渲染后的所述第N‑2帧图像,并缓存所述第N‑2帧图像;所述图像处理模块,与所述中央处理模块相连接,包括:第二缓存模块和图像处理器,其中:所述第二缓存模块,与所述图像处理器连接,用于在通过所述第一线程接收并缓存所述第一缓存模块上传的所述第N帧图像的过程中,通过第三线程接收并缓存经过所述图像处理器渲染的所述第N‑1帧图像,并通过所述第二线程将所述第N‑2帧图像发送至所述第一缓存模块;所述图像处理器,与所述第二缓存模块相连接,用于通过所述第三线程从所述第二缓存模块读取所述第N‑1帧图像,对所述第N‑1帧图像进行渲染,将所述第N‑1帧图像写入所述第二缓存模块。

【技术特征摘要】
1.一种图像处理装置,其特征在于,包括:中央处理模块,包括:中央处理器和第一缓存模块,其中:所述中央处理器,与所述第一缓存模块相连接,用于将待处理的第N帧图像缓存至所述第一缓存模块;以及从第一缓存模块中读取渲染后的第N-2帧图像;N为不小于3的整数;所述第一缓存模块,用于接收所述第N帧的图像并进行缓存,在通过第一线程将所述第N帧上传至图像处理模块的过程中,通过第二线程接收经所述图像处理模块渲染后的所述第N-2帧图像,并缓存所述第N-2帧图像;所述图像处理模块,与所述中央处理模块相连接,包括:第二缓存模块和图像处理器,其中:所述第二缓存模块,与所述图像处理器连接,用于在通过所述第一线程接收并缓存所述第一缓存模块上传的所述第N帧图像的过程中,通过第三线程接收并缓存经过所述图像处理器渲染的所述第N-1帧图像,并通过所述第二线程将所述第N-2帧图像发送至所述第一缓存模块;所述图像处理器,与所述第二缓存模块相连接,用于通过所述第三线程从所述第二缓存模块读取所述第N-1帧图像,对所述第N-1帧图像进行渲染,将所述第N-1帧图像写入所述第二缓存模块。2.根据权利要求1所述的装置,其特征在于,所述第一缓存模块包括上传缓存器和下载缓存器;所述第二缓存模块包括接收缓存器、发送缓存器、渲染缓存器;所述中央处理器将所述第N帧图像缓存至所述上传缓存器;所述上传缓存器用于缓存所述第N帧图像;所述接收缓存器,与所述上传缓存器连接,用于通过所述第一线程获取所述上传缓存器缓存的所述第N帧图像;所述渲染缓存器,用于通过所述第三线程从所述接收缓存器获取所述第N-1帧图像;所述发送缓存器,用于缓存经过图像处理器渲染的所述第N-1帧图像;所述下载缓存器,与所述发送缓存器连接,用于通过所述第二线程从所述发送缓存器获取经过所述图像处理器渲染的所述第N-2帧图像并缓存。3.根据权利要求2所述的装置,其特征在于,所述图像处理器包括:第一DMA控制器和第二DMA控制器;所述第一DMA控制器,与所述上传缓存器和所述接收缓存器连接,用于通过所述第一线程从所述上传缓存器读取所述第N帧图像,并写入所述接收缓存器;所述第二DMA控制器,与所述下载缓存器和所述发送缓存器连接,用于通过所述第二线程从所述发送缓存器读取经过所述图像处理器渲染的所述第N-2帧图像,并写入所述下载缓存器。4.根据权利要求1所述的装置,其特征在于,所述装置还包括:输出端口,与所述中央处理器相连接;所述中央处理器还用于:对渲染后的第N-3帧图像进行预设处理;所述输出端口用于输出经过所述预设处理的第N-3帧图像,其中,所述预设处理包括以下至少一项:编码、使用增强现实技术处理、使用虚拟现实技术处理。5.根据权利要求1所述的装置,其特征在于,所述第一线程、所述第二线程、所述第三线程为并行线程。6.一种图像处理方法,用于图像处理装置,其特征在于,包括:接收第N帧的图像并进行缓存;通过第一线程上传所述第N帧图像;在通过所述第一线程将所述第N帧进行上传过程中,通过第三线程读取接收到的第N-1帧图像、对所述第N-1帧图像进行渲染、将所述第N-1帧图像进行缓存,并通过第二线程将已经渲染的第N...

【专利技术属性】
技术研发人员:袁雨龙黄文辉
申请(专利权)人:暴风集团股份有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1