图像传输方法及装置制造方法及图纸

技术编号:18240907 阅读:116 留言:0更新日期:2018-06-17 05:54
本公开提供一种图像传输方法及装置,涉及图像处理技术领域,能够解决利用VNC技术传输视频数据时,接收端容易出现画面延迟、卡顿的问题。具体技术方案为:获取待传输图像帧;在确定待传输图像帧中包含视频数据时,利用数字视频压缩格式的编码算法对视频数据进行编码;利用远程帧缓冲RFB协议中的编码算法对待传输图像帧中除视频数据之外的剩余部分进行编码;向客户端设备发送编码后的待传输图像帧。本发明专利技术用于图像传输。 1

Image transmission method and device

The present disclosure provides an image transmission method and device, which relates to the technical field of image processing, and can solve the problem of image delay and Caton at the receiving end when the video data is transmitted by VNC technology. The specific technical scheme is to obtain the image frames to be transmitted, and to encode video data using the encoding algorithm of digital video compression format in the determination of the video data to be transmitted in the frame to be transmitted, and to use the coding algorithm in the remote frame buffer RFB protocol to treat the remaining parts of the transmission image frame except the video data. A coded transmission image frame is sent to the client device. The invention is used for image transmission. One

【技术实现步骤摘要】
图像传输方法及装置
本公开涉及图像处理
,尤其涉及图像传输方法及装置。
技术介绍
在图像远程投放的过程中,通常需要对待传输图像进行图像编码,然后传输到接收端,接收端解码后播放图像。远程投放的图像可以是操作系统的桌面图像,也可以是视频数据等。虚拟网络控制台(VirtualNetworkConsole,VNC)技术是基于桌面系统开发的,桌面系统的大部分图像都是静止的,图像更新周期较长,图像更新的区域比较有规律,在VNC技术中,利用远程帧缓冲(英文:RemoteFrameBuffer,RFB)协议的编码算法对桌面图像进行编码,接收端播放桌面图像较为流畅,鼠标、键盘控制的响应速度也非常快,但是在播放视频数据时效率就非常低,由于视频数据的数据传输量较大,视频数据的传输占用了大量带宽,在低带宽的网络环境下会导致网络堵塞,而且使用TCP重传机制会使得图像帧率降低,在帧率降低到25帧/秒以下时,视觉上就会出现画面延迟,卡顿等现象。
技术实现思路
本公开实施例提供一种图像传输方法及装置,能够解决利用VNC技术传输视频数据时,接收端容易出现画面延迟、卡顿的问题。所述技术方案如下:根据本公开实施例的第一方面,提供一种图像传输方法,该方法包括:获取待传输图像帧;在确定待传输图像帧中包含视频数据时,利用数字视频压缩格式的编码算法对视频数据进行编码;利用远程帧缓冲RFB协议中的编码算法对待传输图像帧中除视频数据之外的剩余部分进行编码;向客户端设备发送编码后的待传输图像帧。对视频数据使用视频压缩格式的编码算法进行编码,对除视频数据之外的剩余部分利用RFB协议中的编码算法进行编码,保证了视频数据传输的流畅性,也保证了桌面鼠标、键盘控制的响应速度。在一个实施例中,该方法还包括:获取图像帧流,图像帧流包含待传输图像帧之前连续的至少一个图像帧;在至少一个图像帧中,变化的宏块数量大于或等于第一阈值时,确定待传输图像帧包含视频数据,变化的宏块为不同的图像帧中,位置相同,内容不同的宏块。根据待传输图像帧之前的图像帧流确定待传输图像帧中是否包含视频数据,可以实时对待传输图像帧的编码方式进行调整,使得编码方式适应待传输图像帧,提高传输效率。在一个实施例中,该方法还包括:在确定待传输图像帧中目标宏块内有效像素的数量大于或等于第二阈值时,将目标宏块确定为变化的宏块,至少一个图像帧中与有效像素位置相同的像素颜色不同。如果一个位置的宏块有效像素比较多,说明该位置的宏块一帧和一帧之间的变化比较大,可以确定是视频数据。在一个实施例中,该方法还包括:对于至少一个图像帧中位置相同的像素组,若像素组内颜色不同的像素的数量大于或等于预设计数,则将待传输图像帧中与像素组位置相同的像素确定为有效像素。如果不同图像帧中相同位置的像素,颜色不同的像素数量较大,说明该位置的像素变化较为频繁,很可能是视频数据,可以将其确定为有效像素。在一个实施例中,该方法还包括:在图像帧流中目标图像帧的预设位置的像素与上一个图像帧的预设位置的像素颜色不同时,将预设位置的像素计数加1;在目标图像帧的预设位置的像素与上一个图像帧的预设位置的像素颜色相同时,将预设位置的像素计数减1;直到图像帧流中所有图像帧的预设位置的像素都判断完毕后,在预设位置的像素计数大于或等于预设计数时,将待传输图像帧中预设位置的像素确定为有效像素。对图像帧流中每个图像帧的预设位置的像素都进行比较,能够较为准确地确定预设位置像素地变化情况,能够更加准确地判断是否为视频数据。在一个实施例中,该方法还包括:接收客户端设备发送的处理器占用率;在处理器占用率大于或等于第一占用率时,降低向客户端设备发送图像帧的帧率。图像传输装置根据客户端设备地反馈情况对帧率进行调整,使得图像帧地传输适应客户端设备地处理速度。在一个实施例中,该方法还包括:在处理器占用率小于第二占用率时,提高向客户端设备发送图像帧的帧率,第二占用率小于或等于第一占用率。根据本公开实施例的第二方面,提供一种图像传输装置,包括:获取模块、第一编码模块、第二编码模块、发送模块;其中,获取模块,用于获取待传输图像帧;第一编码模块,用于在确定待传输图像帧中包含视频数据时,利用数字视频压缩格式的编码算法对视频数据进行编码;第二编码模块,用于利用远程帧缓冲RFB协议中的编码算法对待传输图像帧中除视频数据之外的剩余部分进行编码;发送模块,用于向客户端设备发送编码后的待传输图像帧。在一个实施例中,图像传输装置还包括视频数据判断模块;获取模块,还用于获取图像帧流,图像帧流包含待传输图像帧之前连续的至少一个图像帧;视频数据判断模块,用于在至少一个图像帧中,变化的宏块数量大于或等于第一阈值时,确定待传输图像帧包含视频数据,变化的宏块为不同的图像帧中,位置相同,内容不同的宏块。在一个实施例中,图像传输装置还包括宏块判断模块;宏块判断模块,用于在确定待传输图像帧中目标宏块内有效像素的数量大于或等于第二阈值时,将目标宏块确定为变化的宏块,至少一个图像帧中与有效像素位置相同的像素颜色不同。在一个实施例中,图像传输装置还包括第一像素判断模块;第一像素判断模块,对于至少一个图像帧中位置相同的像素组,若像素组内颜色不同的像素的数量大于或等于预设计数,则将待传输图像帧中与像素组位置相同的像素确定为有效像素。在一个实施例中,图像传输装置还包括计数模块和第二像素判断模块;计数模块,用于在图像帧流中目标图像帧的预设位置的像素与上一个图像帧的预设位置的像素颜色不同时,将预设位置的像素计数加1;在目标图像帧的预设位置的像素与上一个图像帧的预设位置的像素颜色相同时,将预设位置的像素计数减1;第二像素判断模块,用于图像帧流中所有图像帧的预设位置的像素都判断完毕后,在预设位置的像素计数大于或等于预设计数时,将待传输图像帧中预设位置的像素确定为有效像素。在一个实施例中,图像传输装置还包括接收模块和设置模块;接收模块,用于接收客户端设备发送的处理器占用率;设置模块,用于在处理器占用率大于或等于第一占用率时,降低向客户端设备发送图像帧的帧率。在一个实施例中,设置模块,还用于在处理器占用率小于第二占用率时,提高向客户端设备发送图像帧的帧率,第二占用率小于或等于第一占用率。应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。附图说明此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。图1是本公开实施例提供的一种图像传输方法的流程示意图;图2是本公开实施例提供的一种待传输图像帧示意图;图3是本公开实施例提供的一种图像帧流示意图;图4是本公开实施例提供的一种宏块示意图;图5是本公开另一实施例提供的一种图像传输方法信息交互示意图;图6是本公开实施例提供的一种图像传输装置的结构示意图;图7是本公开实施例提供的一种图像传输装置的结构示意图;图8是本公开实施例提供的一种图像传输装置的结构示意图;图9是本公开实施例提供的一种图像传输装置的结构示意图;图10是本公开实施例提供的一种图像传输装置的结构示意图;图11是本公开实施例提供的一种图像传输装置的结构示意图。具体实施方式这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,本文档来自技高网...
图像传输方法及装置

【技术保护点】
1.一种图像传输方法,其特征在于,所述方法包括:

【技术特征摘要】
1.一种图像传输方法,其特征在于,所述方法包括:获取待传输图像帧;在确定所述待传输图像帧中包含视频数据时,利用数字视频压缩格式的编码算法对所述视频数据进行编码;利用远程帧缓冲RFB协议中的编码算法对所述待传输图像帧中除所述视频数据之外的剩余部分进行编码;向客户端设备发送编码后的所述待传输图像帧。2.根据权利要求1所述的方法,其特征在于,所述方法还包括:获取图像帧流,所述图像帧流包含所述待传输图像帧之前连续的至少一个图像帧;在所述至少一个图像帧中,变化的宏块数量大于或等于第一阈值时,确定所述待传输图像帧包含视频数据,所述变化的宏块为不同的图像帧中,位置相同,内容不同的宏块。3.根据权利要求2所述的方法,其特征在于,所述方法还包括:在确定所述待传输图像帧中目标宏块内有效像素的数量大于或等于第二阈值时,将所述目标宏块确定为变化的宏块,所述至少一个图像帧中与所述有效像素位置相同的像素颜色不同。4.根据权利要求3所述的方法,其特征在于,所述方法还包括:对于所述至少一个图像帧中位置相同的像素组,若所述像素组内颜色不同的像素的数量大于或等于预设计数,则将所述待传输图像帧中与所述像素组位置相同的像素确定为有效像素。5.根据权利要求3所述的方法,其特征在于,所述方法还包括:在所述图像帧流中目标图像帧的预设位置的像素与上一个图像帧的预设位置的像素颜色不同时,将所述预设位置的像素计数加1;在所述目标图像帧的预设位置的像素与所述上一个图像帧的预设位置的像素颜色相同时,将所述预设位置的像素计数减1;直到所述图像帧流中所有图像帧的预设位置的像素都判断完毕后,在所述预设位置的像素计数大于或等于预设计数时,将所述待传输图像帧中预设位置的像素确定为有效像素。6.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:接收所述客户端设备发送的处理器占用率;在所述处理器占用率大于或等于第一占用率时,降低向所述客户端设备发送图像帧的帧率。7.根据权利要求6所述的方法,其特征在于,所述方法还包括:在所述处理器占用率小于第二占用率时,提高向所述客户端设备发送图像帧的帧率,所述第二占用率小于或等于所述第一占用率。8.一种图像传输装置,其特征在于,包括:获取模块、第一编码模块、第二编码模块、发送模块;其中,所述获取模块,用于获取待传输图像帧;所述第一编码模块,用于在确定所述待传输图像帧中包含视频数据时,利用数字视频压缩格式的编码算...

【专利技术属性】
技术研发人员:李新宇苏睿
申请(专利权)人:西安万像电子科技有限公司
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1