一种视频图像的处理方法及装置制造方法及图纸

本发明专利技术公开了一种视频图像的处理方法及装置，用以解决现有技术中服务器压力过大，并发路数较少的问题。该方法采用预先编码的方式对要嵌入第一视频图像的第二视频图像进行编码，在对第一视频图像进行编码时，对于第一视频图像中位于嵌入区域之外的图像，则采用实时编码的方式进行编码，对于第一视频图像中位于嵌入区域中的图像，则直接将第二视频图像的编码作为第一视频图像中位于嵌入区域中的图像的编码。通过上述方法，减少了第一视频图像中需要采用实时编码方式进行编码的区域，因此降低了实时编码的运算量，减轻了服务器的压力，提高服务器的并发路数。

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种视频图像的处理方法及装置。
技术介绍
数字视频变换盒，又称为机顶盒，其基本功能是将视频码流进行解码，转换为视频图像并在电视上显示。随着技术的发展，用户的需求也越来越多样化，扩展电视所能提供的功能，使用户能够像使用计算机一样使用电视，已经成为各服务提供商追求的目标。由于电视的基本功能就是显示视频图像，而机顶盒的基本功能就是对视频码流进行解码，因此目前对电视所能提供的功能进行扩展的方法为设置与机顶盒具有通信链接 的服务器，通过设置的服务器扩展电视的功能。采用上述方法扩展电视的功能时，服务器可以看作是计算机的主机，电视可以看作是计算机的显示器。具体的，服务器接收用户通过机顶盒发送的指令，并根据指令生成相应的图像，将图像返回给机顶盒，机顶盒将图像发送给电视显示。但是，由于服务器并不能预知用户接下来将要进行什么样的操作，也即不能预知自身将接收到何种操作指令，也就不能预知当前生成的图像将会如何变化，因此，为了使电视显示的图像能够实时的反映出用户的操作，服务器需要对生成的图像进行实时的采集，采集成一帧一帧的视频图像，进而形成视频，并对采集到的每帧视频图像进行编码，形成视频码流，将视频码流发送给机顶盒。由于机顶盒的基本功能就是对视频码流进行解码，因此上述扩展电视功能的方法只需要针对机顶盒增加向服务器发送指令的功能即可，对于服务器实时返回的视频码流，机顶盒则可以采用其基本功能对视频码流进行解码，并发送给电视显示。一般的，对视频图像进行编码的方式有两种，第一种是实时编码的方式，第二种是预先编码的方式。实时编码的方式适用于对视频图像的采集和播放的实时性要求较高的场景。例如，在对球赛进行实况转播时，需要使用户可以通过电视播放的视频图像获知当前正在进行的球赛的赛况，而由于无法预知后续发生的赛况，因此球赛现场的摄像机要对球赛进行实时的拍摄，也即实时的采集视频图像，并需要对采集到的视频图像立刻进行发送，实现球赛的实况转播。此时，由于球赛的视频图像是由摄像机实时采集的，而且采集到的视频图像又需要被实时的发送出去进行播放，因此对视频图像的采集和播放的实时性要求较高，需要采用实时编码的方式对采集的视频图像进行编码。在采用实时编码的方式进行编码时，由于视频图像的采集和播放均要求较高的实时性，因此实时编码的方式要求编码速率不低于视频图像的采集速率。继续沿用上例，由于球赛的视频图像是由球赛现场的摄像机实时采集的，而为了保证视频画面的流畅度，需要采用较高的速率采集视频图像。假设采集球赛的视频图像是采用50帧/秒的速率进行采集的，也即每秒采集50帧视频图像，由于采集到的视频图像又需要被实时的发送出去进行播放，因此对采集到的视频图像进行编码的编码速率应不小于50帧/秒。预先编码的方式适用于对视频图像的播放的实时性要求较低的场景。继续以球赛为例进行说明，假设球赛是以录播的形式播放的，则仍需要由球赛现场的摄像机对球赛的视频图像进行实时采集，但是采集到的视频图像不需要被实时的发送并播放，可以先存储采集到的视频图像，然后在后续指定的时间段进行播放。此时，由于不需要对实时采集到的视频图像进行实时的播放，因此对视频图像的播放的实时性要求较低，采用预先编码的方式对采集的视频图像进行编码。在采用预先编码的方式进行编码时，由于对视频图像的播放要求的实时性较低，因此预先编码的方式并不要求较高的编码速率。继续沿用上例，假设采集球赛的视频图像是采用50帧/秒的速率进行采集的，但由于采集到的视频图像并不需要实时的发送并播放，可以先存储采集的视频图像，在后续指定的时间段再进行播放，因此对采集到的视频图像进行编码的编码速率可以低于50帧/秒，例如25帧/秒，甚至I帧/秒。理论上预先编码的方式可以采用任何编码速率进行编码，只要能够完成视频图像的编码即可。对球赛的视频编码完成后，在需要播放该视频时，只需要将编码后的视频图像取出，并按照50帧/秒 的帧率进行播放即可。需要说明的是，实时编码的方式与预先编码的方式相比，仅就对视频图像的编码方法而言，二者是基本相同的，不同之处就在于实时编码的方式用于需要对实时采集的视频图像进行实时发送并播放的场景，要求较高的编码速率，而预先编码的方式用于不需要对实时采集的视频图像进行实时发送并播放的场景，可以采用较低的编码速率。当采用设置的服务器扩展电视的功能时，由于需要使电视显示的图像能够实时反映出用户的操作，因此服务器就需要对生成的图像画面进行实时的采集，采集成一帧一帧的视频图像，并将采集的视频图像进行实时的发送和播放，从而上述服务器对采集的视频图像进行编码时，就需要采用实时编码的方式进行编码。然而，目前服务器在根据用户发送的操作指令生成图像，并采集得到视频图像时，经常会在采集的视频图像中插入一些其他的视频图像，如图I所示。图I为现有技术中服务器根据用户发送的操作指令生成的图像的示意图。在图I中，假设用户通过机顶盒发送的操作指令为显示菜单指令，则服务器根据该操作指令生成菜单图像，菜单图像中包括电视节目按钮、财经信息按钮、广播节目按钮、电影点播按钮。后续的过程中，用户则可以通过机顶盒选择其所需要的功能对应的按钮，例如通过机顶盒的方向键进行选择，服务器则将当前选择的按钮进行高亮显示。此时服务器要实时的对菜单图像进行采集，采集成视频图像，并采用实时编码的方式对采集的视频图像进行编码。需要说明的是，由于服务器发送给机顶盒的并非是一帧单独的图像，而是对生成的图像进行采集形成的视频图像，因此当用户不进行任何操作时，虽然用户在电视上看到的图像是静止不动的，但其实用户看到的是服务器对生成的图像实时采集的每帧视频图像所形成的视频。在图I所示的图像中，除了上述按钮之外，还存在着大量的空白区域，因此可以利用这些空白区域嵌入其他的视频图像，例如滚动播放的提示信息、广告等。但是，要嵌入的视频图像一般是可以采用预先编码的方式进行编码的视频图像，以广告视频为例进行说明。广告视频由于其并不需要对实时采集的视频图像进行实时的发送和播放，因此对广告视频的视频图像进行编码时，一般采用预先编码的方式进行编码。而当要将广告视频的视频图像嵌入到服务器采集的视频图像中时，由于服务器采集的视频图像需要采用实时编码的方式进行编码，因此在现有技术中将广告视频的视频图像嵌入到服务器采集的视频图像中的方法具体为服务器采集视频图像时，读取广告视频中的每帧视频图像，将采集到的视频图像和读取的视频图像按照一定规则叠加在一起，并对叠加后的视频图像进行实时编码。而实时编码的方式所要求的编码速率较高，因此需要的运算量也较大，从而服务器需要消耗大量的系统资源进行运算，导致服务器压力过大，也降低了服务器同时为多个用户提供服务时的并发路数。
技术实现思路
本专利技术实施例提供一种视频图像的处理方法及装置，用以解决现有技术中的服务器压力过大，并发路数较少的问题。 本专利技术实施例提供的一种视频图像的处理方法，包括服务器在对第一视频图像进行编码时，确定在所述第一视频图像中预先设定的嵌入区域；并采用实时编码的方式，对所述第一视频图像中位于所述嵌入区域以外的图像进行编码；以及确定要嵌入在所述第一视频图像中的第二视频图像，将保存的所述第二视频图像的编码，作为所述第一视频图像中位于所述嵌入区域中本文档来自技高网...

【技术保护点】
一种视频图像的处理方法，其特征在于，包括：服务器在对第一视频图像进行编码时，确定在所述第一视频图像中预先设定的嵌入区域；并采用实时编码的方式，对所述第一视频图像中位于所述嵌入区域以外的图像进行编码；以及确定要嵌入在所述第一视频图像中的第二视频图像，将保存的所述第二视频图像的编码，作为所述第一视频图像中位于所述嵌入区域中的图像的编码，其中，所述第二视频图像的编码是采用预先编码的方式进行编码的；所述服务器将得到的所述第一视频图像中位于所述嵌入区域以外的图像的编码以及位于所述嵌入区域中的图像的编码发送给接收端进行解码。

【技术特征摘要】
1.ー种视频图像的处理方法，其特征在于，包括服务器在对第一视频图像进行编码时，确定在所述第一视频图像中预先设定的嵌入区域；并采用实时编码的方式，对所述第一视频图像中位于所述嵌入区域以外的图像进行编码；以及确定要嵌入在所述第一视频图像中的第二视频图像，将保存的所述第二视频图像的编码，作为所述第一视频图像中位于所述嵌入区域中的图像的编码，其中，所述第二视频图像的编码是采用预先编码的方式进行编码的；所述服务器将得到的所述第一视频图像中位于所述嵌入区域以外的图像的编码以及位于所述嵌入区域中的图像的编码发送给接收端进行解码。2.如权利要求I所述的方法，其特征在于，所述第二视频图像的尺寸与预先设定的嵌入区域的尺寸相同；采用预先编码的方式对所述第二视频图像进行编码，具体包括针对所述第二视频图像中的每个像素宏块，确定当前待编码的像素宏块的运动矢量；判断确定的运动矢量是否超过所述第二视频图像的边界；若是，则调整确定的运动矢量的模长，使调整后的运动矢量不超过所述第二视频图像的边界，井根据调整后的运动矢量，采用预先编码的方式对当前待编码的像素宏块进行编码；否则，根据确定的运动矢量，采用预先编码的方式对当前待编码的像素宏块进行编码。3.如权利要求2所述的方法，其特征在干，当所述第二视频图像的格式为H.264格式，且确定的运动矢量超过所述第二视频图像的边界时，调整确定的运动矢量的模长，使调整后的运动矢量不超过所述第二视频图像的边界，具体包括调整确定的运动矢量的模长，使调整后的运动矢量不超过所述第二视频图像的边界，且调整后的运动矢量的模长是整数倍个像素点；当所述第二视频图像的格式为H. 264格式，且确定的运动矢量未超过所述第二视频图像的边界时，根据确定的运动矢量，采用预先编码的方式对当前待编码的像素宏块进行编码，具体包括判断确定的运动矢量中是否存在满足第一指定条件的点，其中，满足第一指定条件的点为到所述第二视频图像的至少ー个边界的距离小于指定距离的点；若是，则调整确定的运动矢量的模长，使调整后的运动矢量的模长是整数倍个像素点，根据调整后的运动矢量，采用预先编码的方式对当前待编码的像素宏块进行编码；否则，根据确定的运动矢量，采用预先编码的方式对当前待编码的像素宏块进行编码。4.如权利要求2所述的方法，其特征在于，将保存的所述第二视频图像的编码，作为所述第一视频图像中位于所述嵌入区域中的图像的编码，具体包括所述服务器针对所述嵌入区域中的像素宏块，根据所述嵌入区域中的像素宏块在所述嵌入区域中的位置，将所述第二视频图像中相应位置上的像素宏块确定为待嵌入像素宏块；根据所述嵌入区域中的像素宏块在所述第一视频图像中的位置，修改确定的待嵌入像素宏块的编码中包含的位置信息；将修改位置信息后的编码作为所述嵌入区域中的像素宏块的编码。5.如权利要求4所述的方法，其特征在干，当所述第一视频图像和第二视频图像的格式均为H. 264格式时，将修改位置信息后的编码作为所述嵌入区域中的像素宏块的编码，具体包括确定所述第一视频图像的解码立即刷新巾贞标识idr_pic_id ；将修改位置信息后的编码中携帯的idr_pic_id修改为确定的所述第一视频图像的idr—pic—id ；将修改idr_pic_id后的编码作为所述嵌入区域中的像素宏块的编码。6.如权利要求I所述的方法，其特征在干，采用实时编码的方式，对所述第一视频图像中位于所述嵌入区域以外的图像进行编码，具体包括所述服务器确定要嵌入在所述第一视频图像中的第二视频图像的帧类型；并根据确定的帧类型，采用实时编码的方式，对所述第一视频图像中位于所述嵌入区域以外的图像进行编码。7.如权利要求6所述的方法，其特征在干，当所述第一视频图像和第二视频图像的格式均为活动图像专家组标准第2版本MPEG-2格式吋，采用实时编码的方式，对所述第一视频图像中位于所述嵌入区域以外的图像进行编码，具体包括将所述第一视频图像的前向运动矢量解析度forward_f_code设置为与所述第二视频图像的forward_f_code相同，将所述第一视频图像的后向运动矢量解析度backward_f_code设置为与所述第二视频图像的backward_f_code相同，并采用实时编码的方式,对所述第一视频图像中位于所述嵌入区域以外的图像进行编码。8.如权利要求I或6所述的方法，其特征在干，采用实时编码的方式，对所述第一视频图像中位于所述嵌入区域以外的图像进行编码，具体包括所述服务器针对所述第一视频图像中位于所述嵌入区域以外每个像素宏块，确定当前待编码的像素宏块的运动矢量，判断确定的运动矢量是否超过所述嵌入区域的边界；若是，则调整确定的运动矢量的模长，使调整后的运动矢量不超过所述嵌入区域的边界，井根据调整后的运动矢量，采用实时编码的方式，对当前待编码的像素宏块进行编码；否则，根据确定的运动矢量，采用实时编码的方式对当前待编码的像素宏块进行编码。9.如权利要求8所述的方法，其特征在干，当所述第一视频图像的格式为H.264格式，且确定的运动矢量超过所述嵌入区域的边界时，调整确定的运动矢量的模长，使调整后的运动矢量不超过所述嵌入区域的边界，具体包括调整确定的运动矢量的模长，使调整后的运动矢量不超过所述嵌入区域的边界，且调整后的运动矢量的模长是整数倍个像素点；当所述第一视频图像的格式为H. 264格式，且确定的运动矢量未超过所述嵌入区域的边界时，根据确定的运动矢量，采用实时编码的方式对当前待编码的像素宏块进行编码，具体包括判断确定的运动矢量中是否存在满足第二指定条件的点，其中，满足第二指定条件的点为到所述嵌入区域的至少ー个边界的距离小于指定距离的点；若是，则调整确定的运动矢量的模长，使调整后的运动矢量的模长是整数倍个像素点，根据调整后的运动矢量，采用实时编码的方式对当前待编码的像素宏块进行编码；否则，根据确定的运动矢量，采用实时编码的方式对当前待编码的像素宏块进行编码。10.如权利要求I所述的方法，其特征在于，当所述第一视频图像和第二视频图像的格式均为H. 264格式时，所述服务器将得到的所述第一视频图像中位于所述嵌入区域以外的图像的编码以及位于所述嵌入区域中的图像的编码发送给接收...

【专利技术属性】
技术研发人员：李闯，牛长峰，
申请(专利权)人：北京视博云科技有限公司，
类型：发明
国别省市：