一种移动可视设备自适应显示方法技术

本发明专利技术实施例公开了一种移动可视设备自适应显示方法，包括以下步骤：步骤1：对输入的高分辨率视频流进行解码；步骤2：感兴趣区域提取，检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，从解码得到的视频序列中裁剪出感兴趣区域，组成一个新的低分辨率视频序列；步骤3：快速转码，分别将解码后的高分辨率视频流以及所提取的感兴趣区域转换成满足显示屏尺寸的低分辨率视频流并发送给用户。利用本发明专利技术的移动可视设备自适应显示方法，可以实现小屏幕移动设备的自适应显示，用户可以看到视频中感兴趣区域如出现的含有人脸的区域或含有文字的段落的放大显示，即放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感。

【技术实现步骤摘要】

本专利技术涉及视频处理
，尤其涉及。
技术介绍
在我们的日常生活中，越来越多的信息资源由可视的内容来表征和传播，在网络内容自适应中我们需要考虑的一个要点就是让图像这一主要的可视媒体形式能够自动适应不同的客户端环境。除传统的个人电脑以外的许多设备对多媒体资源的使用越来越多，例如wcbTV、移动电话、掌上电脑及智能手机等。特别是随着内置摄像头的移动设备的使用和移动博客(moblogging)的兴起，多媒体内容，包括图像，视频在移动设备上的使用越来越广泛。但是对于大多数移动设备，它们显示屏幕小，存储空间有限，计算能力弱。网络带宽窄，这就需要有专门适合其应用环境的多媒体内容。另外，不同的用户有不同兴趣偏好。对于多媒体信息的发布者来说，提供适合各种设备显示及符合个人兴趣的不同版本的内容，其工作量非常大。这就要求研究新的内容自适应转换和传输的系统和技术，来满足复杂的客户端环境，并提供最好的浏览体验。尽管已经有很多种图像自适应的研究方案和方法，但目前的研究主要集中在对多媒体内容的压缩及缓冲以减少数据传输量、获得更快的传输速度上，而对于在小屏幕上人的视觉观感则很少见考虑。而移动设备的有限显示屏幕正逐渐成为限制其获取网络信息的最主要瓶颈限制。目前，对视频自适应显示的研究主要集中在视频的压缩和缓存方面，对于显示面积的约束考虑得很少。而且对于可供移动设备所访问的视频资源与图像不同，多数已经经过很好的编辑，不过我们注意到一些拍摄比较随意的视频，例如家庭录像、监测视频等等在移动设备上有越来越广泛的应用，对于返一类视频，有可能同时也有针对不同的显示条件作自适应的优化需求。在实际应用中，目前的研究主要集中在对多媒体内容的压缩及缓冲以减少数据传输量、获得更快的传输速度上，而对于在小屏幕上人的视觉观感则很少见考虑。移动设备的有限显示屏幕成为限制其获取网络信息的最主要瓶颈限制。因此，有必要提供来解决上述缺陷。
技术实现思路
本专利技术的目的在于克服现有技术的不足，本专利技术提供了，能够将用户感兴趣的内容放大显示，而放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感，实现小屏幕移动设备的自适应显示。为了解决上述问题，本专利技术提出了，所述方法包括步骤I :对输入的高分辨率视频流进行解码；步骤2 :感兴趣区域提取，检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，从解码得到的视频序列中裁剪出感兴趣区域，组成一个新的低分辨率视频序列；步骤3 :快速转码，分别将解码后的高分辨率视频流以及所提取的感兴趣区域转换成满足显示屏尺寸的低分辨率视频流并发送给用户。较佳地，所述步骤3的快速转码过程包括步骤31 :运动矢量调整，修正不同帧中的感兴趣区域不同造成的运动信息错误；步骤32 :快速模式选择，利用原码流中的运动信息，采用快速模式选择算法加速编码；步骤33 :运动矢量插值，对没有运动信息的宏块，通过其周围运动信息进行插值以计算所述宏块的运动矢量。 较佳地，在所述步骤32快速模式选择时，每个宏块包括16个4x4的小块，每个小块对应有运动矢量，通过快速模式选择算法加速编码的步骤包括步骤321 :步骤将一个宏块内的运动矢量相同的分为一组；步骤322:统计各组相同运动矢量的个数并找出具有最多运动矢量的组，该组的运动矢量为表示为MVmax,个数为Nmax ;步骤323 :如果Nmax大于8，则该宏块的模式设定为16x16，运动矢量即MVmax，跳到步骤326 ;步骤324 :如果Nmax小于或等于8，进一步分析如果该宏块上半部分和下半部分的8个运动矢量分别相等，则该模式为16x8 ;如果左右两部分相等，则模式为8x16 ;宏块所有运动矢量保持不变，跳到步骤6 ;步骤325 :如果上述条件均不满足，则判定模式为PSx8，需要分别对四个8x8的块进行运动估计和模式选择；步骤326 :执行变换，量化、熵编码。较佳地，所述感兴趣区域的所提取的特征对象包括运动分量、人脸、文本、显著度。利用本专利技术实施例的移动可视设备自适应显示方法，用户可以看到视频中感兴趣区域的放大显示，比如说，视频中出现的含有人脸的区域或含有文字的段落。因为在小屏幕上很可能由于过于缩小而看不清楚其中的内容，而放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感，可以实现小屏幕移动设备的自适应显示。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。图I是本专利技术的移动可视设备自适应显示方法的流程示意图；图2是本专利技术实施例的移动可视设备自适应显示方法的原理示意图；图3是应用本专利技术的移动可视设备自适应显示方法的自适应显示系统的结构示意图。具体实施例方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。在本专利技术中，建立了一种针对视频的视觉注意力模型，借助数值化的注意力模型我们可以把理解一个信息内容对象的问题拆分为一系列更简单、计算量更小的局部分析问题。在数值化的注意力建模问题上，通过把多种图像特征综合到一张单独的显著特征图上，利用动态神经网络可以把那些受关注的区域按照特征的显著值从高到低的顺序逐个检测出来。在本专利技术实施例的移动可视设备自适应显示系统中，用户可以看到视频中感兴趣区域的放大显示，比如说，视频中出现的含有人脸的区域或含有文字的段落。因为在小屏幕上很可能由于过于缩小而看不清楚其中的内容，而放大显示后.感兴趣的区域以较高的分辨率显示，有更好的观感。如果我们单独考虑视频中的每一帧，可以很容易地把前面图像自适应的方法应用到视频中，找出每帧中感兴趣的区域。但是如果直接输出这些从原帧中剪切出的感兴趣的区域，得到的视频片断会有很严重的跳动感，因此，引入了虚拟镜头控制的概念解决这一问题。在像素域对原始视频检测视频帧中的感兴趣对象，之后进行自动建模，生成适合显示区域的视频，然后再对处理过的视频进行编码传输到客户端的移动设备上。在实际应用中，这种完全解码再编码的方法的计算量很大。会给服务器端带来巨大的处理压力。所以我们在采用空间转码的方法来避免再次重新编码的步骤。这种方法比原来需要重新编码的方法的执行效率大大提高了，而在输出视频的质量上只有很小的影响。与一般的空间转码方法来比，由于我们只处理感兴趣的区域，所以能够获得更好的视觉观感，同时节省了大量的带宽。图I是本专利技术实施例的移动可视设备自适应显示方法的流程示意图，如图I所示，该方法包括步骤SlOl :对输入的高分辨率视频流进行解码；步骤S102 :感兴趣区域提取，检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，从解码得到的视频序列中裁剪出感兴趣区域，组成一个新的低分辨率视频序列；步骤S103 :快速转码，分别将解码后的高分辨率视频流以及所提取的感兴趣区域转换成满足显示屏尺寸的低分辨率视频流并发送给用户。图2是本专利技术实施例的移动本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种移动可视设备自适应显示方法，其特征在于，所述方法包括 步骤I:对输入的高分辨率视频流进行解码； 步骤2 :感兴趣区域提取，检测视频帧中的感兴趣区域，然后用虚拟镜头控制来调整区域边界，从解码得到的视频序列中裁剪出感兴趣区域，组成一个新的低分辨率视频序列； 步骤3 :快速转码，分别将解码后的高分辨率视频流以及所提取的感兴趣区域转换成满足显示屏尺寸的低分辨率视频流并发送给用户。2.如权利要求I所述的移动可视设备自适应显示方法，其特征在于，所述步骤3的快速转码过程包括 步骤31 :运动矢量调整，修正不同帧中的感兴趣区域不同造成的运动信息错误； 步骤32 :快速模式选择，利用原码流中的运动信息，采用快速模式选择算法加速编码； 步骤33 :运动矢量插值，对没有运动信息的宏块，通过其周围运动信息进行插值以计算所述宏块的运动矢量。3.如权利要求2所述的移动可视设备自适应显示方法，其特征在于，在所述步骤32快速模式选择时，每个宏块包括16个4...

【专利技术属性】
技术研发人员：吴仁涛，罗笑南，
申请(专利权)人：中山大学，
类型：发明
国别省市：