一种面向显示终端的视频尺寸转换系统与方法技术方案

本发明专利技术提供了一种面向显示终端的视频尺寸转换方法，该方法首先根据用户交互式的选择，通过设计感知窗口模型，计算出感兴趣窗口的尺寸；而后检测到远景镜头，对每个远景镜头中的每一帧图像通过采用基于知识的模糊推理决策系统融合人眼观看视频的多种因素，自动识别到感兴趣区域，将感兴趣区域裁减出来，作为显示终端显示的内容；之后，对镜头内识别到的所有感兴趣区域中心点进行时间域平滑处理，从而保证感兴趣区域时间域的一致性和连贯性。另外，本发明专利技术还提供了基于该方法的面向显示终端的视频尺寸转换系统。本发明专利技术从视频片源格式转换技术角度出发，提供的技术方案能自适应将普通视频格式转换成小尺寸终端可播放的目标视频格式。

【技术实现步骤摘要】

本专利技术涉及多媒体
，具体涉及一种面向显示终端的视频尺寸自适应转换系统与方法。
技术介绍
随着第三代移动无线通信协议的发展与成熟，使得无线通信网络带宽日益增大， 能够满足用户的多媒体业务对带宽的需求。因此越来越多的移动终端(如手机、PDA、 Pocket PCs等手持便携设备)用户喜欢通过手机观看各种各样视频。这种日益成熟的通信技术更加方便用户随时随地享受多媒体业务，更加丰富人们的娱乐生活，同时也体现出多媒体业务服务日趋多元化的特点。人们不再被绑定在家用电视机前或者公众影剧院才能享受各种节目带来的娱乐，而是可以随时随地在他们有时间或者有心情享受多媒体业务的时候，便可以使用便携移动终端来满足这种需求。另外，在新的数字环境下，用户对高质量视频体验的期望值仍在继续增长，无论他们是在电视机或大荧幕前观看，还是在因特网或在最近出现的移动便携设备中观看，用户的期望都是一样的。由于不同多媒体显示设备之间存在物理条件的差异(譬如显示屏幕的物理尺寸和显示分辨率)，适合大屏幕的普通视频片源转换到小尺寸的手机屏幕上观看时，在视觉理解和感受上很容易导致人眼的不舒适感，很大程度上降低了人们对手机视频的视觉体验。因此，面对日益流行的移动多媒体业务，迫切需要从多个层面(例如视频片源格式的转换软件、硬件显示设备与软件算法等) 入手，研究一些能够专门针对手机小屏幕视频显示的相应方法，从而提高人们在小屏幕上观看视频的体验度。首先，由于视频的远景镜头内包含大量信息，因此试图将所有原始信息完整地在物理条件相当有限的显示终端上显示很难，而且很难通过特定方法自然地提高人眼的视觉体验。现有技术采用两种策略一种思路是将背景信息与前景目标分离，针对两种信息的尺寸缩减尺度有所不同。背景信息的缩减尺度较大，保证将所有背景信息完整显示；而前景目标的缩减尺度相对较小，保证缩减之后的尺寸仍然处于人眼容忍极限以内。第二种思路是将每一帧视频图像化分成若干个感兴趣区域，而后利用快速序列视觉呈现范式(RSVP)技术对每一帧图像进行所有感兴趣区域的依次显示。第一种思路是基于空间域的处理，而第二种则是基于时间域的处理，它们的初衷都是希望尽可能降低原始信息损失量，但是，两种思路分别在空间域和时间域上违背了原始信息。前者导致空间域上前景目标之间以及前景与背景之间在大小和位置的相对性上发生改变，而后者不仅在时间上导致了相对性改变， 同时很容易导致前后相邻图像帧之间的不连贯性视觉体验，这些因素都很容易导致人眼不舒适的视觉体验，很难被人眼所接受。然后，当普通视频转换到移动终端等相对较小的显示终端上进行观看，需要根据终端的屏幕尺寸对普通视频进行下采样处理，从而满足移动终端屏幕的分辨率的播放条件。现有技术直接对源视频进行均勻下采样实现从源视频到目标视频的分辨率转换。但是， 这样做存在的问题是，一些重要的信息可能会丢失，影响人眼的观看体验度。具体到广播足球比赛视频，以远景镜头居多，而这些远景镜头中，足球和各个球员尺寸比较小，当它们经过下采样转换到目标分辨率的视频后，这些足球和球员的尺寸会更小，以至于影响到对这些重要物体的辨别，严重影响到用户的视觉体验。即现有技术当源视频文件从较大屏幕的显示终端转换到较小屏幕的显示终端上进行播放时只有一个选择，即从源视频分辨率直接均勻下采样到目标分辨率。而视觉生理学方面的研究表明，人在观察一幅图片时，只有少部分特定的关注信息进入大脑并得到进一步处理，这少部分特定信息被称为视频感兴趣区域。因此如果视觉感知窗口裁减了部分原始视频信息，但是只要能够在有限的窗口内充分显示视频图像中的人眼最为关注区域，比较符合原始拍摄者的初衷的情况下，并不会给人们对原始视频信息的感知带来太大的影响，相比较小屏幕糟糕的视觉感知情况，反而会增加观众观看比赛的视觉体验性。具体到足球比赛视频为例，重要的是需要结合足球比赛的特点，研究人们观看比赛时的关注兴趣点，并且如何利用这些关注点作为先验知识，建立关注兴趣点与图像视觉信息二者之间的联系。由于观看比赛时的关注兴趣点具有多样化，因此需要在感兴趣区域提取时能够合理地融合各种感兴趣因素，从图像画面中自动识别到人眼对足球比赛视频的感兴趣区域，使得该区域能尽可能包含用户感兴趣点，尽可能接近原始信息的观看感知度。另外，视频与图片的区别在于，视频同时具有空间域和时间域两种属性，而图片只具有空间域属性。因此，除了保证视频在空间域的视觉感知，同时还要保证视频在时间域上的视觉一致性和连贯性。
技术实现思路
本专利技术的目的在于，为克服现有技术当源视频文件从大屏幕显示终端移动到相对较小屏幕的显示终端进行显示时，均采用直接从源视频均勻下采样到小屏幕显示终端的目标视频的分辨率，但是这样做会导致一些重要的信息丢失且有时严重影响人眼的观看体验度，为此本专利技术提供一种面向显示终端的视频尺寸转换系统及方法。为实现上述目的，本专利技术提供的一种面向显示终端的视频尺寸转换系统，包括裁剪窗口尺寸计算模块，用于确定裁减窗口尺寸；裁剪窗口位置确定模块，用于确定裁剪窗口位置；目标视频转换模块，用于根据所述裁剪窗口尺寸和裁剪窗口位置，对源视频进行裁剪，得到裁剪视频；若所述裁剪窗口尺寸等于显示终端的分辨率，则输出所述裁剪视频为目标视频；若所述裁剪窗口尺寸大于显示终端的分辨率，则按照显示终端的分辨率对所述裁剪视频进行下采样，得到目标视频并输出。上述技术方案中，所述裁剪窗口尺寸由下式确定.广 Width、Heisht^、r=mm --2~-、Widthc Heightc )其中，比例系数r根据对所述目标视频中目标大小的感知喜好确定；Widttls和 Heights分别表示所述显示终端的水平分辨率和垂直分辨率，Width。和Height。分别表示所述裁剪窗口的水平尺寸和垂直尺寸，min表示取最小值。上述技术方案中，所述裁剪窗口位置确定模块包含镜头分割和远景镜头判断模块，用于将所述源视频进行镜头分割，提取远景镜头；摄像机参数估计和感兴趣目标提取模块，用于对所述远景镜头中每一帧图像的若干摄像机参数进行估计并提取所述远景镜头的每一帧图像中的感兴趣目标；视觉感知特征计算模块，用于计算所述每一帧图像中每个感兴趣目标的若干视觉感知特征；视觉感知度计算模块，用于根据所述每一帧图像中每个感兴趣目标的若干视觉感知特征计算其视觉感知度；裁剪窗口初步位置确定模块，用于对每一帧图像中所有所述感兴趣目标的视觉感知度按照从大到小排序，并根据所述感兴趣目标的排序和裁剪窗口尺寸确定每一帧图像的裁剪窗口的初步位置；裁剪位置最终确定模块， 用于对所述远景镜头包含的每一帧图像的裁剪窗口的初步位置进行时间域平滑处理，最终确定每一帧图像的裁剪窗口位置。其中，所述摄像机参数包括摄像机的聚焦运动参数、摄像机左摇或右摇的运动参数和摄像机上倾或下倾的运动参数。上述技术方案中，所述视觉感知度计算模块包含模糊化计算模块，用于对所述视觉感知特征进行模糊化计算，得到模糊特征；模糊推理模块，用于根据若干模糊推理准则， 对所述模糊特征进行模糊推理，得到若干推理准则结果；和反模糊化计算模块，用于对所述若干推理准则结果进行反模糊化计算，得到目标的视觉感知度。上述技术方案中，所述裁剪位置最终确定模块采用多项式拟合对所述远景镜头中每一帧图像的裁剪窗口的初步位本文档来自技高网...

【技术保护点】

【技术特征摘要】
...

【专利技术属性】
技术研发人员：高丽，王东辉，洪缨，刘明刚，侯朝焕，
申请(专利权)人：中国科学院声学研究所，
类型：发明
国别省市：