传输视频的方法和装置制造方法及图纸

本发明专利技术提供了一种在通信设备中用于传输视频的方法和装置。包括：从视频服务器接收编码后的视频帧；对接收到的视频帧进行解码；对解码后的视频帧进行缓存；从用户设备接收人眼追踪信息；基于所述人眼追踪信息，确定预测的人眼注视的第一区域；以第一质量对所述第一区域中的缓存的视频帧进行重编码，以及以第四质量对所述区域之外的缓存的视频帧进行重编码，其中所述第一质量优于所述第四质量；将重编码后的视频帧发送至所述用户设备。

【技术实现步骤摘要】

本专利技术一般地涉及通信系统，特别地，涉及基于人眼追踪技术的视频传输。
技术介绍
对人眼的研究可以追溯到很久以前，甚至早于镜子的专利技术。这一方向最重要的研究成果是发现视网膜的结构。视网膜覆盖在眼球的后部，连接晶状体和神经。在视网膜上有成百上千万的视觉感光细胞，这其中分为两种，杆状细胞和锥状细胞。锥状细胞比杆状细胞小，但对视觉来说更重要。大部分锥状细胞都位于黄斑区域，一个靠近盲点的地方。视网膜上一共有大约九千万个杆状细胞和四百五十万个锥状细胞。杆状细胞主要负责夜晚或弱光环境下的视觉且杆状细胞无法区分颜色。而锥状细胞负责光照条件较好的环境下的视觉。而在普通室内光线下，锥状和杆状细胞都有可能起左右。另外杆状细胞需要30秒左右才能适应光线强弱的变化，要远远慢于锥状细胞，因此在观看视频的时候，主要是锥状细胞起作用。视觉感光细胞在视网膜上的分布是不均匀的。比如说杆状细胞，密度最大的地方大约在距离视网膜中心20度的区域，并随着角度的增加而逐渐衰减。而锥状细胞基本都位于视网膜的中心，锥状细胞集中的地方叫做视觉小凹，大约只有1.5mm宽，这一点点区域正是人类视觉的核心区域，有趣的是，在视觉小凹上没有杆状细胞。杆状细胞和锥状细胞在视网膜上的分布如图1所示。人类的视觉就这样被囚禁在了这个只有1～2度的小小范围内，每次只能看清楚1～2度的事物，也就是说人类的视觉是很有限的。可为什么人们平时并不会注意到这一点呢？因为人的眼球总是在转动，人的大脑会将一段时间看到的东西合成在一起，形成一幅完整的画面。基于以上的发现，人们会很容易想到，在传输视频的时候，如果只传输人眼注视的区域，就会节省很大的资源。然而问题是，人眼移动的速度非常快，约为每秒钟400度。这就要求系统要在极短的时间内作出响应。例如，以目前的平板电脑来看，人眼从一端移动到另一段，只需要几十毫秒。因此人眼注视区域的识别，追踪和响应，必须要在几十毫秒内完成。这对现有的通信系统带来了很大的困难，大部分系统都无法保证如此低的时延。因此，可以把关注点放在下一代通信系统5G上。5G通信系统大约会在2020年部署，会提供更高的速率和更短的时延。这些重要的技术改进对应运基于人眼位置的视频传输至关重要，然而一些重要的技术难题仍然有待解决。
技术实现思路
经过一代又一代科学家的不懈努力，人眼的视觉特性与图像传输之间的关系逐渐明朗。在论文“Robert-Inacio,F.；Scaramuzzino,R.；Stainer,Q.；Kussener-Combier,E.,Biologically inspired image sampling for electronic eye,Biomedical Circuits and Systems Conference(BioCAS),2010,pages:246-249”中，作者针对电子眼提出了一种图像采集方案。这一方案基于一种六边形结构进行采样，六边形的大小决定了画面的精细程度，六边形随着采样区域到视觉中心距离的增加而增大。在另一篇论文“Laura Muir Iain,Iain Richardson,Steven Leaper,Gaze Tracking and Its Application to Video Coding for Sign Language,Picture Coding Symposium 2003,pages 32-325”中，作者研究了画面中哪些元素更容易被人所注视。Mohsen M.在他的文章“Mohsen M.Farid,Fatih Kurugollu,Fionn D.Murtaghk,Adaptive wavelet eye-gaze-based video compression,Proc.SPIE 4877,Opto-Ireland 2002:Optical Metrology,Imaging,and Machine Vision,255(March 17,2003)”提出了一种基于人眼焦点追踪的实时视频传输系统。在这一系统中，系统根据人眼焦点的位置对视频按照子块进行编码。但是这一系统是在实验室中在几台计算机之间实现了，没
有考虑到真实网络中的某些限制，而这些限制会导致时延的增加，以及时延的抖动，这些反而是实现人眼追踪视频传输系统的主要障碍。目前对人眼视觉方面的研究，主要的成果发表于论文“Robert-Inacio,F.；Scaramuzzino,R.；Stainer,Q.；Kussener-Combier,E.,Biologically inspired image sampling for electronic eye,Biomedical Circuits and Systems Conference(BioCAS),2010,pages:246-249”，不过这篇论文并没有考虑到人眼的转动，也没有考虑到时延方面的影响。在5G中应用基于人眼追踪的视频传输，一种可能的方案是，用户设备向基站反馈人眼焦点的位置信息，基站将此信息转发到核心网络，再上传到视频服务器；视频服务器根据人眼追踪的信息，对视频进行编码，然后将编码后的视频发到移动网络，进入基站后，由基站转发给用户设备。这样的方案最大的问题是时延。一般的网络架构如图2所示。基于这样的架构，本专利技术的专利技术人对总的时延进行分析，细分的项目总结于表1。从表1可以看出，基于这样的架构，系统的时延大约为106ms。如果使用频率更高的人眼追踪器，也许可以减少时延，但即便这样，总的时延仍然是难以接受的。因此需要对端到端的时延进行优化，尤其是网络内的时延。表1时延分析基于上述考量，本专利技术的专利技术目的在于提供基于人眼追踪的视频传输系统，该系统能够减少系统时延并且节省资源。根据本专利技术的一个方面，提供了一种在通信设备中用于传输视频的方法，所述方法包括以下步骤：从视频服务器接收编码后的视频帧；对接收到的视频帧进行解码；对解码后的视频帧进行缓存；从用户设备接收人眼追踪信息；基于所述人眼追踪信息，确定预测的人眼注视的第一区域；以第一质量对所述第一区域中的缓存的视频帧进行重编码，以及以第四质量对所述区域之外的缓存的视频帧进行重编码，其中所述第一质量优于所述第四质量；将重编码后的视频帧发送至所述用户设备。在一个例子中，所述方法还包括以下步骤：基于缓存的视频帧和所述人眼追踪信息，确定预测的人眼注视的第二区域；以及以第二质量对所述第二区域中的缓存的视频帧进行重编码，其中所述第一质量优于所述第二质量，所述第二质量优于所述第四质量。在一个例子中，所述方法还包括以下步骤：基于缓存的视频帧和所述人眼追踪信息，确定预测的人眼扫视区域；以及以第三质量对所述人眼扫视区域中的缓存的视频帧进行重编码，其中所述第一质量优于所述第三质量，所述第三质量优于所述第四质量。根据本专利技术的另一个方面，提供了一种在通信设备中用于传输视频的方法，所述方法包括以下步骤：-从视频服务器接收编码后的视频帧；-对接收到的视频帧进行解码；-对解码后的视频帧进行缓存；-从用户设备接收人眼追踪信息；-基于所述人眼追踪信息，确定人眼状态；-如果所述人眼状态为注视状态，则使用分辨率y对缓存的视频帧进行重编码； y = 本文档来自技高网...

【技术保护点】
一种在通信设备中用于传输视频的方法，所述方法包括以下步骤：‑从视频服务器接收编码后的视频帧；‑对接收到的视频帧进行解码；‑对解码后的视频帧进行缓存；‑从用户设备接收人眼追踪信息；‑基于所述人眼追踪信息，确定预测的人眼注视的第一区域；‑以第一质量对所述第一区域中的缓存的视频帧进行重编码，以及以第四质量对所述区域之外的缓存的视频帧进行重编码，其中所述第一质量优于所述第四质量；‑将重编码后的视频帧发送至所述用户设备。

【技术特征摘要】
2015.03.03 CN 201510094975X1.一种在通信设备中用于传输视频的方法，所述方法包括以下步骤：-从视频服务器接收编码后的视频帧；-对接收到的视频帧进行解码；-对解码后的视频帧进行缓存；-从用户设备接收人眼追踪信息；-基于所述人眼追踪信息，确定预测的人眼注视的第一区域；-以第一质量对所述第一区域中的缓存的视频帧进行重编码，以及以第四质量对所述区域之外的缓存的视频帧进行重编码，其中所述第一质量优于所述第四质量；-将重编码后的视频帧发送至所述用户设备。2.根据权利要求1所述的方法，其特征在于，还包括以下步骤：-基于缓存的视频帧和所述人眼追踪信息，确定预测的人眼注视的第二区域；-以第二质量对所述第二区域中的缓存的视频帧进行重编码，其中所述第一质量优于所述第二质量，所述第二质量优于所述第四质量。3.根据权利要求1所述的方法，其特征在于，还包括以下步骤：-基于缓存的视频帧和所述人眼追踪信息，确定预测的人眼扫视区域；-以第三质量对所述人眼扫视区域中的缓存的视频帧进行重编码，其中所述第一质量优于所述第三质量，所述第三质量优于所述第四质量。4.根据权利要求1所述的方法，其特征在于，还包括以下步骤：-将编码后的视频帧发送至一个或多个其他通信设备，或者将解码后的视频帧发送至所述一个或多个其他通信设备；-将所述人眼追踪信息发送至所述一个或多个其他通信设备。5.根据权利要求1所述的方法，其特征在于，所述人眼追踪信息包括人眼焦点位置信息和/或人眼移动方向信息。6.根据权利要求1所述的方法，其特征在于，所述通信设备为基站或eNode B。7.一种在通信设备中用于传输视频的方法，所述方法包括以下步骤：-从视频服务器接收编码后的视频帧；-对接收到的视频帧进行解码；-对解码后的视频帧进行缓存；-从用户设备接收人眼追踪信息；-基于所述人眼追踪信息，确定人眼状态；-如果所述人眼状态为注视状态，则使用分辨率y对缓存的视频帧进行重编码： y = max ( 1 - e - t / 33.3 a 1 ( max ( g ( x ) , s ) ) 2 + a 2 ( max ( g ( x ) , s ) ) + a 3 , y ^ ) , x = arg ( g ( x ) ≤ x ^ + s ) 1 - e - t / 33.3 a 1 ( g ( x ) - x ^ ) 2 + a 2 ( g ( x ) - x ^ ) + a 3 , x = arg ( g ( x ) > x ^ + s ) ]]>其中t∈[t1,+∞),x表示所述用户设备的屏幕上的一点的位置，g(x)表示从所述点至焦点中心的距离，t1表示系统时延,s表示所述焦点的直径,从方程中获取，以及arg为用于根据输入公式计算适合的x的函数；-如果所述人眼状态为扫视状态，则使用分辨率y对缓存的视频帧进行重编码： y = max ( 1 - e - t / 33.3 a 1 max ( f ( x ) , s ) 2 + a 2 max ( f ( x ) , s ) + a 3 , k i y ~ i ) ]]>其中Δx表示人眼追踪器的分辨率,v表示人眼运动速度,x表示所述用户设备的屏幕上的一点的位置，f(x)表示从所述点至估计的人眼运动轨迹的最小距离， y ~ i = 1 - e - t 1 / 33.3 a 1 ( max ( g ( x ) , x ^ ) ) 2 + a 2 max ( g ( x ) , x ^ ) + a 3 , ]]>g(x)表示从所述点至预测的注视区
\t域i的中心的距离，ki≤1为用于控制所述预测的注视区域i的分辨率的参数；-将重编码后的视频帧发送至所述用户设备。8.根据权利要求7所述的方法，其特征在于，所述人眼追踪信息包括人眼焦点位置信息和/或人眼移动方向信息。9.一种在通信设备中用于传输视频的装置，...

【专利技术属性】
技术研发人员：陈宇，
申请(专利权)人：上海贝尔股份有限公司，
类型：发明
国别省市：上海;31