视频通信方法、系统与云端图像服务器技术方案

本发明专利技术公开了一种视频通信方法、系统与云端图像服务器。该方法包括：视频通信模块接收视频通话发送端的用户终端发送的低分辨率的视频数据；视频通信模块将低分辨率的视频数据发送给云端图像服务器；云端图像服务器从低分辨率的视频数据中提取低分辨率关键图像帧，根据发送端的用户所对应的图像超完备字典，通过图像超分辨重建处理操作，获得高分辨率关键图像帧；对高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，通过视频通信模块视频通话另一端用户终端。本发明专利技术提供的技术方案，在低带宽上传网络环境下，能够实现具有高清晰度画面的视频通信。

【技术实现步骤摘要】

本专利技术涉及通信领域，特别涉及一种视频通信方法、系统与云端图像服务器。
技术介绍
近年来，随着网络带宽的快速提升以及硬件设备的发展，视频通信终端已经不再局限于个人电脑（PC）。用于视频通信的设备包括各种类型的终端，例如，手机、电话、监控系统等设备都能够实现视频通话，从而拓展了视频通信的应用范围。尤其在移动通信技术发展到第三代（The Third Generation，3G）、4G的今天，传统的语音通话的功能已经被弱化，视频通话业务逐渐变为主流业务。虽然用户可以与通信对方通过视频通信，“面对面”地聊天或者录下一段影像传送给对方，但是，由于视频通信过程需要占用大量带宽，使得视频通信的质量受到了网络带宽的限制。例如，在移动通信中，受到3G网络通信带宽的限制，3G手机用户目前视频通话采用的通常是最低端的30万象素手机前摄像头，导致画面比较模糊，对方在视频通信中无法获得较高清晰度的视频图像。如果3G信号较低时或被干扰时，画面还会出现雪花、干扰线。在固网通信中，以ADSL为例，由于上下行带宽不对称的限制，用户的上传带宽大大小于下载带宽，例如，用户的网络具有4Mbps下行带宽，却只有512Kbps的上行带宽，虽然用户A和用户B之间都有4Mbps下载带宽，但是，由于双方之间的视频通信质量最多只能达到512Kbps的上传带宽，从而限制了视频通话业务用户之间点对点的高清视频通信。由此可见，目前在低带宽上传网络环境下，无法实现高清晰度画面的视频通信。
技术实现思路
根据本专利技术实施例的一个方面，所要解决的一个技术问题是：提供一种视频通信方法、系统与云端图像服务器，以在低带宽上传网络环境下，实现具有高清晰度画面的视频通信。本专利技术实施例提供的一种视频通信方法，所述方法包括：视频通信模块接收视频通话发送端的用户终端发送的视频通话数据，所述视频通话数据中包含视频通话另一端用户终端的标识，以及低分辨率的视频数据；所述视频通信模块将所述低分辨率的视频数据发送给云端图像服务器；所述云端图像服务器从所述低分辨率的视频数据中提取低分辨率关键图像帧；所述云端图像服务器根据所述发送端的用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧；所述云端图像服务器对所述高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给所述视频通信模块；所述视频通信模块根据视频通话接收端用户终端的标识，将所述高分辨率视频图像序列发送给视频通话另一端用户终端。优选地，所述方法还包括：所述云端图像服务器接收发送端的用户终端上传的发送端用户的高分辨率图像；所述云端图像服务器根据预定的低分辨，对所述高分辨率图像进行下采样，得到低分辨率图像；所述云端图像服务器分别对高分辨率图像、低分辨率图像进行纹理和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵；所述云端图像服务器根据所述高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率稀疏矩阵、低分辨率稀疏矩阵，所述用户终端的用户所对应的图像超完备字典包含所述高分辨率稀疏矩阵、低分辨率稀疏矩阵。优选地，所述云端图像服务器从所述低分辨率的视频数据中提取低分辨率关键图像帧，具体包括：计算所述视频数据中每帧视频图像f的运动度量M（f），所述基于运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和；将所述运动度量M（f）作为时间t函数，获得两个运动度量的局部极大值；在所述两个运动度量的局部极大值之间，取得运动度量M（f）局部极小值，所述局部极小值的时间t所对应的视频图像帧作为低分辨率关键图像帧。优选地，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧，具体包括：获得低分辨率关键图像帧图像块的特征向量表示；根据低分辨率稀疏矩阵，利用低分辨率关键图像帧图像块的特征向量表示，估算低分辨率关键图像帧图像块的稀疏表示；根据高分辨率稀疏矩阵和稀疏表示，获得高分辨率关键图像帧图像块；将所述高分辨率关键图像帧图像块，根据对应位置关系进行图像块进行叠加，获得高分辨率关键图像帧。优选地，所述云端图像服务器对所述高分辨率关键图像帧进行帧间插值处理操作，具体包括：针对所述高分辨率关键图像帧，设定前后连续帧对于空白帧的影响比例；根据所述影响比例，在所述高分辨率关键图像帧之间基于双线性插值方法进行帧间插值，填补空白帧。本专利技术实施例提供的一种云端图像服务器，所述服务器包括：关键图像帧提取单元，用于从所述低分辨率的视频数据中提取低分辨率关键图像帧；超分辨率重建处理单元，根据所述发送端的用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧；插值单元，用于对所述高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给所述视频通信模块。优选地，所述服务器还包括：接收单元，用于接收发送端的用户终端上传的发送端用户的高分辨率图像；下采用单元，用于根据预定的低分辨，对所述高分辨率图像进行下采样，得到低分辨率图像；特征矩阵提取单元，用于分别对高分辨率图像、低分辨率图像进行纹理和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵；字典获取单元，用于根据所述高分辨率特征矩阵、低分辨率特征矩阵，获得高分辨率稀疏矩阵、低分辨率稀疏矩阵，所述用户终端的用户所对应的图像超完备字典包含所述高分辨率稀疏矩阵、低分辨率稀疏矩阵。优选地，所述关键图像帧提取单元，具体用于计算所述视频数据中每帧视频图像f的运动度量M（f），所述基于运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和；将所述运动度量M（f）作为时间t函数，获得两个运动度量的局部极大值；在所述两个运动度量的局部极大值之间，取得运动度量M（f）局部极小值，所述局部极小值的时间t所对应的视频图像帧作为低分辨率关键图像帧。优选地，所述超分辨率重建处理单元，具体用于获得低分辨率关键图像帧图像块的特征向量表示；根据低分辨率稀疏矩阵，利用低分辨率关键图像帧图像块的特征向量表示，估算低分辨率关键图像帧图像块的稀疏表示；根据高分辨率稀疏矩阵和稀疏表示，获得高分辨率关键图像帧图像块；将所述高分辨率本文档来自技高网...

【技术保护点】
一种视频通信方法，其特征在于，所述方法包括：视频通信模块接收视频通话发送端的用户终端发送的视频通话数据，所述视频通话数据中包含视频通话另一端用户终端的标识，以及低分辨率的视频数据；所述视频通信模块将所述低分辨率的视频数据发送给云端图像服务器；所述云端图像服务器从所述低分辨率的视频数据中提取低分辨率关键图像帧；所述云端图像服务器根据所述发送端的用户所对应的图像超完备字典，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图像帧；所述云端图像服务器对所述高分辨率关键图像帧进行帧间插值处理操作，获得连续的高分辨率视频图像序列，并发送给所述视频通信模块；所述视频通信模块根据视频通话接收端用户终端的标识，将所述高分辨率视频图像序列发送给视频通话另一端用户终端。

【技术特征摘要】
1.一种视频通信方法，其特征在于，所述方法包括：
视频通信模块接收视频通话发送端的用户终端发送的视频通话数
据，所述视频通话数据中包含视频通话另一端用户终端的标识，以及
低分辨率的视频数据；
所述视频通信模块将所述低分辨率的视频数据发送给云端图像服
务器；
所述云端图像服务器从所述低分辨率的视频数据中提取低分辨率
关键图像帧；
所述云端图像服务器根据所述发送端的用户所对应的图像超完备
字典，通过图像超分辨率重建处理操作，获得所述低分辨率关键图像
帧对应的高分辨率关键图像帧；
所述云端图像服务器对所述高分辨率关键图像帧进行帧间插值处
理操作，获得连续的高分辨率视频图像序列，并发送给所述视频通信
模块；
所述视频通信模块根据视频通话接收端用户终端的标识，将所述
高分辨率视频图像序列发送给视频通话另一端用户终端。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
所述云端图像服务器接收发送端的用户终端上传的发送端用户的
高分辨率图像；
所述云端图像服务器根据预定的低分辨，对所述高分辨率图像进
行下采样，得到低分辨率图像；
所述云端图像服务器分别对高分辨率图像、低分辨率图像进行纹理
和梯度的特征提取，获得高分辨率特征矩阵、低分辨率特征矩阵；
所述云端图像服务器根据所述高分辨率特征矩阵、低分辨率特征矩
阵，获得高分辨率稀疏矩阵、低分辨率稀疏矩阵，所述用户终端的用户
所对应的图像超完备字典包含所述高分辨率稀疏矩阵、低分辨率稀疏矩

\t阵。
3.根据权利要求2所述的方法，其特征在于，所述云端图像服务
器从所述低分辨率的视频数据中提取低分辨率关键图像帧，具体包括：
计算所述视频数据中每帧视频图像f的运动度量M（f），所述基于
运动度量为视频图像帧上每像素点在各个方向上的速度矢量之和；
将所述运动度量M（f）作为时间t函数，获得两个运动度量的局部
极大值；
在所述两个运动度量的局部极大值之间，取得运动度量M（f）局部
极小值，所述局部极小值的时间t所对应的视频图像帧作为低分辨率关
键图像帧。
4.根据权利要求3所述的方法，其特征在于，通过图像超分辨率
重建处理操作，获得所述低分辨率关键图像帧对应的高分辨率关键图
像帧，具体包括：
获得低分辨率关键图像帧图像块的特征向量表示；
根据低分辨率稀疏矩阵，利用低分辨率关键图像帧图像块的特征向
量表示，估算低分辨率关键图像帧图像块的稀疏表示；
根据高分辨率稀疏矩阵和稀疏表示，获得高分辨率关键图像帧图像
块；
将所述高分辨率关键图像帧图像块，根据对应位置关系进行图像块
进行叠加，获得高分辨率关键图像帧。
5.根据权利要求4所述的方法，其特征在于，所述云端图像服务
器对所述高分辨率关键图像帧进行帧间插值处理操作，具体包括：
针对所述高分辨率关键图像帧，设定前后连续帧对于空白帧的影
响比例；
根据所述影响比例，在所述高分辨率关键图像帧之间基...

【专利技术属性】
技术研发人员：武娟，庞涛，钱锋，黄海，刘晓军，苏军根，鲁维，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：北京;11