视频通话接收方法、视频通话发送方法及装置制造方法及图纸

本申请涉及一种视频通话接收方法、视频通话发送方法及装置，所述的视频通话接收方法包括：接收视频通话的发送方传输的缩放后视频；其中，所述缩放后视频由所述发送方以预设帧率采集实时画面得到视频，并对所述视频经过视频缩放处理得到；所述预设帧率低于预设阈值；基于深度学习的方法对所述缩放后视频进行预测得到预测中间帧；将所述预测中间帧插入所述缩放后视频，得到恢复后视频；对所述恢复后视频进行超分辨率像素重建，得到重建后视频；显示所述重建后视频。上述方法可实现在低带宽网络的条件流畅的传输视频通话内容，且保证视频通话的接收方得到质量较高的视频通话内容。话的接收方得到质量较高的视频通话内容。话的接收方得到质量较高的视频通话内容。

【技术实现步骤摘要】
视频通话接收方法、视频通话发送方法及装置


[0001]本申请涉及通信
，特别是涉及一种视频通话接收方法、装置、终端和存储介质，以及一种视频通话发送方法、装置、终端和存储介质。

技术介绍

[0002]随着技术的发展，视频通话已成为移动终端的常用功能；视频通话过程中由于视频和音频需要同时进行传输，为了获得良好的视频通话效果，通常需要一个良好的带宽网络。
[0003]相关技术中，为了保证更好的视频通话质量，通常会采用各种方法提高视频的指令，以保证接收方的用户看到的视频通话质量更优，然而如此必然会增加需要传输的数据包，一旦用户的网络不佳即很有可能发生视频通话的卡顿。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够在低带宽下进行保证视频通话质量的视频通话接收方法、视频通话发送方法及装置。
[0005]一种视频通话接收方法，所述方法包括：
[0006]接收视频通话的发送方传输的缩放后视频；其中，所述缩放后视频由所述发送方以预设帧率采集实时画面得到视频，并对所述视频经过视频缩放处理得到；所述预设帧率低于预设阈值；
[0007]基于深度学习的方法对所述缩放后视频进行预测得到预测中间帧；
[0008]将所述预测中间帧插入所述缩放后视频，得到恢复后视频；
[0009]对所述恢复后视频进行超分辨率像素重建，得到重建后视频；
[0010]显示所述重建后视频。
[0011]一种视频通话发送方法，所述方法包括：
[0012]以预设帧率采集实时画面得到视频；所述预设帧率低于预设阈值；
[0013]对所述视频进行视频缩放处理，得到缩放后视频；
[0014]向所述视频通话的接收方发送所述缩放后视频；所述缩放后视频传输至所述接收方之后，所述接收方采用深度学习的方法对所述缩放后视频进行视频帧预测，得到所述缩放后视频的预测中间帧，将所述预测中间帧插入所述缩放后视频得到恢复后视频，并对所述恢复后视频进行超分辨率像素重建后并显示。
[0015]一种视频通话接收装置，所述装置包括：
[0016]视频接收模块，用于接收视频通话的发送方传输的缩放后视频；其中，所述缩放后视频由所述发送方以预设帧率采集实时画面得到视频，并对所述视频经过视频缩放处理得到；所述预设帧率低于预设阈值；
[0017]帧预测模块，用于基于深度学习的方法对所述缩放后视频进行预测得到预测中间帧；
[0018]帧插入模块，用于将所述预测中间帧插入所述缩放后视频，得到恢复后视频；
[0019]像素重建模块，用于对所述恢复后视频进行超分辨率像素重建，得到重建后视频；
[0020]显示模块，用于显示所述重建后视频。
[0021]在其中的一个实施例中，上述装置的帧预测模块包括：帧选取单元，用于从缩放后视频中选取相邻的视频帧确定为目标视频帧；光流计算单元，用于计算相邻两个目标视频帧之间的双向光流；近似光流计算单元，用于基于目标时间段内的双向光流得到目标时间段对应的近似中间双向光流；预测单元，基于近似中间双向光流得到预测中间帧。
[0022]在其中的一个实施例中，上述装置的像素重建模块包括：图像特征提取单元，用于分别提取恢复后视频中各视频帧的图像特征；重建单元，用于基于各图像特征对恢复后视频进行重建，得到重建后视频。
[0023]在其中的另一个实施例中，上述装置的像素重建模块包括：插值处理单元，用于对恢复后视频进行插值处理，得到目标尺寸的恢复后视频；图像特征提取单元，用于分别提取目标尺寸的恢复后视频中各视频帧的图像特征；重建单元，用于基于各图像特征对恢复后视频进行非线性映射和重建，得到重建后视频。
[0024]一种视频通话发送装置，所述装置包括：
[0025]视频采集模块，用于以预设帧率采集实时画面得到视频；所述预设帧率低于预设阈值；
[0026]视频处理模块，用于对所述视频进行视频缩放处理，得到缩放后视频；
[0027]视频传输模块，用于向所述视频通话的接收方发送所述缩放后视频；所述缩放后视频传输至所述接收方之后，所述接收方采用深度学习的方法对所述缩放后视频进行视频帧预测，得到所述缩放后视频的预测中间帧，将所述预测中间帧插入所述缩放后视频得到恢复后视频，并对所述恢复后视频进行超分辨率像素重建后并显示。
[0028]在其中的一个实施例中，上述装置的视频处理模块具体用于：采用双三次插值法对视频进行视频缩放处理，得到缩放后视频。
[0029]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0030]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0031]上述视频通话接收方法、视频通话发送方法及装置，视频通话的发送方以预设帧率采集实时画面，得到视频之后对其进行缩放处理，得到缩放后视频并向视频通话的接收方传输；而视频通话的接收方在接收到发送方传输的缩放后视频之后，对缩放后视频进行预测中间帧，并将预测中间帧插入缩放后视频中得到恢复后视频，对恢复后视频进行超分辨率像素重建得到重建后视频，并将重建后视频显示给用户。上述方法通过在视频通话的发送方以低于阈值的预设帧率进行视频画面的采集，并对于采集的视频进行视频缩放处理，如此得到的缩放后视频在传输过程中需要传输的数据包较小，因此即便是在低带宽的网络中也可以流畅的传输；同时在视频通话的接收方，接收到缩放后视频之后，通过深度学习的方法对缩放后视频进行预测中间帧，并将预测的中间帧插入到缩放后视频中，对插入了预测中间帧的视频进行超分辨率像素重建之后，将重建得到的视频显示给用户，从而实现在低带宽网络的条件流畅的传输视频通话内容，且保证视频通话的接收方得到质量较高
的视频通话内容。
附图说明
[0032]图1为一个实施例中视频通话接收方法、视频通话发送方法的应用环境图；
[0033]图2为一个实施例中视频通话接收方法的流程示意图；
[0034]图3为一个实施例中基于深度学习的方法对缩放后视频进行预测得到预测中间帧的流程示意图；
[0035]图4为一个实施例中对恢复后视频进行超分辨率像素重建，得到重建后视频的流程示意图；
[0036]图5为一个实施例中视频通话发送方法的流程示意图；
[0037]图6为一个具体实施例中视频通话接收方的处理流程示意图；
[0038]图7为一个实施例中视频通话接收装置的结构框图；
[0039]图8为一个实施例中视频通话发送装置的结构框图；
[0040]图9为一个实施例中计算机设备的内部结构图。
具体实施方式
[0041]为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0042]本申请提供的视频通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视频通话接收方法，其特征在于，所述方法包括：接收视频通话的发送方传输的缩放后视频；其中，所述缩放后视频由所述发送方以预设帧率采集实时画面得到视频，并对所述视频经过视频缩放处理得到；所述预设帧率低于预设阈值；基于深度学习的方法对所述缩放后视频进行预测得到预测中间帧；将所述预测中间帧插入所述缩放后视频，得到恢复后视频；对所述恢复后视频进行超分辨率像素重建，得到重建后视频；显示所述重建后视频。2.根据权利要求1所述的方法，其特征在于，所述基于深度学习的方法对所述缩放后视频进行预测得到预测中间帧，包括：从所述缩放后视频中选取相邻的视频帧确定为目标视频帧；计算相邻两个目标视频帧之间的双向光流；基于目标时间段内的所述双向光流得到所述目标时间段对应的近似中间双向光流；基于所述近似中间双向光流得到所述预测中间帧。3.根据权利要求1所述的方法，其特征在于，所述对所述恢复后视频进行超分辨率像素重建，得到重建后视频，包括：分别提取所述恢复后视频中各视频帧的图像特征；基于各所述图像特征对所述恢复后视频进行非线性映射和重建，得到所述重建后视频。4.根据权利要求1所述的方法，其特征在于，所述对所述恢复后视频进行超分辨率像素重建，得到重建后视频，包括：对所述恢复后视频进行插值处理，得到目标尺寸的恢复后视频；分别提取所述目标尺寸的恢复后视频中各视频帧的图像特征；基于各所述图像特征对所述恢复后视频进行重建，得到所述重建后视频。5.一种视频通话发送方法，其特征在于，所述方法包括：以预设帧率采集实时画面得到视频；所述预设帧率低于预设阈值；对所述视频进行视频缩放处理，得到缩放后视频；向所述视频通话的接收方发送所述缩放后视频；所述缩放后视频传输至所述接收方之后，所述接收方采用深度学习的方法对所述缩放后视频进行视频帧预测，得到所述缩放后视频的预...

【专利技术属性】
技术研发人员：普里娅，
申请(专利权)人：深圳市万普拉斯科技有限公司，
类型：发明
国别省市：