运动视频流的补偿方法、装置、智能终端及存储介质制造方法及图纸

本发明专利技术公开了一种运动视频流的补偿方法、装置、智能终端及存储介质，其中，上述方法包括：获取运动视频流和所述运动视频流拍摄时采集的空间数据；基于所述运动视频流，确定所述运动视频流的丢失帧和参考帧；基于所述空间数据和所述参考帧，获得补偿帧；基于所述补偿帧，重建所述丢失帧。与现有技术相比，本发明专利技术方案通过基于运动视频流和空间数据的很强时空一致性，利用空间数据对运动视频流的丢失帧的重建，既可以保证重建丢失帧的准确性，又能获得更高的视觉流畅度。更高的视觉流畅度。更高的视觉流畅度。

【技术实现步骤摘要】
运动视频流的补偿方法、装置、智能终端及存储介质


[0001]本专利技术涉及视频处理
，尤其涉及的是一种运动视频流的补偿方法、装置、智能终端及存储介质。

技术介绍

[0002]在视频流传输中，当网络状态变差的时候，视频数据总会丢包。目前策略是FEC(前向纠错码，Forward Error Correction，简称FEC)或者重传，但无论哪一种方式都让网络压力变大而更为拥塞。从另外一个角度看，视频内容由于具备很强的时空一致性，尤其是固定在运动物体上捕捉的视频，因此，为了减少网络的压力，可以主动丢包，接收后再进行补偿。
[0003]因此，需要寻求一种利用未丢失的帧来对这些丢失帧进行重建的方法。

技术实现思路

[0004]本专利技术的主要目的在于提供一种运动视频流的补偿方法、装置、智能终端及存储介质，利用运动视频流的时空一致性对丢失帧进行重建，从而大幅降低网络压力、获得更高的视频流畅度。
[0005]为了实现上述目的，本专利技术提供了一种运动视频流的补偿方法，其中，上述方法包括：
[0006]获取运动视频流和所述运动视频流拍摄时采集的空间数据；
[0007]基于所述运动视频流，确定所述运动视频流的丢失帧和参考帧；
[0008]基于所述空间数据和所述参考帧，获得补偿帧；
[0009]基于所述补偿帧，重建所述丢失帧。
[0010]可选的，所述空间数据包括通过加速计采集的加速度数据和通过陀螺仪采集的角度数据。
[0011]可选的，所述基于所述空间数据和所述参考帧，获得补偿帧，包括：
[0012]基于所述参考帧的每个像素的屏幕坐标和所述参考帧的深度信息，获得所述参考帧的每个像素的三维坐标；
[0013]基于所述空间数据对所述三维坐标进行位置时空补偿变换；
[0014]将位置时空补偿变换后的所述三维坐标转换为屏幕坐标，获得所述补偿帧。
[0015]可选的，所述基于所述空间数据对所述三维坐标进行位置时空补偿变换，包括：
[0016]基于所述三维坐标，获得齐次坐标向量；
[0017]基于所述空间数据对所述齐次坐标向量进行位置时空补偿变换。
[0018]可选的，所述将位置时空补偿变换后的所述三维坐标转换为屏幕坐标，包括：
[0019]将所述三维坐标展平到图像平面并离散到像素网格，获得所述屏幕坐标。
[0020]可选的，所述基于所述参考帧的每个像素的屏幕坐标和所述参考帧的深度信息，获得所述参考帧的每个像素的三维坐标，包括：
[0021]将所述参考帧的每个像素的屏幕坐标转换为二维坐标；
[0022]基于所述深度信息和所述参考帧的二维坐标，获得所述参考帧的三维坐标。
[0023]可选的，基于所述运动视频流的所有丢失帧获得所述补偿帧，并重建所述丢失帧，获得补偿后的运动视频流。
[0024]为了实现上述目的，本专利技术第二方面提供了一种运动视频流的补偿装置，包括：
[0025]获取模块，用于获取运动视频流和所述运动视频流拍摄时采集的空间数据；
[0026]参考帧确定模块，用于基于所述运动视频流，确定所述运动视频流的丢失帧和参考帧；
[0027]补偿帧获取模块，用于基于所述空间数据和所述参考帧，获得补偿帧；
[0028]丢失帧重建模块，用于基于所述补偿帧，重建所述丢失帧。
[0029]本专利技术第三方面提供一种智能终端，上述智能终端包括存储器、处理器以及存储在上述存储器上并可在上述处理器上运行的运动视频流的补偿程序，上述运动视频流的补偿程序被上述处理器执行时实现任意一项上述运动视频流的补偿方法的步骤。
[0030]本专利技术第四方面提供一种计算机可读存储介质，上述计算机可读存储介质上存储有运动视频流的补偿程序，上述运动视频流的补偿程序被处理器执行时实现任意一项上述运动视频流的补偿方法的步骤。
[0031]由上述可见，本专利技术方案获取运动视频流和所述运动视频流拍摄时采集的空间数据；基于所述运动视频流，确定所述运动视频流的丢失帧和参考帧；基于所述空间数据和所述参考帧，获得补偿帧；基于所述补偿帧，重建所述丢失帧。基于运动视频流和空间数据的很强时空一致性，利用空间数据对运动视频流的丢失帧的重建，既可以保证重建丢失帧的准确性，又能获得更高的视觉流畅度。
附图说明
[0032]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
[0033]图1是本专利技术实施例提供的运动视频流的补偿方法的流程示意图；
[0034]图2是本专利技术实施图1中步骤S300的具体流程示意图；
[0035]图3是本专利技术实施图2中步骤S320的具体流程示意图；
[0036]图4是本专利技术实施例提供的运动视频流的补偿装置的结构示意图；
[0037]图5是本专利技术实施例提供的一种智能终端的内部结构原理框图。
具体实施方式
[0038]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本专利技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本专利技术。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本专利技术的描述。
[0039]应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、
操作、元素、组件和/或其集合的存在或添加。
[0040]还应当理解，在本专利技术说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本专利技术。如在本专利技术说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
[0041]还应当进一步理解，在本专利技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
[0042]如在本说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当
…
时”或“一旦”或“响应于确定”或“响应于检测到”。类似的，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述的条件或事件]”或“响应于检测到[所描述条件或事件]”。
[0043]下面结合本专利技术实施例的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术的一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.运动视频流的补偿方法，其特征在于，包括：获取运动视频流和所述运动视频流拍摄时采集的空间数据；基于所述运动视频流，确定所述运动视频流的丢失帧和参考帧；基于所述空间数据和所述参考帧，获得补偿帧；基于所述补偿帧，重建所述丢失帧。2.如权利要求1所述的运动视频流的补偿方法，其特征在于，所述空间数据包括通过加速计采集的加速度数据和通过陀螺仪采集的角度数据。3.如权利要求1所述的运动视频流的补偿方法，其特征在于，所述基于所述空间数据和所述参考帧，获得补偿帧，包括：基于所述参考帧的每个像素的屏幕坐标和所述参考帧的深度信息，获得所述参考帧的每个像素的三维坐标；基于所述空间数据对所述三维坐标进行位置时空补偿变换；将位置时空补偿变换后的所述三维坐标转换为屏幕坐标，获得所述补偿帧。4.如权利要求3所述的运动视频流的补偿方法，其特征在于，所述基于所述空间数据对所述三维坐标进行位置时空补偿变换，包括：基于所述三维坐标，获得齐次坐标向量；基于所述空间数据对所述齐次坐标向量进行位置时空补偿变换。5.如权利要求3所述的运动视频流的补偿方法，其特征在于，所述将位置时空补偿变换后的所述三维坐标转换为屏幕坐标，包括：将所述三维坐标展平到图像平面并离散到像素网格，获得所述屏幕坐标。6.如权利要求3所述的运动视频流的补偿方法，其特征在于，所述基于所述参考帧...

【专利技术属性】
技术研发人员：周朝晖，刘昆，
申请(专利权)人：深圳市新田科技有限公司，
类型：发明
国别省市：