多视点视频中丢失的视频数据的恢复方法、系统及设备技术方案

本发明专利技术公开了一种多视点视频中丢失的视频数据的恢复方法、系统及设备，用以消除重建帧具有的分块效应，提升重建帧的视频质量。多视点视频中丢失的视频数据的恢复方法，包括：接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

【技术实现步骤摘要】

本专利技术涉及多视点视频领域，尤其涉及一种多视点视频中丢失的视频数据的恢复 方法、系统及设备。
技术介绍
多视点视频是视频业务的一项重要内容，其特点是用户可以自由地选择观看的视 角，从而可以观看被拍摄物体(场景)的不同侧面。如图1所示，多视点视频的实现方法是 在拍摄时通过多个角度对同一物体(场景)进行拍摄，按照顺时针方向视角编号依次为1、 2、3. . . 16 ；在编码时对每一个视角的视频流分别进行编码，得到多视点视频编码码流(包 括每一个视角的视频编码码流)；在播放时需要根据用户需求对相应视角的视频编码码流 进行解码和显示。如图2所示，为具有五个视角的多视点视频编码码流的帧结构示意图，其中横坐 标表示时间(t)，纵坐标表示视角编号。各帧图像定义为I帧、P帧和B帧三种类型，其中I 帧为帧内编码图像，是只使用本帧内的数据进行编码的图像；P帧为前向预测编码图像，是 根据前面最近的I帧或P帧作为参考帧进行前向预测编码的图像；B帧为双向预测编码图 像，是根据前面和后面的I帧或P帧进行双向预测编码的图像。多视点视频编码码流在进行网络传输时会出现丢失视频数据的情况。由于多视点 视频编码码流以视频帧为单位，所以某一视频帧的部分视频数据丢失很可能导致该视频帧 无法解码；并且由于视频帧的解码有依赖关系，如果某个视角的视频编码码流中I帧或P帧 丢失(全部视频数据或部分视频数据丢数)，将导致该视角的视频编码码流中后续视频帧 无法解码。现有技术中针对多视点视频编码码流中视频数据丢失的情况，提供了对视频数据 进行处理的方案，如果视频编码码流中存在视频数据的丢失，则对丢失的视频数据进行预 测估计和补偿，需要从丢失了视频数据的视频帧(本申请文件中称为丢失帧)的前向视频 帧中提取视频数据宏块整体复制到该丢失帧中，得到重建帧，从而恢复出丢失的视频数据。 该方案导致重建帧有较明显的分块效应，重建帧的视频质量较差。
技术实现思路
本专利技术提供一种多视点视频中丢失的视频数据的恢复方法、系统及设备，用以消 除重建帧具有的分块效应，提升重建帧的视频质量。本专利技术提供一种多视点视频中丢失的视频数据的恢复方法，包括接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中 携带本视角的摄像机参数；检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根 据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关 视角的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。本专利技术提供一种多视点视频中丢失的视频数据的恢复系统，包括视频发送端，用于发送多视点视频编码码流，其中每一个视角的视频编码码流中 携带本视角的摄像机参数；视频接收端，用于接收视频发送端发送的所述多视点视频编码码流，检测出当前 正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角 的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数， 恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。本专利技术提供一种视频接收端的解码设备，包括接收单元，用于接收视频发送端发送的多视点视频编码码流，其中每一个视角的 视频编码码流中携带本视角的摄像机参数；恢复单元，用于检测出当前正在播放视角的视频编码码流中存在丢失了视频数据 的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视 频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；选取单元，用于从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。本专利技术提供的多视点视频中丢失的视频数据的恢复方法、系统及设备，视频接收 端检测出当前正在播放视角的视频编码码流中存在丢失帧时，根据接收到的其它视角的视 频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复 出若干备选重建帧，并选取一个作为重建帧。本方案利用接收到的其它视角的视频编码码 流中与丢失帧处于相同时间位置上的视频帧，恢复出若干个备选重建帧，充分利用了空间 上不同视角的视频冗余信息，有效解决了多视点视频中视频数据丢失的错误隐藏问题，提 升了丢失帧的重建帧的视频质量；该方案实现简单，并可普遍适用于丢失了全部视频数据 或者部分视频数据的丢失帧的视频数据恢复。附图说明图1为现有技术中多视点视频的实现方法示意图；图2为现有技术中多视点视频编码码流的帧结构示意图；图3为本专利技术实施例中丢失的视频数据的恢复系统示意图；图4为本专利技术实施例中视频接收端的编码设备的结构框图；图5为本专利技术实施例中丢失的视频数据的恢复方法流程图。具体实施例方式本专利技术实施例针对多视点视频编码码流中视频数据丢失的情况，提供了一种多视 点视频中丢失的视频数据的恢复方法及系统，用以消除重建帧具有的分块效应，提升重建 帧的视频质量。首先介绍现有多视点视频的实现系统，由视频发送端、传输网络和视频接收端组 成。视频发送端包括摄像机采集系统和编码设备，摄像机采集系统用于采集每一个视角的 视频流；编码设备用于对摄像机采集系统采集到的每一个视角的视频流分别进行编码，得 到多视点视频编码码流，多视点视频编码码流包括每一个视角的视频编码码流。视频接收端包括解码设备和显示设备，解码设备用于接收多视点视频编码码流，根据用户需求对相 应视角的视频编码码流进行解码；显示设备用于显示解码设备解码后得到的视频图像。本专利技术实施例为了恢复多视点视频中丢失的视频数据，对视频发送端和视频接收 端进行了如下改进对于视频发送端来说，视频发送端发送的多视点视频编码码流，其中每一个视角 的视频编码码流中携带本视角的摄像机参数。视频发送端的改进可以通过对编码设备进行 相应改造实现。具体实施中，视频发送端在发送所述多视点视频编码码流之前，可以根据每一个 视角的视频流通过摄像机标定方法标定每一个视角的摄像机参数(包括内部参数和外部 参数)。多视点视频编码码流中携带的每一个视角的摄像机参数也可以通过其它方式获得， 例如预先配置。摄像机采集系统在对同一物体(场景)进行多个角度的拍摄时，由每一个视角的 摄像机成像几何模型决定空间物点与该视角的二维像点之间的对应关系，摄像机成像几何 模型参数即摄像机参数。空间物点坐标与二维像点坐标之间的关系如公式[1]所示Xp = M1M2XW [1]其中，Xw表示空间物点坐标，)(p表示二维像点坐标，Ml表示摄像机内部参数，M2表 示摄像机外部参数。摄像机标定是确定摄像机参数的一个过程，即确定摄像机的内部几何和光学参数 (内部参数)和确定摄像机坐标系相对世界坐标系的三维位置和方向关系(外部参数)。对于视频接收端来说，检测出当前正在播放视角的视频编码码流中存在丢失了视 频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置 上的视频帧、以及相关视角的摄像机参数，恢复出丢失帧的重建帧。视频接收端的改进可以 通过对解码设备进行相应改造实现。基于以上分析，本专利技术实施例提供了一种多视点视频中丢失的视频数据的恢复系 统，如图3所示，包括视频发送端301，用于发送多视点视频编码码流，其中每一个视角的视频编码码流 中携带本视角的摄像机参数；视频接收端302本文档来自技高网...

【技术保护点】
一种多视点视频中丢失的视频数据的恢复方法，其特征在于，包括：　　接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带本视角的摄像机参数；　　检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备选重建帧；并　　从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。

【技术特征摘要】
1.一种多视点视频中丢失的视频数据的恢复方法，其特征在于，包括接收视频发送端发送的多视点视频编码码流，其中每一个视角的视频编码码流中携带 本视角的摄像机参数；检测出当前正在播放视角的视频编码码流中存在丢失了视频数据的丢失帧时，根据接 收到的其它视角的视频编码码流中与丢失帧处于相同时间位置上的视频帧、以及相关视角 的摄像机参数，恢复出若干备选重建帧；并从恢复出的若干备选重建帧中选取一个作为丢失帧的重建帧。2.如权利要求1所述的方法，其特征在于，所述根据接收到的其它视角的视频编码码 流中与丢失帧处于相同时间位置上的视频帧、以及相关视角的摄像机参数，恢复出若干备 选重建帧，具体包括从其它视角中选取第一视角和第二视角，其中每一次选取出的第一视角和第二视角的 组合各不相同；分别根据各次选取出的第一视角和第二视角的视频编码码流中与丢失帧处于相同时 间位置上的两个视频帧、以及所述第一视角、第二视角和当前正在播放视角的摄像机参数， 恢复出若干备选重建帧。3.如权利要求2所述的方法，其特征在于，所述第一视角从顺时针方向上与当前正在播放视角之间的夹角不大于设定的角度阈 值的各视角中选取，所述第二视角从逆时针方向上与当前正在播放视角之间的夹角不大于 所述角度阈值的各视角中选取，所述角度阈值小于180度。4.如权利要求2或3所述的方法，其特征在于，所述从恢复出的若干备选重建帧中选取 一个作为丢失帧的重建帧，具体包括如果恢复出一个备选重建帧，选取该备选重建帧作为丢失帧的重建帧；如果恢复出两个备选重建帧，选取备选重建帧对应的第一视角和第二视角之间的夹角 较小的备选重建帧作为丢失帧的重建帧；如果恢复出三个或以上备选重建帧，分别计算每一个备选重建帧与其它备选重建帧之 间的差值之和，选取差值之和的最小值对应的备选重建帧作为丢失帧的重建帧。5.如权利要求4所述的方法，其特征在于，如果差值之和的最小值对应的备选重建帧 有至少两个，选取差值之和的最小值对应的任一备选重建帧作为丢失帧的重建帧；或者，从 差值之和的最小值对应的各备选重建帧中，选取备选重建帧对应的第一视角和第二视角之 间的夹角最小的备选重建帧作为丢失帧的重建帧。6.如权利要求4所述的方法，其特征在于，备选重建帧与其它备选重建帧之间的差值 之和的计算方法，具体包括分别计算备选重建帧与每一个其它备选重建帧之间的绝对差值，备选重建帧与任一其 它备选重建帧之间的绝对差值为备选重建帧与该其它备选重建帧中各对应像素点的亮度 值之间的差值绝对值之和；将得到的各绝对差值求和，得到备选重建帧与其它备选重建帧之间的差值之和。7.如权利要求1所述的方法，其特征在于，还包括所述视频发送端在发送所述多视点视频编码码流之前，根据每一个视角的视频流标定 每一个视角的摄像机参数。8.一种多视点视频中丢失的视频数据的恢复系统，其特征在于，包括视频发送端，用于发送多视点视频编码码流，其中每一个视角的视频编码码流中携带 本视角的摄像机参数；视频接收端，用于接收视频发送端发送的所述多视点...

【专利技术属性】
技术研发人员：黄晓伟，袁潮，
申请(专利权)人：中国移动通信集团公司，
类型：发明
国别省市：11[中国|北京]