为视频播放器装置处理视频数据制造方法及图纸

提供了为视频播放器装置处理视频数据。描述了向视频播放器装置提供视频数据的方法和系统，其中所述方法包括以下步骤：视频处理装置的处理器接收视频帧；处理器从视频播放器装置接收视点信息，视点信息限定视频帧中像素的有界视口区域；处理器在视点信息的基础上生成经处理的视频帧，该生成包括通过改变定位在视口区域之外的像素的像素值来减小视频帧中像素值的熵；处理器将经处理的视频帧编码成比特流，并将比特流提供给与视频处理装置相关联的视频传输装置；以及视频传输装置将比特流传输到视频播放器装置。

【技术实现步骤摘要】
为视频播放器装置处理视频数据
本专利技术涉及为视频播放器装置处理视频数据，并且特别地但不排他地，涉及用于为视频播放器装置处理视频数据、特别是球形视频数据的方法和系统。本专利技术还涉及使得计算机系统能够执行这类方法的计算机程序产品。
技术介绍
相机和图像处理技术两者中的进步不仅使能对常规2D高分辨率视频的视频记录和处理，而且还使能对以高于8K×4K的分辨率的全360度视频的视频记录和处理。360视频和全向视频是球形视频数据的示例，所述球形视频数据限定位于球形表面上的像素。该类型的视频数据后文可以被称为球形视频。球形视频提供了新的用户体验，诸如目前正在行业中获得发展势头的虚拟现实（VR）和增强现实（AR）。然而，归因于需要的高带宽要求，这类高质量球形视频的大规模流式传输仍造成挑战。然而，观看视频内容的用户可能仅对视频帧内有限的像素区域感兴趣。因此，视频播放器可以被配置为仅显示用户正在观看的视频部分，所述视频部分通常被称为感兴趣区（ROI）。这类方案最少地将冗余视频数据（即，视口之外的未显示的视频数据）传输到视频播放器。该冗余问题在全景和球形本文档来自技高网...

【技术保护点】
1.一种处理视频数据的方法，包括：/n视频处理装置的处理器接收经解码的视频帧，视频帧包括表示视频图像的视频数据，所述视频数据包括像素，其中每个像素与表示亮度/颜色值的一个或多个像素值相关联；/n处理器从与显示器相关联的客户端装置接收视点信息，所述视点信息包括限定显示器的用户的观看方向的观看方向信息；/n所述观看方向信息与视频图像中的视场FOV区和视口区相关联，FOV区限定可以在显示器上渲染的区，并且视口区限定视频图像中包括FOV区的区；/n处理器基于所述观看方向信息和经解码的视频帧来确定掩蔽信息，所述掩蔽信息针对经解码的视频帧的每个像素指示像素是否定位在视口区之外；/n处理器通过将掩蔽操作应用...

【技术特征摘要】
20181220 EP 18214571.41.一种处理视频数据的方法，包括：
视频处理装置的处理器接收经解码的视频帧，视频帧包括表示视频图像的视频数据，所述视频数据包括像素，其中每个像素与表示亮度/颜色值的一个或多个像素值相关联；
处理器从与显示器相关联的客户端装置接收视点信息，所述视点信息包括限定显示器的用户的观看方向的观看方向信息；
所述观看方向信息与视频图像中的视场FOV区和视口区相关联，FOV区限定可以在显示器上渲染的区，并且视口区限定视频图像中包括FOV区的区；
处理器基于所述观看方向信息和经解码的视频帧来确定掩蔽信息，所述掩蔽信息针对经解码的视频帧的每个像素指示像素是否定位在视口区之外；
处理器通过将掩蔽操作应用于视口区之外的像素，来使用所述掩蔽信息将经解码的视频帧转换成经解码的掩蔽视频帧，掩蔽操作减小视口区之外的至少部分像素的像素值的熵；以及
处理器将经解码的掩蔽视频帧提供给编码器装置的输入，并且编码器装置将经解码的掩蔽视频帧编码成经编码的掩蔽视频帧。


2.根据权利要求1所述的方法，进一步包括：
传输器装置将经编码的掩蔽视频帧传输到与客户端装置相关联的解码装置，优选地通过无线传输介质来传输经编码的掩蔽视频帧的至少部分，其中所述传输基于以下各项中的至少一项：3G、4G、5G、Wi-Fi或蓝牙；和/或
将与经编码的掩蔽视频帧相关联的元数据传输到与客户端装置相关联的解码装置，所述元数据包括由视频处理装置用来生成经编码的掩蔽视频帧的视点信息的至少部分、更优选地是视点的位置。


3.根据权利要求1或2所述的方法，其中掩蔽操作包括：
将视口区之外的像素的像素值的至少部分修改为经修改的像素值，经修改的像素值是单个预定值或者经修改的像素值形成规则图案和/或周期性图案；和/或
将视口之外的像素的像素值的至少部分修改为表示像素值的低分辨率版本的经修改的像素值。


4.根据权利要求1-3中任一项所述的方法，其中视频帧是投影视频帧，投影视频帧包括球形视频数据，所述球形视频数据表示与使用投影模型投影到视频帧的2D矩形区域上的球形视频图像相关联的像素；和/或其中所述观看方向信息包括视点，视点限定FOV区和视口区在球形视频图像中的位置，优选地，投影模型基于等矩形投影、圆柱体投影、立方体投影、鱼眼投影或棱锥体投影。


5.根据权利要求4所述的方法，其中确定掩蔽信息包括：
使用投影模型来确定投影视频帧的像素位置和在球形视频图像中的位置之间的像素映射；以及
使用视口在球形视频图像中的位置和像素映射来确定投影视频帧的定位在视口区之外的像素。


6.根据权利要求4或5所述的方法，其中确定掩蔽信息进一步包括：
使用投影模型将视口区投影到投影视频帧的2D矩形区域上；
使用投影视口和投影视频帧的像素来确定投影视频帧的定位在视口区之外的像素。


7.根据权利要求4-6中任一项所述的方法，其中视点区的位置基于角坐标系，优选为球形坐标系。


8.根据权利要求1-7中任一项所述的方法，其中视口区大于FOV区，在视口区内部并且在FOV区之外的区限定空间视口缓冲区SVB，优选地，视口区的尺寸基于可用于向视频播放器装置传输经编码的掩蔽视频帧的带宽和/或基于与以下各项相关联的延迟时间来选择：向与客户端装置相关联的解码装置传输经编码的掩蔽视频帧以及由客户端装置接收经编码的掩蔽视频帧。


9.根据权利要求8所述的方法，其中FOV区包括第一分辨率的像素，并且SVB包括第二分辨率的像素，第一分辨率高于第二分辨率。


10.根据权利要求1-9中任一项所述的方法，其中所述视点信息和/或经编码的掩蔽视频帧通过视频处理装置和客户端装置之间的低延迟通信信道传输，优选地，低延迟通信信道是双向通信信道，更优选地，双向通信信道基于网络套接字标准，甚至更优选地，经编码的掩蔽视频帧作为NAL单元以解码顺序传输到客户端装置。


11.根据权利要求1-10中任一项所述的方法，其中所述视点信息进一步包括以下各项中的至少一项：限定视口的尺寸和/或形状的信息；视频帧参考信息，优选为与掩蔽视频帧相关联的视频帧序列号和/或呈现时间戳（PTS）；延迟时间，优选为运动到高质量MTHQ延迟时间；和/或，其中编码器装置基于预定的视频编码标准、优选为包括以下各项之一的视频编码标准对掩蔽视频帧进行编码：H.264、H.265、HEVC、VP8、VP9、AVC1或AVC2；和/或，其中经编码的视频数据存储在数据容器、优选为一个或多个ISOBMFF数据容器和/或一个或多个片段MP4容器中；和/或，其中经编码的掩蔽视频帧基于以下视频流式传输协议中的至少一个传输到客户端装置：WebRTC、RTP、RTMP或自适应流式传输协议，优选为HTTP自适应流式传输协议，诸如MPEGDASH、HTTP实况流式传输、HTTP动态流式传输或HTTP平滑流式传输。


12.一种视频处理装置，包括：

【专利技术属性】
技术研发人员：ASR布兰特，HN欣德里克斯，MO范德温特，L达昆图，EDR托马斯，SNB贡克尔，M普林斯，
申请(专利权)人：皇家KPN公司，荷兰应用自然科学研究组织，
类型：发明
国别省市：荷兰;NL