基于输入地理位置的解码图块与显示位置同步方法及相关视频解码装置制造方法及图纸

一种解码图块与显示位置同步方法，用于一视频比特流解码装置。该方法包含根据一地理位置，判断一输入比特流的一原始图像的一兴趣区，以撷取该兴趣区的兴趣图块数据，其中该兴趣区对应一兴趣图像；根据该兴趣图块数据，重建该输入比特流，以产生一重建比特流；解码该重建比特流，以产生一重建解码图像；以及根据该兴趣图块数据，将该重建解码图像转换为该兴趣图像。

Synchronization method of decoding block and display position based on input geographic location and related video decoding device

【技术实现步骤摘要】
基于输入地理位置的解码图块与显示位置同步方法及相关视频解码装置
本专利技术是指一种解码图块与显示位置同步方法及相关视频解码装置，尤指一种基于输入地理位置的解码图块与显示位置同步的方法及相关视频解码装置。
技术介绍
在全景虚拟现实(360-DegreeVirtualReality，简称VR360)应用中，当使用世界地图模式时，视频解码装置(例如，虚拟现实装置)会依照使用者选取的地理位置(例如，经度、纬度及对应视角)来决定其屏幕的显示内容。一般而言，虚拟现实装置可透过网络从世界地图数据库下载图像档案(例如，视频比特流(Videobit-stream))，将图像档案暂存于内建存储器(例如，帧缓存器(framebuffer))中，再对图像档案进行解码来取得欲显示的图像，以将之显示于屏幕。图1绘示根据一地理位置L1，从一世界地图E_MAP载入一视野区FOV1的示意图。图2绘示根据一地理位置L2，从世界地图E_MAP载入一视野区FOV2的示意图。如第1、2图所示，世界地图E_MAP可依据多个经度及多个纬度而分割为多个图块(tile)编号0～509(例如，30经度*17纬度＝510图块)。由于世界地图E_MAP是由球体表面转换而来的平面地图，因此需显示的分区图像大小或形状会随着不同的经纬度而有所不同。举例来说，于图1中，当地理位置L1落在纬度0度(赤道)时，视野区(FieldofView)FOV1包含图块编号98～111、128～141、158～171、188～201、218～231、248～261、278～291、308～321、338～351、368～381、398～411，共154个图块；其中屏幕的显示内容为一兴趣区(RegionofInterest)ROI1，兴趣区ROI1包含图块编号132～137、160～169、189～200、219～230、249～260、279～290、309～320、340～349、372～307，共80个图块。于图2中，当地理位置L2落在纬度56度时，视野区FOV2包含图块编号0～29、30～59、60～171、90～201、120～231、150～261、180～291、210～321、240～351、270～381，共300个图块；其中屏幕的显示内容为一兴趣区ROI2，兴趣区ROI2包含图块编号0～29、36～53、67～82、97～112、127～142、157～172、188～201、219～230、250～252、257～259，共144个图块。比较第1、2图可发现视野区FOV1及FOV2的长度与宽度皆不同，因此在进行分区图像解码时需要的存储器尺寸(例如，帧缓存器的尺寸)也不同。目前全景虚拟现实技术采用高效率视频编解码(HighEfficiencyVideoCoding，简称HEVC)标准来进行图像编码及解码，然而现有硬件设计可支持的最大像素宽度为4096以及最大像素高度为2560。由于视野区FOV2的像素宽度7860超过最大像素宽度4096，造成现有HEVC的硬件设计无法支持视野区FOV2的图像解码工作，导致虚拟现实装置无法正常显示。此外，HEVC标准定义了运动约束图块集合(motion-constrainedtileset，简称MCTS)，允许MCTS里的图块可独立解码而不需参考其他数据。然而，申请人注意到在进行MCTS解码时，若使用者将视角从地理位置L1移动到地理位置L2，现有视频解码装置却未同步变更需解码的目标图块(因为MCTS里的图块可独立解码而不需参考其他数据)，使得视频解码装置把兴趣区ROI1的解码图像映射到兴趣区ROI2的显示位置，导致虚拟现实装置显示错误图像。有鉴于此，如何解决图块重建以及解码图块与显示位置同步的问题，以确保虚拟现实装置能正常显示，实乃本领域的重要课题。
技术实现思路
因此，本专利技术的主要目的即在于提供一种解码图块与显示位置同步的方法及相关视频解码装置，以确保虚拟现实装置能正常显示。本专利技术揭露一种解码图块与显示位置同步方法，用于一视频解码装置。该方法包含根据一地理位置，判断一输入比特流的一原始图像的一兴趣区，以撷取该兴趣区的兴趣图块数据，其中该兴趣区对应一兴趣图像；根据该兴趣图块数据，重建该输入比特流，以产生一重建比特流；解码该重建比特流，以产生一重建解码图像；以及根据该兴趣图块数据，将该重建解码图像转换为该兴趣图像。本专利技术另揭露一种视频解码装置，用于一电子装置，包含一比特流接收单元，用来接收一输入比特流；一解码帧缓存器，用来暂存该输入比特流的一重建解码图像；以及一处理器，耦接于该比特流接收单元以及该解码帧缓存器，用来执行一解码图块与显示位置同步流程，其中该解码图块与显示位置同步流程包含上述解码图块与显示位置同步方法的所有步骤。本专利技术的视频解码装置可根据使用者输入的地理位置，撷取输入比特流的图像帧中属于兴趣区的相关图像解码数据；在给定解码帧缓存器尺寸的条件下，根据相关图像解码数据来重建输入比特流，以产生重建比特流；对重建比特流进行图像解码，以产生重建解码图像并将之暂存于解码帧缓存器；最后将重建解码图像(例如，属于兴趣区的图块)进行重组，以还原并产生解码图像。如此一来，本专利技术的视频解码装置可在不增加解码帧缓存器面积的前提下，针对属于兴趣区的相关图块进行解码，如此可确保电子装置能正常显示解码图像，也可避免增加视频解码装置的硬件成本。此外，由于重建比特流是依据使用者输入的地理位置及对应兴趣区的相关图像解码数据来产生，因此可确保电子装置显示的解码图像能正确映射到使用者输入的地理位置。附图说明图1绘示根据一地理位置，从一世界地图载入一视野区的示意图。图2绘示根据另一地理位置，从一世界地图载入另一视野区的示意图。图3为本专利技术实施例一电子装置的功能方块图。图4为一HEVC比特流的编码格式范例的示意图。图5A到图5F为本专利技术多个实施例图块分组与填补方式的示意图。图6为本专利技术实施例一解码图块与显示位置同步流程的流程图。图7为本专利技术实施例一比特流编码流程的流程图。符号说明E_MAP世界地图L1、L2地理位置FOV1、FOV2视野区ROI1、ROI2兴趣区3电子装置30视频解码装置32图像处理器34显示帧缓存器300比特流接收单元301兴趣区定位单元302比特流重建单元303视频解码器304局部区填补单元305解码帧缓存器6、7流程601、602、603、604、701、702、703、704、705步骤具体实施方式图3为本专利技术实施例一电子装置3的功能方块图。电子装置3包含一视频解码装置30、一图像处理器(Graphicprocessingunit，GPU)32以及一显示帧缓存器34。电子装置3可以是虚拟现实装置或桌面计算机、笔记本电脑、智能型手机等装置。视频解码装置本文档来自技高网...

【技术保护点】
1.一种解码图块与显示位置同步方法，用于一视频解码装置，包含：/n根据一地理位置，判断一输入比特流的一原始图像的一兴趣区，以撷取该兴趣区的兴趣图块数据，其中该兴趣区对应一兴趣图像；/n根据该兴趣图块数据，重建该输入比特流，以产生一重建比特流；/n解码该重建比特流，以产生一重建解码图像；以及/n根据该兴趣图块数据，将该重建解码图像转换为该兴趣图像。/n

【技术特征摘要】
1.一种解码图块与显示位置同步方法，用于一视频解码装置，包含：
根据一地理位置，判断一输入比特流的一原始图像的一兴趣区，以撷取该兴趣区的兴趣图块数据，其中该兴趣区对应一兴趣图像；
根据该兴趣图块数据，重建该输入比特流，以产生一重建比特流；
解码该重建比特流，以产生一重建解码图像；以及
根据该兴趣图块数据，将该重建解码图像转换为该兴趣图像。


2.如权利要求1所述的解码图块与显示位置同步方法，其特征在于，该兴趣图块数据指示该原始图像的高度及宽度、该兴趣区的多个兴趣图块子集的一数量、该重建解码图的解码帧缓存器地址、该解码图的显示帧缓存地址以及该兴趣区的高度及宽度。


3.如权利要求1所述的解码图块与显示位置同步方法，其特征在于，根据该兴趣图块数据，重建该输入比特流，以产生该重建比特流的步骤包含：
根据该兴趣图块数据，对该输入比特流的一第一使用者定义语法元素重新编码，以产生该重建比特流。


4.如权利要求3所述的解码图块与显示位置同步方法，其特征在于，解码该重建比特流，以产生该重建解码图像的步骤包含：
解码该重建比特流的一第二使用者定义语法元素；以及
根据该使用者定义语法元素，配置解码帧缓存器地址给该重建解码图，以产生该重建解码图像。


5.如权利要求4所述的解码图块与显示位置同步方法，其特征在于，根据该兴趣图块数据，将该重建解码图像转换为该兴趣图像的步骤包含：
根据该第二使用者定义语法元素，调整该重建解码图的该解码帧缓存器地址为显示帧缓存器地址，以将该重建解码图像转换为该兴趣图像。


6.如权利要求3所述的解码图块与显示位置同步方法，其特征在于，该第一使用者定义语法元素及该第二使用者定义语法元素分别是该输入比特流及该重建比特流的一辅助增强信息语法元素、一虚设位或一专用位。


7.如权利要求1所述的解码图块与显示位置同步方法，其特征在于，该地理位置对应一经度、一纬度以及一视角。


8.如权利要求1所述的解码图块与显示位置同步方法，其特征在于，另包含：
读取该输入比特流的一使用者定义数据，以取得该地理位置。


9.如权利要求1所述的解码图块与显示位置同步方法，其特征在于，另包含：
执行一系统应用组件，以读取该地理位置。


10.如权利要求1所述的解码图块与显示位置同步方法，其特征在于，另包含：
透过该视频解码装置的一硬件定位模块，读取该地理位置。


11.一种视频解码装置，用于一电子装置，包含：
一比特流接收单元，用来接收一输入比特流；
...

【专利技术属性】
技术研发人员：王颂文，
申请(专利权)人：晨星半导体股份有限公司，
类型：发明
国别省市：中国台湾;71