点云预测因子的产生方法技术

一种点云预测因子的产生方法，包含：取得编码单元，其中编码单元产生自当前三维图像，根据编码单元取得当前三维图像中的当前三维区块，根据当前三维区块取得参考三维图像中的参考三维区块，其中参考三维图像关联于当前三维图像，根据参考三维区块取得参考二维图像中的参考二维单元，其中参考二维图像产生自参考三维图像，以及根据编码单元与参考二维单元之间的变异程度产生及输出预测因子。间的变异程度产生及输出预测因子。间的变异程度产生及输出预测因子。

【技术实现步骤摘要】
点云预测因子的产生方法


[0001]本专利技术关于一种点云预测因子的产生方法。

技术介绍

[0002]点云(point cloud)是空间中不规则的点的数据集，可以表示三维形状或物件，且点与点之间并无关联性。点云通常是用于表示三维的坐标(例如，X、Y及Z轴坐标)，每一点即代表物件一个表面的位置。通过将每个点连接在一起，即可建立该物件的三维图像。除了三维坐标外，点云还可包含三原色(R、G、B)坐标及色彩空间(color space)坐标(Y、U、V)等属性(attribute)坐标，用于呈现该物件的颜色。
[0003]根据现有技术，在产生比特流(bit stream)前，三维图像会被投影至六面体的表面，以产生多个拼贴(patch)，并把这些拼贴布置在二维的视频帧中，再由编码器(encoder)进行编码。在把这些拼贴布置在二维的视频帧时，通常是依照拼贴的大小进行排序，从每个帧的左上角位置作为起点，寻找适合摆放该拼贴的位置。然而，此拼贴布置方式会导致每个拼贴之间的时间连续性被破坏。即使是使用画面间(inter)预测的方式试图找出与当前编码单元最接近的预估单元，亦无法在相邻帧找到相同的拼贴中的单元。若为了增加搜寻预估单元的精确度而使用全域(global)搜寻，更会导致编码时间及编码复杂度的增加。

技术实现思路

[0004]鉴于上述，本专利技术提供一种以满足上述需求的点云预测因子的产生方法。
[0005]依据本专利技术一实施例的一种点云预测因子的产生方法，包含：取得一编码单元；以及根据该编码单元与一参考二维单元之间的一变异程度产生及输出一预测因子。
[0006]依据本专利技术一实施例的一种点云预测因子的产生方法，包含：取得一编码单元；根据该编码单元取得一当前投影框与一参考投影框之间的一第一变异程度；根据该编码单元取得一当前界限框与一参考界限框之间的一第二变异程度；以及基于该第一变异程度与该第二变异程度之和输出一预测因子。
[0007]综上所述，依据本专利技术一或多个实施例所示的点云预测因子的产生方法，可增进编码器及解码器在搜寻与当前编码单元最接近的预估单元的效率，并同时降低搜寻时所需的运算量，及降低编码时间及编码复杂度。此外，依据本专利技术一或多个实施例所示的点云预测因子的产生方法，可搜寻到更精准的预估单元，且在解码时，更可重建每个拼贴在帧与帧之间的时间连续性。
[0008]以上关于本公开内容的说明及以下实施方式的说明用以示范与解释本专利技术的精神与原理，并且提供本专利技术的保护范围的更进一步的解释。
附图说明
[0009]图1系依据本专利技术一实施例所绘示的点云预测因子的产生方法的流程图。
[0010]图2(a)到2(d)系依据本专利技术一实施例所绘示的点云预测因子的产生方法的示意
stream)至解码器(decoder)之前，及解码器在解码比特流以重建视频(video)的过程。因此，通过本专利技术的点云预测因子的产生方法，解码器在对视频进行解码时，可取得更精准的预估单元或预估区块。另需说明的是，一帧三维图像可用于产生多个二维的拼贴(patch)，而下文中所述的“单元”是指一个二维拼贴中的一部份，亦可为一个完整的二维拼贴，或为多个二维拼贴；“区块(block)”是指所述三维图像中的一部份(一个立体区块)，亦可为完整的一帧三维图像。
[0043]本专利技术的点云预测因子的产生方法可由编码器(encoder)装置及解码器(decoder)装置执行，较佳是由编码器及解码器的处理器、伺服器等运算装置执行，本专利技术不对执行点云预测因子的产生方法的硬体装置予以限制。为便于说明，下文将以编码器及解码器端的处理器作为执行本专利技术的点云预测因子的产生方法的硬体装置。请一并参考图1及图2(a)到2(d)，图1系依据本专利技术一实施例所绘示的点云预测因子的产生方法的流程图；图2(a)到2(d)系依据本专利技术一实施例所绘示的点云预测因子的产生方法的示意图。图1中的步骤A03、A05及A07可以是选择性执行的步骤；图2(b)及图2(c)为彼此相似但不完全相同的三维图像，例如，图2(b)及图2(c)可为在时域上的不同帧的三维图像。
[0044]于步骤A01，处理器取得编码单元11。处理器取得当前二维图像10的编码单元11，其中当前二维图像10产生自一当前三维图像12。具体地，处理器在取得当前二维图像10的方式可为，将当前三维图像12投影至一假想的六面体的表面，以产生多个拼贴，并将这些拼贴封装至二维的帧以产生当前二维图像10。所述的编码单元11即位于当前二维图像10中待编码的单元。所述的单元可为高效率视频编码(high efficiency video coding，HEVC)的基本单元(basic unit)，亦可为基本单元中的中心像素。处理器可取得指代这些拼贴中每个单元的坐标(例如，图5(b)中的坐标(u0
c
,v0
c
))，亦可于判断这些拼贴中的编码单元11为需进行编码的单元后，取得指代编码单元11的坐标(例如，图5(b)中的坐标(u0
c
,v0
c
))。
[0045]接着，于步骤A03，处理器根据编码单元11取得当前三维图像12中的当前三维区块13，其中所述区块为立体的区块。当前三维图像12可为三维视频(video)的其中一帧的图像，而当前三维区块13即为当前三维图像12中对应于编码单元11的立体区块。由于当前二维图像10可为由当前三维图像12解构(通过投影的方式解构)而成的拼贴(或拼贴的一部分)，故处理器可根据二维的编码单元11，取得编码单元11在当前三维图像12中对应的当前三维区块13。
[0046]具体地，处理器可预存当前三维图像12的每个区块与当前二维图像10的每个单元之间的对应关系，故处理器可以查表的方式执行步骤A03。更详细而言，在基于当前三维图像12产生封装的拼贴时，处理器可建立或更新一组坐标转换参数，该组坐标转换参数记录了每个二维拼贴中的单元的坐标与当前三维图像12的每个区块的坐标之间的对应关系。因此，在步骤A03，处理器可判断该组坐标转换参数的这些单元中与编码单元11相同的一者，并以与编码单元11相同的单元所对应的区块作为当前三维区块13。简言之，在步骤A03，处理器可根据编码单元11及该组坐标转换参数判得当前三维区块13。
[0047]于步骤A05，处理器根据当前三维区块13取得参考三维图像22中的参考三维区块23，其中参考三维图像22关联于当前三维图像12，且参考三维图像22为已被编码的图像。所述“参考三维图像22关联于当前三维图像12”可以指参考三维图像22与当前三维图像12是在同一个三维视频中的不同帧的图像；可以指参考三维图像22与当前三维图像12中可能出
现相似之物件或具有至少一个相同的物件(例如，图2(b)及图2(c)中的人)；亦可以指参考三维图像22与当前三维图像12是在同一个三维视频中的不同帧的图像，且此二帧图像中可能出现相似之物件或具有至少一个相同的物件。例如，参考三维图像22可在时域上为当前三本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云预测因子的产生方法，包含：取得编码单元；以及根据该编码单元与参考二维单元之间的变异程度产生及输出预测因子。2.如权利要求1所述的点云预测因子的产生方法，其中，在取得该编码单元的步骤之后，还包括：根据该编码单元取得当前三维图像中的当前三维区块；根据该当前三维区块取得参考三维图像中的参考三维区块；以及根据该参考三维区块取得参考二维图像中的该参考二维单元；其中，该编码单元产生自该当前三维图像。3.如权利要求2所述的点云预测因子的产生方法，其中该编码单元位于产生自该当前三维图像的当前二维图像，在取得该当前三维区块之前，该方法更包含：取得一组坐标转换参数，其中该组坐标转换参数记录该当前三维图像的多个区块及该当前二维图像的多个单元之间的对应关系，而根据该编码单元取得该当前三维图像中的该当前三维区块包含：判断该组坐标转换参数的所述多个单元中与该编码单元相对应的一者；以及将对应于与该编码单元相同的该单元的该区块作为该当前三维区块。4.如权利要求2所述的点云预测因子的产生方法，其中根据该参考三维区块取得该参考二维图像中的该参考二维单元包含：在该参考二维图像圈选出参考范围，其中该参考范围包括多个无效单元及多个可用单元；根据填充地图，取得该参考三维图像中对应所述多个可用单元的多个初始三维区块；以及判断所述多个初始三维区块中与该参考三维区块最接近的一者，并将该参考三维区块在该参考二维图像中对应的单元作为该参考二维单元。5.如权利要求2所述的点云预测因子的产生方法，其中根据该参考三维区块取得该参考二维图像中的该参考二维单元包含：根据该参考三维区块于该参考二维图像圈选出参考范围，其中该参考范围包括多个无效单元及多个可用单元；根据填充地图，取得该参考三维图像中的多个初始三维区块；以及判断所述多个初始三维区块中与该参考三维区块最接近的一者，并将该参考三维区块在该参考二维图像中对应的单元作为该参考二维单元。6.如权利要求2所述的点云预测因子的产生方法，其中在产生该预测因子...

【专利技术属性】
技术研发人员：林杰儒，林敬杰，王圣博，林俊隆，
申请(专利权)人：财团法人工业技术研究院，
类型：发明
国别省市：