计算机装置与合成深度图产生方法制造方法及图纸

一种计算机装置与产生合成深度图的方法被公开。该计算机装置根据一影像的一影像深度图所包含的多个像素的多个像素深度与该影像的一稀疏点云图所包含的多个特征点的多个特征点深度，计算该稀疏点云图中的各个非特征点的一估算深度，且根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。

【技术实现步骤摘要】
计算机装置与合成深度图产生方法
本专利技术的实施例是关于一种计算机装置及影像处理方法。更具体而言，本专利技术的实施例是关于一种计算机装置及合成深度图产生方法。
技术介绍
在影像处理这个领域之中，经常会需要影像深度信息，以实现例如影像合成、扩增实境、混和实境等应用。在某些情况下，可以通过各种电脑演算法来产生一影像的一影像深度图，藉此取得该影像的深度信息。一般而言，一影像深度图会包含一影像中所有像素的深度，其中相邻像素之间的深度的差值可能是正确的，但是其绝对的深度不一定是正确的。因此，影像深度图所提供的深度信息具有完整性高，但正确率却不高的特性。在某些情况下，也可以通过同步定位与地图重建技术来产生一影像的一稀疏点云图，藉此取得该影像的深度信息。一般而言，一稀疏点云图只能提供一影像中的特征点的深度，其中该些特征点的深度的正确率高，但是非特征点的深度是未知的深度。因此，稀疏点云图所提供的深度信息具有正确率高，完整性低的特性。如上所述，影像深度图和稀疏点云图的使用环境都受到限制，且通常来说，适合使用影像深度图的环境就不适合使用稀疏点云图，反之亦然。有鉴于此，将有必要针对传统的影像深度信息的提供方法进行改善。
技术实现思路
为了解决至少上述的问题，本专利技术的实施例提供了一种计算机装置，该计算机装置可包含互相电性连接的一存储器与一处理器。该存储器可用以存储一影像的一稀疏点云图以及该影像的一影像深度图，其中该稀疏点云图包含多个特征点与多个非特征点，各该多个特征点具有一特征点深度，该影像深度图包含多个像素，各该多个像素具有一像素深度。该处理器可用以根据该多个像素深度与该多个特征点深度，计算各该多个非特征点的一估算深度，并根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。为了解决至少上述的问题，本专利技术的实施例还提供了一种合成深度图产生方法，且该合成深度图产生方法可包含以下步骤：一计算机装置根据一影像的一影像深度图所包含的多个像素的多个像素深度与该影像的一稀疏点云图所包含的多个特征点的多个特征点深度，计算该稀疏点云图中的各个非特征点的一估算深度；以及该计算机装置根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。在本专利技术的实施例中，计算机装置保留了稀疏点云图中具有高正确率的特征点深度，且根据这些特征点深度以及具有高完整性的影像深度图中的像素深度来计算出稀疏点云图中的非特征点的估算深度，故根这些特征点深度以及这些非特征点的估算深度所产生的合成深度图能够提供具有高正确率以及高完整性的深度信息。除此之外，因该合成深度图具备了稀疏点云图的高正确率以及影像深度图的高完整性，故加该合成深度图也具有更高的适用性。以上内容并非为了限制本专利技术，而只是概括地叙述了本专利技术可解决的技术问题、可采用的技术手段以及可达到的技术功效，以让本领域技术人员初步地了解本专利技术。根据检附的附图及以下的实施方式所记载的内容，本领域技术人员便可进一步了解本专利技术的各种实施例的细节。附图说明图1例示了根据某些实施例的用以产生影像的合成深度图的计算机装置的示意图。图2例示了根据某些实施例的图1的计算机装置产生影像的合成深度图的流程的示意图。图3例示了根据某些实施例的一影像的影像深度图、稀疏点云图、以及合成深度图的某些像素深度的长条图。图4例示了根据某些实施例的合成深度图产生方法的示意图。附图标记说明如下所示：1：计算机装置11：处理器13：存储器15：摄影机17：传输接口IM：影像IMS：稀疏点云图IMD：影像深度图2：产生合成深度图的流程201、203a、203b、205、207：处理3a、3b、3c：像素深度长条图4：合成深度图产生方法401、403：步骤具体实施方式以下将通过多个实施例来说明本专利技术，惟这些实施例并非用以限制本专利技术只能根据所述操作、环境、应用、结构、流程或步骤来实施。与本专利技术非直接相关的元件并未示出于附图中，但可隐含于附图中。于附图中，各元件(element)的尺寸以及各元件之间的比例仅是范例，而非用以限制本专利技术。除了特别说明之外，在以下内容中，相同(或相近)的元件符号可对应至相同(或相近)的元件。在可被实现的情况下，如未特别说明，以下所述的每一个元件的数量可以是一个或多个。本公开使用的用语仅用于描述实施例，并不意图限制本专利技术。除非上下文另有明确说明，否则单数形式「一」也旨在包括多个形式。「包括」、「包含」等用语指示所述特征、整数、步骤、操作、元素及/或元件的存在，但并不排除一或多个其他特征、整数、步骤、操作、元素、元件及/或前述的组合的存在。用语「及/或」包含一或多个相关所列项目的任何及所有的组合。图1例示了根据某些实施例的计算机装置的示意图。图1所示内容仅是为了举例说明本专利技术的实施例，而非为了限制本专利技术。图1所示的计算机装置1可以是一具有计算机功能的电子装置，例如但不限于：一服务器、一笔记型电脑、一平板电脑、一桌上型电脑、一移动装置等。计算机装置1也可以是指被设置在各种电子装置中的计算机晶片。参照图1，计算机装置1基本上可包含互相电性连接的处理器11与存储器13。处理器11可以包含一或多个具备信号处理功能的微处理器(microprocessor)或微控制器(microcontroller)。微处理器或微控制器是一种可程式化的特殊集成电路，其具有运算、存储、输出/输入等能力，且可接受并处理各种编码指令，藉以进行各种逻辑运算与算术运算，并输出相应的运算结果)。处理器11可以针对输入的影像IM进行各种运算，举例而言，在某些实施例中，处理器11可计算影像IM的稀疏点云图IMS及/或影像深度图IMD、且根据影像IM的稀疏点云图IMS与影像深度图IMD产生影像IM的合成深度图(容后详述)。存储器13可包含各种存储单元。举例而言，存储器13可包含第一级存储单元(又称主存储单元或内部存储单元)，其与中央处理单元(CPU)直接连接。除了第一级存储单元，在某些实施例中，存储器13还可包含第二级存储单元(又称外部存储单元或辅助存储单元)，其通过存储单元的I/O通道来与CPU连接。第二级存储单元可例如是各种类型的硬盘、光盘等。除了第一级存储单元与第二级存储单元，在某些实施例中，存储器13亦可包含第三级存储单元，例如可直接插入或自电脑拔除的存储单元，例如随身盘。在某些实施例中，存储器13还可包含云端存储单元。存储器13可存储计算机装置1本身产生的数据以及输入至计算机装置1的各种数据，例如影像IM、影像IM的稀疏点云图IMS、以及影像IM的影像深度图IMD等。在某些实施例中，可选择地，计算机装置1还可包含与处理器11电性连接的摄影机15。摄影机15可以是各种具有动态撷取影像及/或静态撷取影像的功能的装置，例如但不限于：数码相机、录影机、或各种具有摄影功能的移动装置等。另外，摄影机15可以具备一有线连接器及/或一无线连本文档来自技高网...

【技术保护点】
1.一种计算机装置，其特征在于，包含：/n一存储器，用以存储一影像的一稀疏点云图以及该影像的一影像深度图，其中该稀疏点云图包含多个特征点与多个非特征点，各该多个特征点具有一特征点深度，该影像深度图包含多个像素，各该多个像素具有一像素深度；以及/n一处理器，电性连接至该存储器，且用以根据该多个像素深度与该多个特征点深度，计算各该多个非特征点的一估算深度，并根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。/n

【技术特征摘要】
20191105 TW 1081401071.一种计算机装置，其特征在于，包含：
一存储器，用以存储一影像的一稀疏点云图以及该影像的一影像深度图，其中该稀疏点云图包含多个特征点与多个非特征点，各该多个特征点具有一特征点深度，该影像深度图包含多个像素，各该多个像素具有一像素深度；以及
一处理器，电性连接至该存储器，且用以根据该多个像素深度与该多个特征点深度，计算各该多个非特征点的一估算深度，并根据该多个特征点深度与该多个估算深度产生该影像的一合成深度图。


2.如权利要求1所述的计算机装置，其特征在于，该处理器计算该多个估算深度的过程包含：根据该多个像素深度计算该多个像素的多个深度梯度，且在满足该多个非特征点的深度梯度与该影像深度图中相对应的像素的深度梯度之间的差异最小化的条件下，根据该多个像素的该多个深度梯度与该多个特征点深度计算出该多个估算深度。


3.如权利要求1所述的计算机装置，其特征在于，还包含：
一摄影机，电性连接至该处理器，用以在一场域中撷取该影像；
其中该处理器还用以通过Fast-Depth演算法以及DF-Net演算法的其中之一来计算出该影像的该影像深度图，并将该影像深度图存储到该存储器中。


4.如权利要求1所述的计算机装置，其特征在于，还包含：
一摄影机，电性连接至该处理器，用以在一场域中以不同的摄影角度撷取该影像以及其他相关影像；
其中该处理器还用以根据该影像以及该其他相关影像，通过ORB-SLAM2演算法、Stereo-Matching演算法、L...

【专利技术属性】
技术研发人员：翁明昉，陈柏志，
申请(专利权)人：财团法人资讯工业策进会，
类型：发明
国别省市：中国台湾;71