影像处理系统及影像处理方法技术方案

一种影像处理方法包括：产生一当前深度地图(depth map)及一当前信心地图(confidence map)；接收对应一先前位置的一先前摄像姿态，先前位置具有对应的一第一深度地图及一第一信心地图；依据先前摄像姿态及当前位置的一当前摄像姿态，将第一深度地图的至少一像素位置映射(mapping)到当前深度地图的至少一像素位置；选择第一信心地图的至少一像素的信心值与各自对应的当前信心地图的至少一像素的信心值相比后的信心值最高者；以及依据此些信心值最高者所对应的像素产生当前位置的一最佳化深度地图。

Image processing system and image processing method

【技术实现步骤摘要】
影像处理系统及影像处理方法
本专利技术有关于处理系统，特别是有关于一种影像处理系统及影像处理方法。
技术介绍
一般而言，双摄像镜头通常应用于建构视差图以进行深度估算，深度估计的主要概念是匹配(matching)双摄像镜头不同视角影像中的对应像素。然而，低纹理表面中的像素没有明显的匹配特征，这导致深度估计中的匹配结果不稳定。另一方面，在低光源环境中处理器需要提高亮度增益，以保持输出图像的亮度。但是，较高的亮度增益会在输出图像中产生噪点，导致深度估算值不稳定并降低可信度。可信度较低的深度估计会影响后续应用的品质，深度估计可应用于虚拟实境或扩增实境中，例如物件或环境的三维重建。尽管采用较长的曝光时间或噪点抑制可以减轻问题，但此些方法还会引发其他成像问题，例如运动模糊或图像中丢失更多细节。现有的双摄多视图方法可以保持视差的时间一致性，但是庞大复杂的处理过程，需要大量的计算。因此，要如何提高深度图的品质与稳定性，尤其是在影像中的低纹理或噪点区域，已成为本领域待解决的问题之一。
技术实现思路
本专利技术实施例提供一种影像处理系统包括一摄像模组及一处理器。摄像模组包括一第一摄像镜头及一第二摄像镜头。第一摄像镜头用以于一当前位置拍摄一第一视角影像。第二摄像镜头用以于一当前位置拍摄一第二视角影像。处理器用以依据第一视角影像及第二视角影像产生一当前深度地图(depthmap)及一当前信心地图(confidencemap)，当前信心地图包含每个像素的信心值。处理器接收对应一先前位置的一先前摄像姿态，先前位置具有对应的一第一深度地图及一第一信心地图，依据先前摄像姿态及当前位置的一当前摄像姿态，将第一深度地图的至少一像素位置映射(mapping)到当前深度地图的至少一像素位置，选择第一信心地图的至少一像素的信心值与各自对应的当前信心地图的至少一像素的信心值相比后的信心值最高者，依据此些信心值最高者所对应的像素产生当前位置的一最佳化深度地图。本专利技术实施例系提供一种影像处理方法包括：藉由一第一摄像镜头于一当前位置拍摄一第一视角影像；藉由一第二摄像镜头于当前位置拍摄一第二视角影像；依据第一视角影像及第二视角影像产生一当前深度地图(depthmap)及一当前信心地图(confidencemap)；其中当前信心地图包含每个像素的信心值；接收对应一先前位置的一先前摄像姿态，先前位置具有对应的一第一深度地图及一第一信心地图；依据先前摄像姿态及当前位置的一当前摄像姿态，将第一深度地图的至少一像素位置映射(mapping)到当前深度地图的至少一像素位置；选择第一信心地图的至少一像素的信心值与各自对应的当前信心地图的至少一像素的信心值相比后的信心值最高者；以及依据此些信心值最高者所对应的像素产生当前位置的一最佳化深度地图。综上所述，本专利技术实施例系提供一种影像处理系统及影像处理方法，可以使摄像模组在拍摄低纹理物体或是低光源环境时，透过参考当前影像与前几张影像中各相素的信心值，以产生当前影像最佳化的深度资讯，并可达到应用当前影像最佳化的深度资讯，产生较精准的三维影像的功效。附图说明图1为根据本专利技术的一实施例绘示的一种影像处理系统的示意图。图2为根据本专利技术的一实施例绘示的一种影像处理方法的流程图。图3为根据本专利技术的一实施例绘示的一种信心值的示意图。图4为根据本专利技术的一实施例绘示的一种影像处理方法的示意图。具体实施方式以下说明系为完成专利技术的较佳实现方式，其目的在于描述本专利技术的基本精神，但并不用以限定本专利技术。实际的
技术实现思路
必须参考之后的权利要求范围。必须了解的是，使用于本说明书中的“包含”、“包括”等词，系用以表示存在特定的技术特征、数值、方法步骤、作业处理、元件以及/或组件，但并不排除可加上更多的技术特征、数值、方法步骤、作业处理、元件、组件，或以上的任意组合。于权利要求中使用如“第一”、“第二”、“第三”等词系用来修饰权利要求中的元件，并非用来表示之间具有优先权顺序，先行关系，或者是一个元件先于另一个元件，或者是执行方法步骤时的时间先后顺序，仅用来区别具有相同名字的元件。请参照图1～3，图1为根据本专利技术的一实施例绘示的一种影像处理系统100的示意图。图2为根据本专利技术的一实施例绘示的一种影像处理方法200的流程图。图3为根据本专利技术的一实施例绘示的一种信心值的示意图。于一实施例中，影像处理系统100包括一摄像模组CA及一处理器10。摄像模组CA及处理器10之间可透过无线或有线方式传输影像。摄像模组CA包含摄像镜头LR及摄像镜头LL。于一实施例中，摄像模组CA为一双镜头摄像模组。于一实施例中，摄像镜头LR为一右眼摄像镜头，当摄像模组CA往桌面TB上的A点拍摄时，摄像镜头LR所撷取的视角影像为一右眼影像，摄像镜头LL为一左眼摄像镜头，当摄像模组CA往桌面TB上的A点拍摄时，摄像镜头LL所撷取的视角影像为一左眼影像。于一实施例中，摄像模组CA可以设置于头戴式装置中，随着使用者头部的移动撷取影像。于一实施例中，如图1所示，摄像模组CA可以连续的在不同位置撷取影像，并将连续影像存入影像队列(queue)，例如摄像模组CA在位置P1往A点拍摄，可撷取到位置P1的右眼影像及左眼影像，并将位置P1的右眼影像及左眼影像传到处理器10，处理器10以影像队列储存右眼影像及左眼影像。接着，摄像模组CA在位置P2往A点拍摄，可撷取到位置P2的右眼影像及左眼影像，并将位置P2的右眼影像及左眼影像传到处理器10，处理器10以影像队列储存右眼影像及左眼影像。最后，摄像模组CA在位置P3往A点拍摄，可撷取到位置P3的右眼影像及左眼影像，并将位置P3的右眼影像及左眼影像传到处理器10，处理器10以影像队列储存右眼影像及左眼影像。于一实施例中，摄像模组CA从位置P1经过位置P2移动到位置P3的过程可以是连续动作，亦可针对A点进行连续拍摄，为方便说明，本专利技术以拍摄三次，即位置P1、位置P2及位置P3各拍摄一次作为例子，每拍摄一次即取得一组右眼影像及左眼影像。然本领域具通常知识者应可理解摄像模组CA可以拍摄多次从位置P1移动到从位置P3的过程中，可以拍摄多次，拍摄的次数并不限制。于一实施例中，摄像模组CA拍摄的A点可能是低纹理物体或低光源(或杂讯多)的环境；其中，低纹理物体例如为平滑桌面、球体或镜面，此些物体的特性为过于平滑或特征不清楚，使拍摄出来的影像会有反光的效果，导致影像不清楚，处理器10难以比对右眼影像及左眼影像的视差；低光源环境则会造成拍摄出来的影像杂讯过多，需要将影像的亮度调亮，才能比对右眼影像及左眼影像的视差。于一实施例中，应用右眼影像及左眼影像中各自对应的像素的视差可以推估每个像素的深度，产生深度地图(depthmap)。更具体而言，摄像模组CA拍摄低纹理物体或是低光源环境时，撷取到的影像信心值(confidencevalue)较低。信心值代表右眼影像及左眼影像中各自对应的像素的相似程度，例如，右眼影像的最右上角的像素及左眼影像的最右上角的像素本文档来自技高网...

【技术保护点】
1.一种影像处理系统，包括：/n一摄像模组，包括：/n一第一摄像镜头，用以于一当前位置拍摄一第一视角影像；/n一第二摄像镜头，用以于该当前位置拍摄一第二视角影像；以及/n一处理器，用以依据该第一视角影像及该第二视角影像产生一当前深度地图及一当前信心地图，该当前信心地图包含每个像素的信心值，该处理器接收对应一先前位置的一先前摄像姿态，该先前位置具有对应的一第一深度地图及一第一信心地图，依据该先前摄像姿态及该当前位置的一当前摄像姿态，将该第一深度地图的至少一像素位置映射到该当前深度地图的至少一像素位置，选择该第一信心地图的至少一像素的信心值与各自对应的该当前信心地图的至少一像素的信心值相比后的信心值最高者，依据该些信心值最高者所对应的像素产生该当前位置的一最佳化深度地图。/n

【技术特征摘要】
20181114 US 62/760,9201.一种影像处理系统，包括：
一摄像模组，包括：
一第一摄像镜头，用以于一当前位置拍摄一第一视角影像；
一第二摄像镜头，用以于该当前位置拍摄一第二视角影像；以及
一处理器，用以依据该第一视角影像及该第二视角影像产生一当前深度地图及一当前信心地图，该当前信心地图包含每个像素的信心值，该处理器接收对应一先前位置的一先前摄像姿态，该先前位置具有对应的一第一深度地图及一第一信心地图，依据该先前摄像姿态及该当前位置的一当前摄像姿态，将该第一深度地图的至少一像素位置映射到该当前深度地图的至少一像素位置，选择该第一信心地图的至少一像素的信心值与各自对应的该当前信心地图的至少一像素的信心值相比后的信心值最高者，依据该些信心值最高者所对应的像素产生该当前位置的一最佳化深度地图。


2.如权利要求1所述的影像处理系统，其中该第一摄像镜头为一左眼摄像镜头，该第一视角影像为一左眼影像，该第二摄像镜头为一右眼摄像镜头，该第二视角影像为一右眼影像。


3.如权利要求1所述的影像处理系统，其中该处理器依据该先前摄像姿态及该当前位置的该当前摄像姿态，经由计算一旋转及一位移的转换公式，将该第一深度地图的至少一像素位置映射到该当前深度地图的至少一像素位置。


4.如权利要求1所述的影像处理系统，其中该处理器依据一比对代价演算法以计算该第一视角影像中的每个像素各自对应的该第二视角影像中的每个像素的一相似程度，以产生该当前信心地图。


5.如权利要求1所述的影像处理系统，其中该摄像模组先于该先前位置拍摄一物体或一环境，该处理器产生对应该先前位置的该第一深度地图及该第一信心地图，将该第一信心地图中的每个像素的信心值纪录于一队列中，该摄像模组再于另一先前位置拍摄该物体，该处理器产生对应该另一先前位置的一第二深度地图及一第二信心地图，将该第二信心地图中的每个像素的信心值纪录于该队列中，最后该摄像模组于该当前位置拍摄该物体，该处理器将该当前信心地图中的每个像素的信心值纪录于该队列中。


6.如权利要求5所述的影像处理系统，其中该处理器从该队列中，选择该第一信心地图的至少一像素的信心值、该第二信心地图的至少一像素的信心值与各自对应的该当前信心地图的至少一像素的信心值相比后的信心值最高者，依据该些信心值最高者所对应的像素产生该当前位置的该最佳化深度地图。


7.如权利要求5所述的影像处理系统，其中该处理器接收对应该另一先前位置的另一先前摄像姿态，计算对应于该另一先前位置的该第二深度地图，依据该另一先前摄像姿态及该当前摄像姿态，经由计算一旋转及一位移的转换公式，将该第二深度地图的至少一像素位置映射到该当前深度地图的至少一像素位置。<...

【专利技术属性】
技术研发人员：王筱从，施正远，杨宏毅，
申请(专利权)人：宏达国际电子股份有限公司，
类型：发明
国别省市：中国台湾;71