估测图像中的深度的方法技术

本发明专利技术公开一种估测图像中的深度的结构光系统及方法。接收图像，其中所述图像是已在上面投射参考光图案的场景的图像。参考光图案的投影包括预定数目个子图案。基于硬码模板匹配技术或基于所接收图像的分块对应于参考光图案的子图案的机率来对分块与子图案进行匹配。如果使用查找表，则所述表可为机率矩阵，可包含预先计算的关联性得分或者可包含预先计算的类别标识。基于分块与子图案之间的不同来确定分块的深度的估测值。

【技术实现步骤摘要】
估测图像中的深度的方法[相关申请的交叉参考]本专利申请主张在2017年12月12日提出申请的美国临时专利申请第62/597,904号的优先权，所述美国临时专利申请的公开内容全文并入本申请供参考。
本文所公开主题涉及一种用于结构光系统的装置及方法，且更具体来说，涉及一种用于将图像的分块匹配到参考光图案的分块的装置及方法。
技术介绍
一种广泛用于在结构光三维(threedimensional，3D)相机系统(也称为立体相机系统(stereo-camerasystem))中估测深度值的技术是通过搜索图像中的分块与参考图案中的分块的最佳匹配来进行。为减少这种搜索的总体计算负担，假设图像分块位于参考图案的接近水平邻域(nearhorizontalneighborhood)中。另外，参考图案被设计成仅存在有限的一组独特子图案，这些子图案在水平方向上及垂直方向上重复以填充整个投影空间，这进一步简化了搜索过程。利用参考图案中独特图案的已知排列方式来识别图像分块的“类别”，并且转而确定图像分块与参考分块之间的不同。还假设图像分块以深度像素位置为中心，这也简化了深度估测的计算。然而，如果图像分块大小及搜索范围变大，则分块搜索变得耗时且需要密集的计算，从而难以实现实时深度估测。除了具有明显的计算成本之外，一些结构光三维相机系统还可能在深度估测中出现明显的噪声。结果，这种结构光三维相机系统具有高的功耗，且可能对图像缺陷(imageflaw)(例如，像素噪声、模糊、畸变及饱和)敏感。
技术实现思路
本公开的示例性实施例可提供一种快速地估测图像中的深度的结构光系统及方法。示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；基于所述图像的分块对应于所述参考光图案的所述参考数目个子图案中的其中一子图案的机率来对所述分块与所述其中一子图案进行匹配；以及基于所述分块与所述子图案之间的不同来确定所述分块的深度的估测值。在一个实施例中，所述机率可包含在查找表中，所述查找表可包括机率矩阵，且所述分块可包括参考数目个像素，且其中对所述分块与所述其中一子图案进行匹配还可包括：将所述分块中所包括的像素二值化；由所述像素形成向量；以及通过将所述像素的向量乘以所述机率矩阵来确定所述分块的类别，其中所述类别可对应于与所述分块匹配的所述其中一子图案。另一个示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；将所述图像中所包括的至少一个分块二值化，所述分块可包括参考数目个像素；通过基于经二值化的所述分块中的1的第一数目以及每一个经二值化的子图案中的1的第二数目将所述至少一个分块的误差函数Ek最小化来将所述至少一个分块匹配到所述参考光图案的其中一子图案；以及基于所述至少一个分块与所述其中一子图案之间的不同来确定所述图像的所述至少一个分块的深度的估测值。在一个实施例中，所述每一个经二值化的子图案中的1的所述第二数目可通过以下方式确定：将第一经二值化的子图案中的1的所述第二数目递增2来获得位于所述第一经二值化的子图案后面的第二经二值化的子图案中的1的所述第二数目。再一个示例性实施例提供一种通过结构光系统来估测图像中的深度的方法，所述方法可包括：接收所述图像，其中所述图像可为已在上面投射参考光图案的场景的图像，其中所述图像可包括所述参考光图案的投影，且其中所述参考光图案可包括参考数目个子图案；将所述图像的至少一个分块二值化；基于经二值化的所述分块对应于所述参考光图案的所述参考数目个子图案中的其中一子图案的机率来对经二值化的所述分块与所述其中一子图案进行匹配；以及基于所述至少一个分块与所述子图案之间的不同来确定所述至少一个分块的深度的估测值。在一个实施例中，经二值化的所述分块对应于所述其中一子图案的所述机率可包含在查找表中。所述查找表可包括机率矩阵，且所述至少一个分块可包括参考数目个像素。对经二值化的所述分块与所述其中一子图案进行匹配可包括：由经二值化的所述分块形成向量；以及通过将经二值化的所述分块的所述向量乘以所述机率矩阵来确定所述至少一个分块的类别，其中所述类别可对应于与所述至少一个分块匹配的所述其中一子图案。[本公开的效果]本文所公开的估测图像中的深度的方法可减少其他方式可能具有的噪声、模糊及畸变。另外，与其他方式相比，可减少计算负担及存储器/硬件资源需求。因此，根据本专利技术的实施例，可快速完成图像的深度估测。附图说明在以下部分中，将参照各图中所示的实施例来阐述本文所公开的主题的各个方面，在各图中：图1A是绘示根据本专利技术实施例的结构光系统及参考光图案的概念图。图1B是绘示可用于形成图1A所示参考光图案的参考光图案元素的实施例的概念图。图2A是绘示将使用硬码模板匹配技术进行匹配的左侧图像输入分块与右侧图像输入分块的概念图。图2B是绘示根据本专利技术实施例的将使用硬码模板匹配技术进行匹配的图像输入分块与参考光图案分块的概念图。图3是绘示根据本专利技术实施例的使用硬码模板匹配技术确定深度信息的过程的流程图。图4是绘示根据本专利技术实施例的经递增分析的一系列参考光图案分块的概念图。图5是绘示根据本专利技术实施例的基于图像输入分块属于参考光图案分块的类别c的机率来估测深度信息的过程的概念图。图6是绘示根据本专利技术实施例的使用查找表来产生图像输入分块属于类别c的机率的过程的概念图。图7是绘示根据本专利技术实施例的以独特方式对大的图像输入分块进行细分并使用查找表来产生图像输入子分块属于类别c的机率的过程的概念图。图8是绘示根据本专利技术实施例的使用查找表的过程的概念图，所述查找表只包含可用于确定图像输入分块属于类别c的预先计算的类别标识。图9是绘示根据本专利技术实施例的使用滑动窗口(slidingwindow)对大的图像输入分块进行细分并使用包含预先计算的类别标识的查找表的过程的概念图。图10是绘示根据本专利技术实施例的基于图像输入分块与参考光图案分块匹配的机率来确定深度信息的过程的流程图。[符号的说明]100：结构光系统；101：投影仪；102：相机；103：处理器件；104：参考光图案；105：线；106：图像；107：深度图；108：参考光图案元素；301、302、303、304、305、306、307、501、502、503、602、606、702、705、802、806、902、905、1001、1002、1003、1004、1005、1006、1007：步骤；401、402、403：参考分块；601、801：4×4图像输入分块/图像输入分块；603、703、803、903：键值；604、704：预先计算的关联性得分表/表/LUT；605：直方图；701、901：8×8图像输入分块；701a、701b、701c、701d：子分块/图像输入子分块；706：特定机率直方图；804：预先计算的类别ID表/表/LUT；901a、901b、901c、901d：本文档来自技高网...

【技术保护点】
1.一种通过结构光系统来估测图像中的深度的方法，所述方法包括：接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；基于所述图像的分块对应于所述子图案的机率来对所述分块与所述子图案进行匹配；以及基于所述分块与所述子图案之间的不同来确定所述分块的深度的估测值。

【技术特征摘要】
2017.12.12 US 62/597,904;2018.02.27 US 15/907,2421.一种通过结构光系统来估测图像中的深度的方法，所述方法包括：接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；基于所述图像的分块对应于所述子图案的机率来对所述分块与所述子图案进行匹配；以及基于所述分块与所述子图案之间的不同来确定所述分块的深度的估测值。2.根据权利要求1所述的方法，其中，所述机率包含在查找表中，所述查找表包括机率矩阵，且所述分块包括参考数目个像素，且其中，对所述分块与所述子图案进行匹配还包括：将所述分块中所包括的所述像素二值化；由所述像素形成向量；以及通过将所述像素的所述向量乘以所述机率矩阵来确定所述分块的类别，所述类别对应于与所述分块匹配的所述子图案。3.根据权利要求2所述的方法，其中，所述分块中所包括的所述参考数目个所述像素是16个像素。4.根据权利要求2所述的方法，其中，所述机率矩阵是基于贝叶斯规则通过线性优化或通过神经网络来形成。5.根据权利要求1所述的方法，其中，所述分块包括参考数目个像素，所述方法还包括：将所述分块中所包括的所述像素二值化，以及使用所述分块的经二值化的所述像素来存取查找表中的代表所述分块对应于所述子图案的所述机率的项。6.根据权利要求5所述的方法，其中，所述查找表的每一个项代表所述分块对应于所述子图案中的每一个子图案的机率中的每一个机率的关联性得分。7.根据权利要求5所述的方法，其中，所述查找表的每一个项代表所述子图案中的每一个子图案的类别标识。8.一种通过结构光系统来估测图像中的深度的方法，其中，所述方法包括：接收所述图像，所述图像是已在上面投射参考光图案的场景的图像，所述图像包括所述参考光图案的投影，且所述参考光图案包括参考数目个子图案；将所述图像中所包括的至少一个分块二值化，所述分块包括参考数目个像素；通过基于经二值化的所述分块中的1的第一数目以及每一个经二值化的子图案中的1的第二数目将所述至少一个分块的误差函数最小化来将所述至少一个分块匹配到所述参考光图案的一个子图案；以及基于所述至少一个分块与所述一个子图案之间的不同来确定所述图像的所述至少一...

【专利技术属性】
技术研发人员：石立龙，韩承勳，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR