用于视差估计的系统及用于系统的视差估计的方法技术方案

公开了一种用于视差估计的系统及用于系统的视差估计的方法。用于视差估计的系统包括：一个或多个特征提取器模块，被配置为从一个或多个输入图像提取一个或多个特征图；以及一个或多个语义信息模块，连接在所述一个或多个特征提取器模块的一个或多个输出处，其中，所述一个或多个语义信息模块被配置为：生成将在下一训练时期被提供给所述一个或多个特征提取器模块用于视差估计的一个或多个前景语义信息。

System for disparity estimation and method for disparity estimation

【技术实现步骤摘要】
用于视差估计的系统及用于系统的视差估计的方法本申请要求于2018年11月15日提交并且题为“用于视差估计的前景-背景感知空洞多尺度网络”的第62/768,055序列号美国临时专利申请的优先权和权益，所述美国临时专利申请的全部内容通过引用清楚地包含于此。
根据本公开的实施例的一个或多个方面涉及一种用于视差估计的前景-背景感知空洞(atrous)多尺度网络(FBA-AMNet)。
技术介绍
深度估计是旨在预测捕获的场景中的每个点的距离的测量的基本的计算机视觉问题。这具有许多应用，诸如，将前景(近)对象与背景(远)对象分离的能力。准确的深度估计允许将场景中的背景与感兴趣的前景对象分离，并允许处理来自非专业摄影师或具有较小的镜头的相机的图像，以获得聚焦在被摄体上的更美观舒适的图像。
技术介绍
部分中的以上信息仅用于增强对技术的背景的理解，因此，它不应被解释为承认现有技术的存在或关联。
技术实现思路
提供本
技术实现思路
以介绍将在以下具体实施方式中进一步描述的本公开的实施例的特征和构思的选择。本专利
技术实现思路
不意图标识本文档来自技高网...

【技术保护点】
1.一种用于视差估计的系统，所述系统包括：/n一个或多个特征提取器模块，被配置为从一个或多个输入图像提取一个或多个特征图；以及/n一个或多个语义信息模块，连接在所述一个或多个特征提取器模块的一个或多个输出处，/n其中，所述一个或多个语义信息模块被配置为：生成将在下一训练时期被提供给所述一个或多个特征提取器模块用于视差估计的一个或多个前景语义信息。/n

【技术特征摘要】
20181115 US 62/768,055;20190625 US 16/451,5241.一种用于视差估计的系统，所述系统包括：
一个或多个特征提取器模块，被配置为从一个或多个输入图像提取一个或多个特征图；以及
一个或多个语义信息模块，连接在所述一个或多个特征提取器模块的一个或多个输出处，
其中，所述一个或多个语义信息模块被配置为：生成将在下一训练时期被提供给所述一个或多个特征提取器模块用于视差估计的一个或多个前景语义信息。


2.根据权利要求1所述的系统，其中，所述一个或多个输入图像包括第一输入图像和第二输入图像，并且其中，从所述一个或多个输入图像提取的所述一个或多个特征图包括从第一输入图像提取的第一特征图以及从第二输入图像提取的第二特征图。


3.根据权利要求2所述的系统，还包括：
扩展代价体模块，连接在所述一个或多个特征提取器模块的所述一个或多个输出处，扩展代价体模块被配置为计算第一特征图与第二特征图之间的匹配代价信息；
堆叠式空洞多尺度模块，连接在扩展代价体模块的输出处，并被配置为处理来自扩展代价体模块的第一特征图与第二特征图之间的匹配代价信息以聚集多尺度上下文信息，堆叠式空洞多尺度模块包括堆叠在一起的多个空洞多尺度模块；以及
回归模块，连接在堆叠式空洞多尺度模块的输出处，并被配置为基于来自堆叠式空洞多尺度模块的聚集的多尺度上下文信息和所述一个或多个前景语义信息来估计视差。


4.根据权利要求3所述的系统，其中，扩展代价体模块包括：
视差等级特征距离子体模块，被配置为确定第一特征图与第二特征图之间的逐像素绝对差；
视差等级深度相关性子体模块，被配置为确定第一特征图与第二特征图之间的相关性；以及
视差等级特征级联子体模块，被配置为在每个视差等级d级联偏移d的第一特征图与第二特征图。


5.根据权利要求4所述的系统，其中：
视差等级特征距离子体模块的大小为H×W×(D+1)×C，其中，H、W和C表示高度、宽度和特征大小，D表示所述系统能够预测的最大视差；
视差等级深度相关性子体模块的大小为H×W×(D+1)×C；并且
视差等级特征级联子体模块的大小为H×W×(D+1)×2C。


6.根据权利要求5所述的系统，其中，扩展代价体模块的大小通过沿深度维度级联视差等级特征距离子体模块、视差等级深度相关性子体模块和视差等级特征级联子体模块来确定，其中，扩展代价体模块的大小为H×W×(D+1)×4C。


7.根据权利要求3所述的系统，其中，所述多个空洞多尺度模块利用堆叠式空洞多尺度模块内的捷径连接堆叠在一起，其中，堆叠式空洞多尺度模块的所述多个空洞多尺度模块的空洞多尺度模块被配置为：利用k对3×3空洞卷积层和两个1×1卷积层来处理来自扩展代价体模块的第一特征图与第二特征图之间的匹配代价信息，其中，k为2的整数次幂并大于0。


8.根据权利要求7所述的系统，其中，k对3×3空洞卷积层具有扩张因子[1,2,2,4,4,…,k/2,k/2,k]，其中，具有扩张因子一的两个1×1卷积层被添加在所述多个空洞多尺度模块的所述空洞多尺度模块的末端处，用于特征细化和特征大小调整。


9.根据权利要求3所述的系统，其中，所述一个或多个特征提取器模块包括：
第一深度可分离残差网络模块，被配置为接收第一输入图像和第一前景语义信息；
第二深度可分离残差网络模块，被配置为接收第二输入图像和第二前景语义信息；
第一空洞多尺度模块，连接在第一深度可分离残差网络模块的输出处；以及
第二空洞多尺度模块，连接在第二深度可分离残差网络模块的输出处。


10.根据权利要求9所述的系统，其中，第一深度可分离残差网络模块和第二深度可分离残差网络模块具有共享的权重，第一空洞多尺度模块和第二空洞多尺度模块具有共享的权重，其中，第一空洞多尺度模块和第二空洞多尺度模块中的每个被配置为用于捕获深度全局上下文信息和局部细节的场景理解模块，其中，扩展代价体模块连接在第一空洞多尺度模块的输出和第二空洞多尺度模块的输出处。


11.根据权利要求9所述的系统，其中，所述一个或多个语义信息模块包括：
第一语义信息模块，连接在第一空洞多尺度模块的输出处，其中，第一语义信息模块被配置为生成第一前景语义信息，其中，第一前景语义信息经由第一反馈回路被提供给第一深度可分离残差网络模块作为用于所述系统的下一训练时期的到所述系统的附加输入；以及
第二语义信息模块，连接在第二空洞多尺度模块的输出处，其中，第二语义信息模块被配置为生成第二前景语义信息，其中，第二前景语义信息经由第二反馈回路被提供给第二深度可分离残差网络模块作为用于所述系统的下一训练时期的到所述系统的附加输入。


12.根据权利要求11所述的系统，其中，第一语义信息...

【专利技术属性】
技术研发人员：杜宪志，伊尔哈米·穆斯塔法，李正元，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国;KR