用于在不中断视频处理流水线的情况下确定当前使用的变形参数是否适合于多拍摄装置系统的方法、系统和计算机程序产品。可确定新的变形参数，其中这些参数促使用这些新参数矫正的图像具有期望的几何性质。该确定可在不中断视频处理流水线的情况下做出。可确定变形参数，例如使得两个拍摄装置的极线是水平的且被正确对准（如下文限定），并且可以确定由两个拍摄装置观察的点的度量3D位置并且该度量3D位置是准确的。
【技术实现步骤摘要】
【国外来华专利技术】【专利摘要】用于在不中断视频处理流水线的情况下确定当前使用的变形参数是否适合于多拍摄装置系统的方法、系统和计算机程序产品。可确定新的变形参数，其中这些参数促使用这些新参数矫正的图像具有期望的几何性质。该确定可在不中断视频处理流水线的情况下做出。可确定变形参数，例如使得两个拍摄装置的极线是水平的且被正确对准（如下文限定），并且可以确定由两个拍摄装置观察的点的度量3D位置并且该度量3D位置是准确的。【专利说明】用于多拍摄装置系统中图像变形参数的运行时调整的系统、方法和计算机程序产品
本文描述的系统、方法和计算机程序产品涉及图像处理。
技术介绍
在许多多拍摄装置视频处理流水线中，由成像器产生的图像(原始图像)在流水线中被进一步处理之前被变形(warp)。进行该变形使得所得的图像具有有用几何性质，例如无畸变、具有方形像素、具有对准的极线，等。这些变形图像可称为“矫正图像”。 允许保持这些性质的变形参数取决于拍摄装置的配置，其包括:个体拍摄装置的光学性质(例如，焦距、主点和畸变参数)和/或拍摄装置的相对位置和/或拍摄装置在场景中的位置。变形参数可典型地在操作多拍摄装置系统之前使用校准过程计算，在该校准过程期间拍摄装置可放置在一个或多个受控环境中，从而通常看到已知校准目标。多拍摄装置系统的正确操作可取决于使用合适的变形参数。 如果拍摄装置的光学性质改变或如果拍摄装置相对于其他拍摄装置的位置改变，则可必须重新计算变形参数。否则，变形图像所假设的光学性质可不再保持并且可损害多拍摄装置系统的功能性。找到新的变形参数，其确保用这些新参数矫正的图像具有期望的几何性质，这则可能是必要的。这可通过再次运行校准过程来进行，这将需要中断多拍摄装置系统的操作并且可能需要物理操纵拍摄装置。像这样的中断因为它们使系统不太实用并且弓I起增加的操作成本而是不可取的。 单或多拍摄装置系统的自校准有时是可能的。自校准指的是在无受控环境中(例如在不使用固定校准目标的情况下)一些或全部变形参数的计算。这些方法大体上针对的是不保持固定变形参数的拍摄装置，因为这些拍摄装置设计成具有有意移动光学元件(例如具有可变聚散度的立体拍摄装置或具有变焦透镜的拍摄装置)。在这些系统上，以计算资源、帧速率和/或延迟为代价，基本上不断地执行自校准。 对于设计具有固定光学元件(例如，相对于彼此刚性被保持的透镜和成像器，透镜焦距固定并且在成像单元之间具有刚性的相对定位)的多拍摄装置系统，预期变形参数在使用期间不会急剧改变。因此，不断执行自校准是无用的并且将在计算资源、帧速率和/或延迟方面招致增加的成本。然而，对多拍摄装置系统的物理冲击或其他环境效应(例如大的温度改变)可能对系统引入改变，这将需要重新计算一些变形参数。 【专利附图】【附图说明】 图1是根据实施例的多拍摄装置成像系统的框图。 图2是图示实施例的处理的流程图。 图3a是根据实施例包括诊断模块的多拍摄装置成像系统的框图。 图3b是根据备选实施例包括诊断模块的多拍摄装置成像系统的框图。 图4是图示根据实施例基于未对准检测来确定变形参数是否需要调整的流程图。 图5是图示根据备选实施例基于未对准检测来确定变形参数是否需要调整的流程图。 图6是图示根据实施例确定变形参数在度量立体视觉系统的环境中是否需要调整的流程图。 图7是图示根据实施例基于光学畸变检测确定变形参数是否需要调整的流程图。 图8是根据实施例包括调整模块的多拍摄装置成像系统的框图。 图9是图示根据实施例调整变形参数的流程图。 图10是图示根据实施例响应于极线未对准来调整变形参数的流程图。 图11是图示根据实施例在度量立体视觉系统的环境中调整变形参数的流程图。 图12是图示根据实施例响应于光学畸变调整变形参数的流程图。 图13是图示根据实施例的本文描述的过程的控制的流程图。 图14是图示本文描述的系统的实施例的操作的时序图。 图15是图示本文描述的系统的实施例的操作的时序图，其中光学系统经受漂移。 图16是图示本文描述的系统的软件实施例的框图。 图17图示其中可实现实施例的信息系统。 图18图示其中可实现实施例的移动信息设备。 在图中，标号的最左边数字指示标号第一次出现所在的图。 【具体实施方式】 现在参考图描述实施例，其中类似的标号指示相同或功能上相似的要素。尽管论述了具体配置和设置，应该理解这只是为了说明性目的而进行。相关领域内技术人员将认识到可以使用其他配置和设置而不偏离描述的范围。也可以在除了本文论述的之外的多种其他系统和应用中采用此文，这对相关领域内技术人员将是明显的。 本文描述用于在不中断视频处理流水线的情况下确定当前使用的变形参数是否适合于多拍摄装置系统的方法、系统和计算机程序产品。可确定新的变形参数，其中这些参数促使用这些新参数矫正的图像具有期望的几何性质。该确定可在不中断视频处理流水线的情况下做出。可确定变形参数，例如使得两个拍摄装置的极线是水平的且正确对准(如下文限定的)，并且可以确定由两个拍摄装置观察的点的度量3D位置并且它是准确的。 描述的系统和处理可在视频处理流水线的环境中操作。图1示出这样的系统的图:该系统可非限制性地包括:-一个或多个光学系统110，例如透镜，-成像器120，其可使由透镜形成的图像数字化，从而产生原始图像130，-变形级140 (也叫作矫正器)，其可将原始图像130变换成矫正图像150，-光学图像处理和分析级160，在此期间，图像可进一步变换并且可提取其他信息，以及-多图像处理和分析级，在此期间，来自所有成像器120的处理图像和其他信息170可以被处理，从而产生最终输出190。 该图仅是为了说明；本文描述的系统和处理也可应用于图示的设置的变化形式。一个可能变化形式可以是其中存在单个光学系统的系统，在该情况下可能缺乏多图像处理和分析级。另一个可能的变化形式可包括插入成像器与变形级之间的图像处理级。在另一个变化形式中，例如统计或柱状图等额外信息可以由成像器传送到变形级或从变形传送到图像处理和分析级。还理解，多拍摄装置或多光学系统有时被常用术语立体拍摄装置或立体系统所引用，其不意在将实施例限制在确切两个成像器或拍摄装置的系统。 在本文描述的系统中，光学系统和成像器级可由例如透镜和互补金属氧化物半导体(CMOS)成像器等专用物理设备实现。然而，其他级可采用许多可能方式中的任何一个实现，包括在通用计算系统上的软件实现、在专门的计算机(例如数字信号处理器(DSP)或图形处理器)上的软件实现、在现场可编程门阵列(FPGA)中、专门的专用集成电路(ASIC)或任何其他信息处理技术中的实现。 原始图像由成像器和透镜子系统(即，拍摄装置)产生的原始图像可遭受各种类型的畸变。例如，图像可遭受几何畸变并且因此，3D直线的2D投影可在图像中表现为曲线，而不是直线。可能未精确知道焦距和主点。 矫正图像在图像处理算法和在计算机视觉算法中，可需要输入图像的已知几何性质。例如，通常假设图像由理想透视拍摄装置产生，其中线的投影表现为线。此外，焦距和主点通常假设为已知的。而且在多拍摄装置系统中，拍摄装置的相对位置通常也假设为已知的。在一些情况下，假本文档来自技高网...
【技术保护点】
一种用于图像处理的系统，其包括：图像处理流水线，其包括：相对于彼此刚性定位的两个或以上输入成像单元，每个具有透镜和成像器，其中对于每个成像单元，所述透镜和成像器相对于彼此刚性定位并且所述透镜具有固定焦距；变形模块，其连接到每个输入成像单元并且配置成从连接的输入成像单元接收原始图像并且输出矫正图像；以及诊断模块，其配置成确定所述变形模块使用的当前变形参数是否允许所述变形模块输出具有预定几何或光学性质的图像。
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：EG格罗斯曼恩，G戈多，JI伍德菲尔，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。