图像处理装置和方法制造方法及图纸

本发明专利技术公开了一种图像处理装置和方法，其中，垂直于由至少两台摄像机从不同视点捕获的对象的图像的方向被相互对齐，对与对象相关的、位于相同水平线上的每个像素，在如此校正的图像之间确定对应关系，通过在其对应关系待确定的像素位置之间的比较来确定像素位置中的亮度和色彩成分的相似性，并确定在对象的图像之间的视差，由此来对应于所确定的相似性和视差确定对应关系。通过在由摄像机捕获的图像中的扫描线上的所有像素之间进行动态的匹配，可以进行稳定而准确的图像匹配。（*该技术在2024年保护过期，可自由使用*）

【技术实现步骤摘要】

本专利技术涉及成像装置、方法和系统，它们能用于视频会议系统、可视电话系统等，例如用于捕获待发送的图像并将其重构为可由虚拟摄像机成像得到的虚拟视点图像。
技术介绍
已经提出了这样的系统，通过该系统在远程位置的多个用户可以在观看相互被显示的图像的同时，在他们之间进行远程对话互动，这种系统比如视频会议系统、可视电话系统等。在这样的系统中，当在一个远程位置的显示单元上显示在另一个位置的用户的图像时，正观看显示单元上的图像的用户被作为对象成像，由此获得的图像信号通过网络(比如，公共电话网络、专用线路等)被发送到另一个位置的图像处理器。于是，该系统可以提供这样一种真实的感觉，使得在这些远程位置的用户都感觉好像他们在同样的地方相互交谈一样。在传统的视频会议系统中，由于用户在观看被几乎显示在显示单元中央的他或她在另一个位置的伙伴的图像时，会被置于显示单元上部的摄像机成像，所以在另一个位置的显示单元上将显示用户保持低着头的图像。所以，尽管用户们实际上在观看他们各自的显示单元，但是在他们之间的对话将不会有眼部交流，这将使用户感觉有点问题。理想的是，摄像机应当被放置在靠近显示另一个位置处用户的图像的显示屏幕的中央，这样将在用户之间实现具有相互间眼部交流的对话。但是，在物理上难于将摄像机放置在靠近显示屏幕的中央。为了解决诸如在用户间进行谈话时缺乏眼部交流的问题，已经提出了一种图像处理器，该图像处理器基于由被置于一个远程位置的显示单元两侧的多个摄像机捕获的输入图像，来提取对象的三维信息，根据所提取的三维信息和有关用户视点位置的信息来重构对象的输出图像，然后在另一个用户位置的显示单元上来显示重构的图像(参看日本专利申请公开No.2001-521770)。在该图像处理器中，由直线放置的多个摄像机所捕获的图像而产生的外极面(epi-polar planar)图像被用来合成虚拟视点图像，由此在用户间实现相互间具有眼部交流的高度逼真的通信，该虚拟视点图像被假设是由实际上并未设置在显示屏幕中央的摄像机所捕获。此外，提出了这样一种图像处理器，该图像处理器基于分别被放置在显示单元左右的两台摄像机所捕获的图像来产生三维位置信息，以在视频会议的参加者之间提供相互的眼部交流(参看日本专利申请公开No.2002-300602)。这里注意，为了如上所述重构对象的输出图像，要在每个像素位置确定由至少两台摄像机从不同视点捕获的对象的图像之间的匹配。于是，可以基于三角测量原理来判断对象的形状以及对象到每个摄像机的距离，并因此准确地产生由假设被放置在靠近显示屏幕中央的虚拟摄像机捕获的虚拟视点图像。现在参考图1，其中解释了由两台摄像机捕获的图像之间的立体匹配，这两台摄像机被分别放置在成像系统基本配置中的显示单元的左右。如图所示，当对象由两台摄像机从不同的视点(即，摄像机的光学中心C1和C2)成像时，此时摄像机的光轴与M点对齐，由此产生的图像Ps1和Ps2将平行于摄像机的图像平面。连接摄像机和M点的直线与(分别由摄像机捕获的)图像Ps1和Ps2的法线方向相符，但是摄像机和该直线相互间方向不同。这里注意，通过从图像Ps1和Ps2提取对象P相同部分的像素位置和亮度成分，图像被相互匹配。例如，与图像Ps1的外极线(epi-polar line)L1上的像素m1对应的点将出现在图像Ps2上的外极线L1’上。通过在外极线L1’上进行搜索，可能检测出与像素m1最类似的的图像m1’作为对应点。此外，如此被相互匹配的像素m1和m1’可以被用来容易地估计三维空间中的对象P。迄今为止所提出的匹配技术包括基于像素的匹配、基于区域的匹配、基于特征的匹配等。基于像素的匹配是在图像之一中寻找一个点，该点对应于另一个图像中与它一样的像素(参看Lawrence Zitnick与Jon A.Webb的“Multi-Baseline Stereo Using Surface Extraction”，Technical Report，CMU-CS-96-196，1996)。基于区域的匹配是在参考每个对应点周围的位置图像图案的同时，将对应于一个图像中的像素的点与另一个图像中的点匹配(参看Okutomi M.和Kanade T.的“A Locally Adaptive Window forSignal Matching”，Int.Journal of Computer Vision，7(2)，pp.143-162，1992，以及Okutomi M.和Kanade T.的“Stereo-matching Using a Plurality ofBaseline Lengths”，Journal of the Institute of Electronics，Information andCommunication Engineers，D-II，Vol.J75-D-II，No.8，pp.1317-1327，1992)。同样，基于特征的匹配是从图像中提取暗与亮的边，只参考图像的特征使图像相互匹配(参看H.Baker和T.Binford的“Depth from Edgeand Intensity Based Stereo”，In Proc.IJCAI’81，1981，以及W.E.L.Grimson的“Computational Experiments with a Feature-Based StereoAlgorithm”，IEEE Trans.PAMI，Vol.7，No.1，pp.17-34，1985)。
技术实现思路
因此，本专利技术的目的就是通过提供一种来克服上述
技术介绍
的上述缺点，该通过在由摄像机捕获的图像中的扫描线上的所有像素之间进行动态的匹配，能进行稳定而准确的图像匹配。上述目的可以通过提供这样的来实现，在该中，与由至少两台摄像机从不同视点捕获的对象的图像相垂直的方向(法线方向)被相互对齐，在如此校正的图像之间，对与对象相关的、位于相同水平线上的每个像素确定对应关系，通过在其对应关系待确定的像素位置之间的比较来确定像素位置中的亮度和色彩成分的相似性，并确定在对象的图像之间的视差，由此来对应于所确定的相似性和视差确定对应关系。即，根据本专利技术的图像处理装置包括 图像校正装置，用于对由至少两台摄像机从不同视点对对象成像所获取的图像进行对齐；以及匹配装置，用于在由所述图像校正装置所校正的图像之间对与所述对象相关的、位于相同水平线上的每个像素确定对应关系，所述匹配装置通过在其对应关系待确定的像素位置之间进行比较来确定像素位置的亮度和色彩成分的相似性，并确定在所述对象的所述图像之间的视差，由此来对应于所确定的相似性和视差确定所述对应关系。此外，根据本专利技术的图像处理方法包括如下步骤将由至少两台摄像机从不同视点对对象成像所获取的图像进行对齐；以及在所述对齐步骤中校正的图像之间，对与所述对象相关的、位于同一水平线上的每个像素确定对应关系，在所述匹配步骤中，通过在其对应关系待确定的像素位置之间的比较来确定像素位置中的亮度和色彩成分的相似性，并确定在所述对象的所述图像之间的视差，由此来对应于所确定的相似性和视差确定所述对应关系。在上述根据本专利技术的中，垂直于由至少两台摄像机从不同视点捕获的对象的图像的方向(法线方向本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：图像校正装置，用于对由至少两台摄像机从不同视点对对象成像所获取的图像进行对齐；以及匹配装置，用于在由所述图像校正装置所校正的图像之间，对与所述对象相关的、位于相同水平线上的每个像素确定对应关系，　 　所述匹配装置通过在其对应关系待确定的像素位置之间进行比较来确定像素位置的亮度和色彩成分的相似性，并确定在所述对象的所述图像之间的视差，由此来对应于所确定的相似性和视差确定所述对应关系。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：吴伟国，
申请(专利权)人：索尼株式会社，
类型：发明
国别省市：JP[日本]