三维建模部(304)根据按照每数帧周期存储在关键帧存储部(303)中的图像对来制作三维模型。此外，特征点检测部(306)检测存储在关键帧存储部(303)中的图像的特征点。然后，位置变化推定部(308)推定检测出的特征点在最新图像内变化到了哪个位置，并基于推定的结果来计算用于将制作出的三维模型变换为与最新图像相对应的三维模型的变换参数。然后，重建部(311)按照每个帧周期对使用所算出的变换参数而制作的三维模型进行重建，图像输出部(314)使显示装置(10)进行显示。
【技术实现步骤摘要】
关于本申请，主张以在2011年2月I日提出申请的日本国专利特愿2011-019709为基础的优先权，将该基础申请的内容全部引用于本申请。本专利技术涉及制作被摄体的三维模型的技术。
技术介绍
已知根据从不同的方向对被摄体进行拍摄而得到的多个图像来制作三维模型的技术。例如，在日本国专利特开2002-290964号公报中，对于如下 数字镜像装置进行了记载通过设置在监视器画面的两侧的照相机来对利用者进行拍摄，根据拍摄到的图像来制作利用者的三维模型，然后，基于利用者的三维模型，来将利用者的三维图像显示在监视器画面上。为了制作三维模型，需要⑴从各图像内检测多个特征点，⑵针对各特征点执行立体匹配(stereo matching), (3)将匹配后的各特征点进行多边形化等处理。因为制作三维模型需要大量时间，所以在将利用者的三维图像显示在监视器画面中的情况下，在三维图像的显示中产生了延迟。
技术实现思路
本专利技术的第I观点所涉及的图像处理装置，具备图像取得单元，其连续地取得从不同的位置对被摄体进行拍摄而得到的图像的组；三维模型制作单元，其根据从所述图像取得单元所连续地取得的图像的组中选择的一组图像来制作所述被摄体的三维模型；特征点检测单元,其从所述一组图像中检测特征点；位置变化取得单元，其取得所述图像取得单元所取得的最新图像中的、所述特征点检测单元所检测出的特征点的位置的变化；变换参数计算单元，其基于所述位置变化取得单元所取得的特征点的位置的变化，来计算用于将所述三维模型制作单元所制作的三维模型变换为与所述最新图像相对应的三维模型的变换参数；重建单元，其基于所述变换参数计算单元所算出的变换参数，对所述三维模型制作单元所制作的三维模型进行重建；渲染单元，其制作对所述重建单元所重建后的三维模型粘贴了所述最新图像中的所述被摄体的图像作为纹理的三维模型；和显示单元，其将所述渲染单元所制作的三维模型显示在显示装置中。本专利技术的第2观点所涉及的图像处理方法，是使三维模型显示于显示装置中的图像处理装置的图像处理方法，所述图像处理方法包含如下步骤图像取得步骤，连续地取得从不同的位置对被摄体进行拍摄而得到的图像的组；三维模型制作步骤，根据从所连续地取得的所述图像的组中选择的一组图像来制作所述被摄体的三维模型；特征点检测步骤，从所述一组图像中检测特征点；位置变化取得步骤，取得所连续地取得的图像的组中的最新图像中的、所检测出的所述特征点的位置的变化；变换参数计算步骤，基于所取得的所述特征点的位置的变化，来计算用于将所制作的所述三维模型变换为与所述最新图像相对应的三维模型的变换参数；重建步骤，基于所算出的所述变换参数来对所制作的所述三维模型进行重建； 渲染步骤，制作对所重建后的所述三维模型粘贴了所述最新图像中的所述被摄体的图像作为纹理的三维模型；显示步骤，使所制作的所述三维模型显示于所述显示装置。附图说明以下的详细记述若与以下的附图结合起来考虑，则能够得到本申请的更深的理解。图I是表示显示系统的构成的图。图2是表示图像处理装置的构成的框图。图3是用于说明建模处理的流程图。图4是用于说明特征点检测处理的流程图。图5是用于说明方向变更处理的流程图。图6是用于说明显示控制处理的流程图。图7A 图71是表示用图像处理装置实施的处理内容和数据的时间变化的图。图8A、图8B是表示在I个画面中显示多个状态的被摄体的画面例的图。具体实施例方式以下，针对本专利技术的实施方式，参照附图进行详细说明。另外，本专利技术并不限定于下述的实施方式以及附图。还可以在不变更本专利技术的要旨的范围内对下述的实施方式以及附图加以变更。此外，对图中相同或相当的部分赋予相同符号。对本专利技术的实施方式所涉及的显示系统I进行说明。显示系统1，如图I所示，具备显示装置10 ;配置于该显示装置10的左右的照相机20L、20R ;和图像处理装置30。图像处理装置30经由LAN (Local Area Network,局域网)等，与照相机20L、20R以及显示装置10连接。显示装置10例如是IXD (Liquid Crystal Display,液晶显示器)等。显示装置10按照显示面与作为被摄体的用户相对的方式来配置。显示装置10实时地显示(I)由左右的照相机20L、20R拍摄的(2)并由图像处理装置30处理后的、用户的图像。由于在显示装置10中实时地显示用户自身的图像，因此用户可以将显示装置10作为镜子来使用。另夕卜，显示装置10也可以是具有三维显示功能的显示器等。照相机20L、20R具备透镜、光圈机构、快门机构、CO) (Charge Coupled Device,电荷耦合元件)等，分别配置于显示装置10的左右。各照相机20L、20R按照每个规定的帧周期(例如1/30秒)分别从不同的方向对位于显示装置10前面的用户连续地进行拍摄，并将拍摄到的图像数据随时发送到图像处理装置30。另外，照相机20L和照相机20R相互取得同步，在相同的定时对作为被摄体的用户进行拍摄。另外，在无需区分照相机20L、20R的每一个的情况下，以下，仅称作照相机20。此夕卜，根据需要，将照相机20L、20R所拍摄到的图像分别作为图像L、图像R来进行说明。图像处理装置30是PC (Personal Computer,个人计算机)或服务器等普通的计算机。图像处理装置30，(I)根据照相机20所拍摄到的图像来制作用户的三维模型，(2)根据制作的三维模型来制作从任意的方向对用户进行观察而得到的图像，(3)将得到的图像输出到显示装置10。图像处理装置30在物理上具备如下部件而构成CPU(CentralProcessing Unit,中央处理器)；保存动作程序的ROM (Read Only Memory,只读存储器)；作为工作区域的RAM (Random Access Memory，随机存取存储器)；作为存储区域的硬盘 驱动器、以及外部接口等。图像处理装置30，如图2所示，在功能上具备图像取得部301 ;帧图像存储部302 ;关键帧存储部303 ;三维建模部304 ;三维模型存储部305 ;特征点检测部306 ;特征点存储部307 ;位置变化推定部308 ;方向变更部309 ;变更量存储部310 ;重建部311 ;渲染部312 ;图像反转部313 ;和图像输出部314。图像取得部301接收由各照相机20按照每个帧周期连续拍摄到的图像的对(图像对)，并将接收到的图像对依次保存在帧图像存储部302中。另外，对保存在帧图像存储部302中的图像对分别按照拍摄顺序赋予帧编号。此外，图像取得部301按照每数帧周期(例如，每8帧周期)，将从照相机20接收到的图像对保存在关键帧存储部303中，并对三维建模部304和特征点检测部306发送更新信号。三维建模部304根据来自图像取得部301的更新信号的接收来开始动作，根据存储在关键帧存储部303中的图像对来制作用户的三维模型，并将用户的三维模型保存在三维模型存储部305中。另外，三维建模部304保持有各照相机20的属性信息(视角、基线长度等)。特征点检测部306根据来自图像取得部301的更新信号的接收来开始动作，从存储在关键帧存储部303中的图像对的一个图像(例如图像L)中检测多个特征点。然后，特征点检测部30本文档来自技高网...
【技术保护点】
【技术特征摘要】
2011.02.01 JP 2011-0197091.ー种图像处理装置，其具备 图像取得単元，其连续地取得从不同的位置对被摄体进行拍摄而得到的图像的组；三维模型制作単元，其根据从所述图像取得単元所连续地取得的图像的组中选择的ー组图像来制作所述被摄体的三维模型； 特征点检测单元，其从所述一组图像中检测特征点； 位置变化取得単元，其取得所述特征点检测单元所检测出的特征点在所述图像取得单元所取得的最新图像中的位置的变化； 变换參数计算单元，其基于所述位置变化取得単元所取得的特征点的位置的变化，来计算用于将所述三维模型制作単元所制作的三维模型变换为与所述最新图像相对应的三维模型的变换參数； 重建単元，其基于所述变换參数计算单元所算出的变换參数，对所述三维模型制作单元所制作的三维模型进行重建； 渲染单元，其制作对所述重建単元所重建后的三维模型粘贴了所述最新图像中的所述被摄体的图像作为纹理的三维模型；和 显示单元，其将所述渲染单元所制作的三维模型显示在显示装置中。2.根据权利要求I所述的图像处理装置，其中， 所述图像取得単元以规定的周期连续地取得从不同的位置对被摄体进行拍摄而得到的图像的组， 所述三维模型制作単元根据从所述图像取得単元所连续地取得的图像的组中所间歇性地选择的ー组图像，来制作所述被摄体的三维模型。3.根据权利要求I所述的图像处理装置，其中， 还具备显示方向取得单元，该显示方向取得单元取得表示对所述三维模型的显示方向进行变更的量的旋转校正量， 所述重建单元基于所述变换參数计算单元所算出的变换參数、和所述显示...
【专利技术属性】
技术研发人员：樱井敬一，中岛光康，山谷崇史，吉滨由纪，
申请(专利权)人：卡西欧计算机株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。