影像提供装置向用户提供使用立体照片的没有不舒适感的自然的随后体验。具体而言，在特征点提取器（15、22）中提取前景图像和背景图像的特征点。立体匹配模块（25）搜索前景图像的特征点与背景图像的特征点的对，利用这些对，得到用于将前景图像投影到背景图像内部的变换矩阵。针对与前景图像对应的深度前景数据，实施基于匹配单元得到的变换矩阵的变换。最后，通过执行基于变换后的深度前景数据的基于深度的绘制，得到与前景图像对应的两个以上的视点图像。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术属于图像合成技术的
技术介绍
图像合成技术是指如下技术对应该在背景图像的哪个位置合成前景图像进行解析，选择最佳位置，将前景图像合成到背景图像中。这里，在选择用户个人拍摄的照片作为前景图像、选择该拍摄地点的街景作为背景图像进行合成的情况下，能够向用户提供使用户随后体验该拍摄时的氛围的合成影像。具体而言，目前，在因特网上运营街景检索服务这样的服务，在该服务中，在服务器内蓄积世界范围内收集的背景图像。如果下载该背景图像中的期望图像并与用户拍摄的 人物进行合成，则能够以各种角度再现该拍摄当时的氛围。这样，将以街景检索服务为前提进行用户个人照片的拍摄时的随后体验的功能称为随后体验功能。现有技术文献专利文献专利文献I :US6，711，293B
技术实现思路
专利技术要解决的课题作为随后体验功能的进一步的发展形式，存在要实现作为立体视照片的前景图像和作为立体视街景的背景图像的合成的动向。这里，关于立体视的实现，存在以下方法使用深度图像生成右眼图像和左眼图像这2个视点图像；以及在拍摄时得到右眼图像和左眼图像这2个视点图像，它们在图像中表现的建筑物的进深不同。即，即使对地球上的同一场所进行拍摄，由于照相机所取的建筑物或人物的进深不同，所以，在对照片和街景进行合成时，人物和建筑物的进深感也不协调，得到不耐看的立体视图像。这里，考虑进行专利文献I所记载的特征点提取，在前景图像和背景图像中进行平面的定位，但是，在背景图像和照片中，深度图像完全不同，在街景的近前大幅突现照片、或者照片进入街景里侧的情况下，即使通过专利文献I的技术对平面的位置关系进行匹配，也无法消除由于上述不协调感而导致的视觉上的不匹配。本专利技术的目的在于，提供如下的影像提供装置即使在将在完全不同的条件下拍摄的前景图像合成到背景图像中的情况下，也能够生成没有不舒适感的立体视图像。用于解决课题的手段在背景图像为街景、前景图像为照片这样的假设下提示了技术课题，但是，该假设只不过是在说明上述技术课题时选择身边的题材，本申请中作为对象的技术课题不限于背景图像和前景图像为上述例子的情况。关于上述技术课题，在将对进深感稍微不同的两张图像进行合成的技术应用于工业产品时，本申请的
的从业人员直面的视觉上的不匹配的消除全部是本申请的技术课题。能够解决上述课题的影像提供装置将背景图像数据粘贴在三维建模空间中的立体模型的内侧表面后，对前景图像数据进行合成，其特征在于，该影像提供装置具有提取单元，提取前景图像数据和背景图像数据的特征点；匹配单元，搜索前景图像数据的特征点和背景图像数据的特征点的对，通过利用这些对，得到用于将前景图像数据投影到背景图像数据的内部的变换矩阵；变换单元，针对与前景图像数据对应的深度前景数据，基于匹配单元得到的变换矩阵实施变换；基于深度的绘制单元，通过对前景图像数据实施基于变换后的深度前景数据的基于深度的绘制，得到与前景图像数据对应的2个以上的视点图像数据；以及合成单元，进行与前景图像数据对应的2个以上的视点图像数据和与背景图像数据对应的2个以上的视点图像数据的合成。专利技术效果得到用于将前景图像投影到背景图像的变换矩阵，根据该变换矩阵对前景图像的深度图像进行变换，所以，取得前景图像的深度图像所示的进深与背景图像的进深的匹配。如果根据这样进行变换后的前景图像的深度图像生成2个以上的视点图像，则不会产生从背景图像中异样突现、或前景图像异样远离背景图像这样的不自然的立体感。由此，能够生成发挥适当立体视效果的合成影像。由于不会产生上述这种立体视再现时的不协调感，所以，能够展开随后体验提供这样的新的网络服务。并且，通过使电视机、记录器、摄像机、数字照相机这样的家电产品具有该功能，能够实现家电产品的高附加价值。具有该课题解决手段的影像提供装置的专利技术记载于本申请的技术方案中的第一个技术方案即技术方案I中。这里，通过在该影像提供装置的专利技术中追加其他的专利技术特定事项，并且，将该系统的专利技术的专利技术特定事项从上位概念的事项置换为下位概念的事项，能够进一步使上述再现装置的专利技术发挥效果。这些专利技术特定事项的追加、专利技术特定事项的下位概念化的变化如下所述，这些变化在技术方案中进行区分而记载于技术方案2以下的从属技术方案中。虽然是任意的，但是也可以是，设所述前景图像数据上的某个特征点f (xf、yf)、与特征点f (Xf、yf)对应的背景图像数据的特征点F (XF、YF)、以及特征点F (XF、YF)的深度值ZF为X、Y、Z坐标，应用于以下的数I的数学式，从而得到变换矩阵H。权利要求1.一种影像提供装置，将背景图像数据粘贴在三维建模空间中的立体模型的内侧表面后，对前景图像数据进行合成，其特征在于，该影像提供装置具有 提取单元，提取前景图像数据和背景图像数据的特征点； 匹配单元，搜索前景图像数据的特征点和背景图像数据的特征点的对，通过利用这些对，得到用于将前景图像数据投影到背景图像数据的内部的变换矩阵； 变换单元，针对与前景图像数据对应的深度前景数据，基于匹配单元得到的变换矩阵实施变换； 基于深度的绘制单元，通过对前景图像数据实施基于变换后的深度前景数据的基于深度的绘制，得到与前景图像数据对应的2个以上的视点图像数据；以及 合成单元，进行与前景图像数据对应的2个以上的视点图像数据和与背景图像数据对应的2个以上的视点图像数据的合成。2.如权利要求I所述的影像提供装置，其特征在于， 设所述前景图像数据上的某个特征点f (xf、yf)、与特征点f (xf、yf)对应的背景图像数据的特征点F (XF、YF)、以及特征点F (XF、YF)的深度值ZF为X、Y、Z坐标，应用于以下的数I的数学式，从而得到变换矩阵H。 3.如权利要求I所述的影像提供装置，其特征在于， 所述影像提供装置还具有取得单元，该取得单元取得由立体视照相机拍摄的照片图像数据，所拍摄的照片图像数据具有右眼照片数据和左眼照片数据， 所述变换单元还通过对背景图像数据的拍摄方向和各照片图像的拍摄方向进行比较，决定将右眼照片数据和左眼照片数据中的哪个照片数据作为基点图像， 所述前景图像数据被决定为右眼照片数据和左眼照片数据中的基点图像数据。4.如权利要求3所述的影像提供装置，其特征在于， 所述影像提供装置具有深度图像生成单元，该深度图像生成单元根据右眼照片数据和左眼照片数据生成与照片有关的深度图像， 变换单元进行变换的深度前景数据是由深度图像生成单元生成的深度图像。5.如权利要求3所述的影像提供装置，其特征在于， 所述基于深度的绘制单元根据深度前景数据所示的进深，使左眼照片数据和右眼照片数据中的不是基点图像的图像的像素的坐标在水平方向位移，从而再次生成图像数据， 所述2个以上的视点图像数据由左眼照片数据和右眼照片数据中的不是基点图像数据的图像数据和再次生成的图像数据构成。6.如权利要求I所述的影像提供装置，其特征在于， 针对影像提供装置，预先确定应该进行探索的特征点应取的进深的容许等级， 所述匹配单元在从前景图像数据中搜索用于与立体街景视点进行匹配的特征点时，排除进深分布的中心在容许范围外的特征点，在背景图像数据中的特征点和前景图像数据中的特征点中的、进深分布的中心在容许范围内的特征点彼此之间进行本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】...
【专利技术属性】
技术研发人员：杰尔马诺·莱希森林，片山朋子，大户英隆，富永宣辉，
申请(专利权)人：松下电器产业株式会社，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。