图像处理设备、图像处理方法和程序技术

一种图像处理装置，包括：成像单元，配置为通过对被摄体成像而生成成像图像；深度信息生成单元，配置为生成关于所述成像图像的深度信息；图像处理单元，配置为基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及基于所述提取的图像，生成用于显示立体图像的差图像，在所述立体图像中立体地观看所述成像图像中包括的所述被摄体；以及记录控制单元，配置为生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及将所述数据流记录为运动图像文件。

【技术实现步骤摘要】

本专利技术涉及图像处理设备，并且具体涉及执行用于运动图像的立体观察 (stereoscopy)的图像处理的图像处理设备、图像处理方法、以及用于使得计算机执行程序 的程序。
技术介绍
迄今，已经提出各种用于显示立体图像的立体图像显示方法，其中利用左右眼的 视差来获得三维感。例如，已经提出了这样的立体图像显示方法，其中显示由左眼观看图像 和右眼观看图像配置的立体图像，并且使用偏光眼镜来立体地观看该立体图像。此外，近年 来，已经提出了这样的立体图像显示方法，其中可立体地观看图像，而不用使用偏光眼镜。 例如，已经提出了如视差屏障方法、双凸透镜方法、多视图方法(如超多视图)等的立体图 像显示方法。此外，已经提出了如数字照相机和数字摄像机(集成了相机的记录器)等的成像 装置，其将用于显示立体图像的运动图像记录为图像数据。例如，已经提出了这样的光盘记 录设备，其将用于显示立体图像的左眼观看图像和右眼观看图像记录为视频流(例如，日 本未审专利申请公开No. 2008-67393 (图1))。
技术实现思路
根据上述现有技术，当播放记录的运动图像时，构成运动图像的图像可顺序显示 为立体图像。然而，在记录用于利用上述现有技术显示立体图像的运动图像的图像数据的 情况下，例如，顺序记录其中完全同时记录几乎相同被摄体的左眼观看图像和右眼观看图 像。在这样记录的情况下，与记录用于平面图像(二维图像运动图像)的图像数据相比，涉 及立体图像的图像数据的存储量大。现在，近年来，成像装置的尺寸正变得更小，以便允许用户更容易地携带该装置， 因此成像装置中的记录介质的尺寸也正在减小。例如，可能存在这样的情况，其中用户在旅 行时携带这样的成像装置，并且在旅行中各个地点记录涉及立体图像的图像数据。然而，这 种成像装置中的记录介质常常具有用于存储各种数据的小的存储容量。因此，可以假设当 记录涉及立体图像的图像数据时，用于记录的时间量将更短。因此，减小用于显示立体图像 的运动图像的存储大小是重要的。发现已经期望适当地记录用于显示立体图像的运动图像。根据本专利技术实施例，一种图像处理装置，包括成像单元，配置为通过对被摄体成 像而生成成像图像；深度信息生成单元，配置为生成关于所述成像图像的深度信息；图像 处理单元，配置为基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被 摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及基于所述提取的图 像，生成用于显示立体图像的差图像，在所述立体图像中，立体地观看所述成像图像中包括 的所述被摄体；以及记录控制单元，配置为生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及将所述数据流记录为运动图像文件。根据本专利技术实 施例的图像处理方法以及用于使得计算机执行图像处理方法的程序产生与图像处理装置 相同的效果。其产生了下述操作基于深度信息，从成像图像提取包括所述成像图像中包括 的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像，基于所述提取的图 像，生成差图像；生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的 数据流；以及将所述数据流记录为运动图像文件。所述图像处理单元可基于所述深度信息，确定距所述成像图像的成像位置的预定 范围内存在的被摄体为所述特定被摄体；基于关于所述特定被摄体的所述深度信息，确定 所述特定被摄体的所述成像图像的水平方向上的所述周围区域；以及从所述成像图像提取 所述对象区域的图像。这产生了下述效果基于深度信息确定被摄体，基于关于特定被摄体 的深度信息，确定特定被摄体的成像图像的水平方向的周围区域，并从成像图像提取特定 区域的图像。所述成像单元可生成用于显示所述立体图像的第一成像图像和第二成像图像，其 中所述深度信息生成单元生成关于所述第二成像图像的深度信息；所述图像处理单元基于 关于所述第二成像图像的所述深度信息，从所述第二图像提取包括所述第二成像图像中包 括的被摄体中的特定被摄体、以及所述被摄体的周围区域的对象区域；以及基于所述提取 的图像，生成所述差图像；并且所述记录控制单元通过将对应于所述第一成像图像的数据 和对应于所述差图像的数据相关，生成所述数据流。这产生了下述效果生成第一成像图像 和第二成像图像，生成关于第二成像图像的深度信息，基于所述深度信息从第二图像提取 对象区域，基于提取的图像生成差图像，并且通过将对应于第一成像图像的数据和对应于 差图像的数据相关，生成数据流。所述记录控制单元可生成所述数据流，其包括指示要包括对应于所述差图像的数 据的立体图像标识信息。这产生了生成包括立体图像标识信息的数据流的效果。所述记录控制单元可根据AVCHD标准，在根据AVCHD标准的修改数字视频封装中 生成包括所述立体图像标识信息的所述数据流。这产生了下述效果在根据AVCHD标准的 修改数字视频封装中，根据AVCHD标准，生成包括所述立体图像标识信息的所述数据流所述记录控制单元可记录管理所述运动图像文件的运动图像管理文件，包括指示 对应于所述差图像的数据包括在所述运动图像文件中的立体图像标识信息。这产生了下述 效果记录运动图像管理文件，包括所述运动图像管理文件中的立体图像标识信息。所述记录控制单元可根据AVCHD标准，将包括所述立体图像标识信息的运动图像 管理文件记录在以下至少之一中索引文件、剪辑信息文件、以及电影播放列表文件。这产 生了下述效果根据AVCHD标准，将包括所述立体图像标识信息的运动图像管理文件记录 在以下至少之一中索引文件、剪辑信息文件、以及电影播放列表文件。所述记录控制单元可生成将对应于所述成像图像的数据和对应于所述差图像的 数据以及对应于所述深度信息的数据相关的所述数据流。这产生了下述效果生成将对应 于所述成像图像的数据和对应于所述差图像的数据以及对应于所述深度信息的数据相关 的所述数据流。所述记录控制单元可生成包括深度图存在/不存在信息的所述数据流，所述深度 图存在/不存在信息指示要包括对应于所述深度信息的数据。这产生了下述效果生成包括深度图存在/不存在信息的数据流。所述记录控制单元可根据AVCHD标准，在根据AVCHD标准的修改数字视频封装中 生成包括所述深度图存在/不存在信息的所述数据流。这产生了下述效果根据AVCHD标 准，在根据AVCHD标准的修改数字视频封装中生成包括所述深度图存在/不存在信息的所 述数据流。所述记录控制单元可记录管理所述运动图像文件的运动图像管理文件，包括指示 所述运动图像文件包括对应于所述深度信息的数据的深度图存在/不存在信息。这产生了 下述效果在运动图像管理文件中包括深度图存在/不存在信息，并记录运动图像管理文 件。所述记录控制单元可根据AVCHD标准，将包括所述深度图存在/不存在信息的运 动图像管理文件记录在以下至少之一中索引文件、剪辑信息文件以及电影播放列表文件。 这产生了下述效果根据AVCHD标准，将包括所述深度图存在/不存在信息的运动图像管理 文件记录在以下至少之一中索引文件、剪辑信息文件以及电影播放列表文件。所述记录控制单元可在根据AVCHD标准的电影播放列表文件中的扩展数据区域 中，定义用于所述深度信息的播放项目的登记区域；以及将所述深度信息的所述播放项目 记录在所述登记本文档来自技高网...

【技术保护点】
一种图像处理装置，包括：成像单元，配置为通过对被摄体成像而生成成像图像；深度信息生成单元，配置为生成关于所述成像图像的深度信息；图像处理单元，配置为：基于所述深度信息，从所述成像图像提取包括所述成像图像中包括的被摄体中的特定被摄体和所述被摄体的周围区域的对象区域的图像；以及基于所述提取的图像，生成用于显示立体图像的差图像，在所述立体图像中，立体地观看所述成像图像中包括的所述被摄体；以及记录控制单元，配置为生成其中对应于所述成像图像的数据和对应于所述差图像的数据相关的数据流；以及将所述数据流记录为运动图像文件。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：冈田俊二，磯部幸雄，森本直树，前笃，田所英司，小幡英生，
申请(专利权)人：索尼公司，
类型：发明
国别省市：JP[日本]