当前位置: 首页 > 专利查询>苹果公司专利>正文

多视角成像系统和方法技术方案

技术编号:20987971 阅读:21 留言:0更新日期:2019-04-29 20:26
系统包括处理器,用于通过所述成像设备阵列的第一成像设备捕获场景的第一图像,通过所述成像设备阵列的第二成像设备捕获所述场景的第二图像,执行所述第一图像和所述第二图像的图像分析,并且确定在所述第一图像中存在对象,并且所述对象存在于所述第二图像中,所述第一图像表示所述对象的第一视角,并且所述第二图像表示与所述对象的所述第一视角不同的所述对象的第二视角,使用基于已知对象列表的分类对所述对象进行分类,并且基于所述分类加权所述第一图像的对象部分和所述第二图像的对象部分,基于所述加权压缩所述第一图像和所述第二图像,将所述第一图像和所述第二图像编码为多视角图像数据,并且基于所述分类将所述多视角图像数据存储在所述非暂态计算机可读介质中。

Multi-view imaging system and method

The system includes a processor for capturing the first image of a scene through the first imaging device of the imaging device array, capturing the second image of the scene through the second imaging device of the imaging device array, performing image analysis of the first image and the second image, and determining that an object exists in the first image and that the object exists in the first image. In two images, the first image represents the first perspective of the object, and the second image represents the second perspective of the object different from the first perspective of the object. The object is classified using a classification based on a list of known objects, and the object part of the first image and the object part of the second image are weighted based on the classification. In the weighted compression of the first image and the second image, the first image and the second image are coded into multi-view image data, and the multi-view image data are stored in the non-transient computer readable medium based on the classification.

【技术实现步骤摘要】
【国外来华专利技术】多视角成像系统和方法相关申请的交叉引用本申请与2016年9月23日提交的名称为“MULTI-PERSPECTIVEIMAGINGSYSTEMANDMETHOD”的美国专利申请62/398,678相关,并且根据35U.S.C.§119(e)的规定要求该美国专利申请的优先权,该专利申请的全部内容均以引用方式并入本文以用于所有目的。
所描述的实施方案整体涉及从多个视角捕获和处理场景的图像的多视角成像系统。多视角成像系统可包含在车辆内。
技术介绍
常规来讲,车载相机是有限的设备,其可以安装在车辆的仪表板上以记录车辆外部的视图。然而,这些相机具有有限的视角、视场和分辨率。此外,它们可能会阻碍驾驶室的视野并且存储空间有限。通过车辆乘客的手持设备获得的车辆外部视图的图像可能是不合适且失焦的。简而言之,基于车辆的成像将受益于许多改进。
技术实现思路
一种系统包括用于执行图像捕获应用的处理器。图像捕获应用可从成像设备阵列接收图像,每个图像在大致相同的时间描绘对象的不同视角。图像捕获应用可对对象的图像进行分类和加权,并基于分类和/或权重来存储对象的图像。图像捕获应用可由计算设备执行,该计算设备捕获来自在车辆外部以特定布置进行布置的成像设备阵列的图像。根据一个实施方案,一种系统包括成像设备阵列、处理器和存储指令的非暂态计算机可读介质,当所述指令由处理器执行时,使处理器执行操作,包括:通过成像设备阵列的第一成像设备捕获场景的第一图像,通过成像设备阵列的第二成像设备捕获场景的第二图像,执行第一图像和第二图像的图像分析并确定第一图像中存在对象并且该对象存在于第二图像中,第一图像表示对象的第一视角,并且第二图像表示与对象的第一视角不同的对象的第二视角,使用基于已知对象列表的分类对对象进行分类,并且基于分类对第一图像的对象部分和第二图像的对象部分进行加权,基于加权压缩第一图像和第二图像,将第一图像和第二图像编码为多视角图像数据,并且基于分类将多视角图像数据存储在非暂态计算机可读介质中。根据另一实施方案,一种方法包括由处理器通过成像设备阵列的第一成像设备捕获场景的第一图像,由处理器通过成像设备阵列的第二成像设备捕获场景的第二图像,由处理器执行第一图像和第二图像的图像分析,并且确定对象存在于第一图像中并且该对象存在于第二图像中,第一图像表示对象的第一视角,并且第二图像表示与对象的第一视角不同的对象的第二视角,由处理器对具有基于已知对象列表的分类的对象进行分类,并且基于分类对第一图像的对象部分和第二图像的对象部分进行加权,由处理器基于加权压缩第一图像和第二图像,由处理器将第一图像和第二图像编码为多视角图像数据,并且由处理器基于分类将多视角图像数据存储在非暂态计算机可读介质中。根据另一实施方案,一种非暂态计算机可读介质包括存储在其上的指令,当所述指令由处理器执行时,使处理器执行操作,包括:通过成像设备阵列的第一成像设备捕获场景的第一图像,通过成像设备阵列的第二成像设备捕获场景的第二图像,执行第一图像和第二图像的图像分析,并且确定对象存在于第一图像中并且对象存在于第二图像中,第一图像表示对象的第一视角,并且第二图像表示与对象的第一视角不同的对象的第二视角,使用基于已知对象列表的分类对对象进行分类,并且基于分类对第一图像的对象部分和第二图像的对象部分进行加权,基于加权压缩第一图像和第二图像,将第一图像和第二图像编码为多视角图像数据,并且基于分类将多视角图像数据存储在非暂态计算机可读介质中。根据以下结合附图的优选实施方案和方面的详细书面描述,本公开的这些和其他方面、特征和优点将变得显而易见,尽管可以在不脱离本公开的新颖概念的精神和范围的情况下实现对其的改变和修改。附图说明附图示出了本公开的实施方案和/或方面,并且与书面描述一起用于解释本公开的原理。在任何可能的情况下,贯穿附图中使用的相同附图标记是指实施方案的相同或类似的元件,并且其中:图1A示出了根据示例性实施方案的多视角成像系统的框图。图1B示出了根据示例性实施方案的由多视角成像系统捕获的示例性图像。图1C示出了根据示例性实施方案的多视角成像系统的示例性数据库表。图2示出了根据示例性实施方案的计算设备的框图。图3示出了根据示例性实施方案的图像捕获应用的框图。图4示出了根据示例性实施方案的用于捕获图像的流程图。图5示出了与示例性实施方案一起使用的示例性计算机设备的框图。具体实施方式根据示例性实施方案,多视角成像系统包括成像设备阵列和具有图像捕获应用的计算设备,该图像捕获应用使用成像设备阵列捕获图像。图像捕获应用可从成像设备阵列接收图像,每个图像在大致相同的时间描绘对象的不同视角。图像捕获应用可对对象执行图像分析,并且使用基于已知对象列表的分类对对象进行分类,并且基于分类和其他信息诸如关于对象的深度信息和对象的位置对图像的对象部分进行加权。图像捕获应用可基于分类和/或权重来压缩图像,将图像编码为多视角图像数据,并且基于分类和/或权重来存储多视角图像数据。由成像设备阵列捕获的对象可以是车辆视野中的对象,诸如行人、道路标志、障碍物、车辆、动物和风景等。在一个实施方案中,车辆可以是自动车辆。为了促进对本公开的原理的理解,参考在附图中示出的实施方案,并且将使用特定语言来描述它们。然而,应当理解,并非因此而意在限制本公开的范围;如本公开所涉及领域的技术人员通常会想到的那样,设想了所描述或示出的实施方案的任何改变和其他修改,以及其中示出了本公开的原理的任何其他应用。从车辆拍摄静止图像和/或视频在有许多情况下可能是有益的。图像和/或视频可用于记录和捕获与车辆相关联的信息,包括车辆的活动。车辆周围的环境可以为车辆的乘客提供与道路、其他车辆、障碍物和车辆周围环境相关联的信息。车辆可包括安装在车辆上的成像设备阵列,例如相机,其提供车辆周围环境的多视角时间同步的视频或静止图像。成像设备可安装在车辆的外部和/或车辆的内部,并且可以集成到车辆的设计中。成像设备可以连接至由车辆提供并由车辆提供动力的电基础结构。另外,成像设备可与多视角成像系统相关联以及/或者可以是用于车辆的视觉系统的一部分。成像设备阵列中的每个成像设备的光轴的空间位置、焦距和取向是已知的并且被设计成提供重叠的视场。成像设备阵列提供全景图像、宽视场、高分辨率图像以及车辆周围环境的多视角图像。可基于在图像中找到的对象来存储图像数据。在一个示例中,由成像设备阵列捕获的图像和/或视频可由计算设备处理,以允许在某一刻从多个视角观看。作为示例,成像设备阵列可捕获从安装在车辆的第一侧的外部上的成像设备观看的场景的视频,从安装在车辆前部的成像设备观看的场景的视频,从安装在车辆的第二侧的外部上的成像设备观看的场景的视频,以及从安装在车辆后部的成像设备观看的场景的视频。计算设备可显示从车辆的第一侧观看的场景的视频,转变到从车辆前方观看的场景的视频,转变到从车辆的第二侧观看的场景的视频,并且转变到从车辆后部观看的场景的视频。计算设备可显示从任何视点或视角观看的视频,并且可在显示视频时将视频从一个视点或视角转变到另一个视点。在另一个实施方案中,计算设备可基于阵列中的成像设备的相对空间位置和取向来生成场景或环境的距离图。另外,计算设备可使用由成像设备阵列从多个视角获得的信息本文档来自技高网...

【技术保护点】
1.一种系统,包括:成像设备阵列;处理器;和非暂态计算机可读介质,所述非暂态计算机可读介质存储指令,所述指令在由所述处理器执行时使所述处理器来执行以下操作,包括:通过所述成像设备阵列的第一成像设备捕获场景的第一图像;通过所述成像设备阵列的第二成像设备捕获所述场景的第二图像;执行所述第一图像和所述第二图像的图像分析并确定在所述第一图像中存在对象并且所述对象存在于所述第二图像,所述第一图像表示所述对象的第一视角,并且所述第二图像表示与所述对象的所述第一视角不同的所述对象的第二视角;使用基于已知对象的列表的分类对所述对象进行分类,并且基于所述分类对所述第一图像的对象部分和所述第二图像的对象部分进行加权;基于所述加权压缩所述第一图像和所述第二图像;将所述第一图像和所述第二图像编码为多视角图像数据;以及基于所述加权将所述多视角图像数据存储在所述非暂态计算机可读介质中。

【技术特征摘要】
【国外来华专利技术】2016.09.23 US 62/398,6781.一种系统,包括:成像设备阵列;处理器;和非暂态计算机可读介质,所述非暂态计算机可读介质存储指令,所述指令在由所述处理器执行时使所述处理器来执行以下操作,包括:通过所述成像设备阵列的第一成像设备捕获场景的第一图像;通过所述成像设备阵列的第二成像设备捕获所述场景的第二图像;执行所述第一图像和所述第二图像的图像分析并确定在所述第一图像中存在对象并且所述对象存在于所述第二图像,所述第一图像表示所述对象的第一视角,并且所述第二图像表示与所述对象的所述第一视角不同的所述对象的第二视角;使用基于已知对象的列表的分类对所述对象进行分类,并且基于所述分类对所述第一图像的对象部分和所述第二图像的对象部分进行加权;基于所述加权压缩所述第一图像和所述第二图像;将所述第一图像和所述第二图像编码为多视角图像数据;以及基于所述加权将所述多视角图像数据存储在所述非暂态计算机可读介质中。2.根据权利要求1所述的系统,所述操作还包括:对所述多视角图像数据进行解码并使用所述第一图像和所述第二图像显示所述场景的表示。3.根据权利要求1所述的系统,所述操作还包括:基于所述分类和所述加权中的一者以特定压缩级别压缩所述第一图像和所述第二图像。4.根据权利要求1所述的系统,所述操作还包括:基于所述分类和所述加权中的一者,以特定压缩级别压缩所述第一图像的所述对象部分和所述第二图像的所述对象部分。5.根据权利要求1所述的系统,所述操作还包括:基于所述分类和所述加权中的一者,以第一特定压缩级别压缩所述第一图像的所述对象部分和所述第二图像的所述对象部分,并且以第二特定压缩级别压缩所述第一图像的非对象部分和所述第二图像的非对象部分,所述第一特定压缩级别包括无损压缩级别,并且所述第二特定压缩级别包括有损压缩级别。6.根据权利要求1所述的系统,所述操作还包括:当所述加权不满足特定阈值时丢弃所述第一图像和所述第二图像。7.根据权利要求1所述的系统,所述系统还包括传感器设备,所述操作还包括:使用所述传感器设备确定从所述第一图像设备和所述第二成像设备到所述对象的距离以确定飞行时间;基于所述距离对所述第一图像的所述对象部分和所述第二图像的所述对象部分进行加权;以及基于所述加权压缩所述第一图像和所述第二图像,并且将所述第一图像和所述第二图像编码为所述多视角图像数据。8.根据权利要求1所述的系统,所述系统还包括全球定位系统GPS设备,所述操作还包括:使用所述GPS设备确定所述对象的位置;基于所述对象的所述位置加权所述第一图像的所述对象部分和所述第二图像的所述对象部分;以及基于所述加权压缩所述第一图像和所述第二图像,并且将所述第一图像和所述第二图像编码为所述多视角图像数据。9.根据权利要求1所述的系统,所述操作还包括:基于所述第一图像和所述第二图像确定用于所述对象的双向反射分布函数(BRDF)信息;基于所述BRDF信息对所述第一图像的所述对象部分和所述第二图像的所述对象部分进行加权;以及基于所述加权压缩所述第一图像和所述第二图像,并且将所述第一图像和所述第二图像编码为所述多视角图像数据。10.根据权利要求1所述的系统,所述操作还包括:激活所述成像设备阵列以响应于用户输入开始捕获图像,所述用户输入包括对触摸屏设备和麦克风中的一者的输入。11.根据权利要求1所述的系统,所述操作还包括:激活所述成像设备阵列以响应于用户输入开始捕获图像,所述用户输入包括在触摸屏上做出的手势和口头命令中的一者。12.根据权利要求...

【专利技术属性】
技术研发人员:D·E·波特尔A·Y·张
申请(专利权)人:苹果公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1