低功率计算成像制造技术

本申请公开了一种计算设备(100)，所述计算设备可以提供用于计算成像的低功率、高能力计算平台。所述计算设备可以包括一个或多个处理单元，例如一个或多个向量处理器(102)以及一个或多个硬件加速器(104)、智能存储器结构(106)、外围设备(108)、以及功率管理模块(110)。所述计算设备可以与外部设备(如一个或多个图像传感器、加速度计、陀螺仪、或任何其他合适的传感器设备)进行通信。

【技术实现步骤摘要】
【国外来华专利技术】低功率计算成像相关申请的交叉引用本申请要求提交于2014年8月12日的题为“LOWPOWERCOMPUTATIONALIMAGING(低功率计算成像)”的美国专利申请号14/458,014的较早优先权日期的权益，所述申请对提交于2014年7月30日的题为“LOWPOWERCOMPUTATIONALIMAGINGCOMPUTINGDEVICE(低功率计算成像计算设备)”的美国临时专利申请号62/030,913以及提交于2013年11月18日的题为“APPARATUS,SYSTEMS,ANDMETHODSFORPROVIDINGCOMPUTATIONALIMAGINGPIPELINE(用于提供计算成像流水线的装置、系统、和方法)”的美国专利申请号14/082,396要求了优先权，其对提交于2013年11月6日的题为“APPARATUS,SYSTEMS,ANDMETHODSFORPROVIDINGCONFIGURABLEANDCOMPOSABLECOMPUTATIONALIMAGINGPIPELINE(用于提供可配置和可组合的计算成像流水线的装置、系统、和方法)”的罗马尼亚专利申请OSIM登记A/00812以及对提交于2013年8月8日的题为“CONFIGURABLEANDCOMPOSABLECOMPUTATIONALIMAGINGPIPELINE(可配置和可组合的计算成像流水线)”的英国专利申请号GB1314263.3要求了优先权。本申请还要求提交于2014年8月12日的题为“APPARATUS,SYSTEMS,ANDMETHODSFORLOWPOWERCOMPUTATIONALIMAGING(用于低功率计算成像的装置、系统、和方法)”的美国专利申请号14/458,052的较早优先权日期的权益，所述申请对提交于2014年7月30日的题为“LOWPOWERCOMPUTATIONALIMAGINGCOMPUTINGDEVICE(低功率计算成像计算设备)”的美国临时专利申请号62/030,913、以及对提交于2013年11月18日的题为“APPARATUS,SYSTEMS,ANDMETHODSFORPROVIDINGCOMPUTATIONALIMAGINGPIPELINE(用于提供计算成像流水线的装置、系统、和方法)”的美国专利申请号14/082,396要求了优先权，其对提交于2013年11月6日的题为“APPARATUS,SYSTEMS,ANDMETHODSFORPROVIDINGCONFIGURABLEANDCOMPOSABLECOMPUTATIONALIMAGINGPIPELINE(用于提供可配置和可组合的计算成像流水线的装置、系统、和方法)”的罗马尼亚专利申请OSIM登记A/00812以及对提交于2013年8月8日的题为“CONFIGURABLEANDCOMPOSABLECOMPUTATIONALIMAGINGPIPELINE(可配置和可组合的计算成像流水线)”的英国专利申请号GB1314263.3要求了优先权。。所述申请中的每项申请都特此通过引用以其全文结合在此。专利
本申请总体上涉及提供一种低功率计算成像计算设备。
技术介绍
计算成像是一种新的成像范式，其能够基于图像和视频提供空前的用户体验和信息。例如，计算成像可以对图像和/或视频进行处理以提供场景的深度映射，提供场景的全景视图，从图像和/或视频提取面部，从图像和/或视频提取文本、特征和元数据，并且甚至提供基于对象和场景识别特征的自动化视觉认知能力。虽然计算成像可以提供有趣的能力，但它没有被广泛采用。计算成像的缓慢采用可归因于计算成像伴随有基本的数据处理挑战。通常，图像分辨率和视频帧速率是高的。因此，计算成像通常需要数百千兆字节的计算资源，这可能难以通过使用常规计算机处理器来获得，特别是在性能必须是可持续的并且在低功耗下由高的存储器带宽支持的情况下。此外，计算成像一般对延迟敏感。因为用户不可能等待几分钟来使相机识别对象，所以计算成像相机一般被设计为快速处理图像和视频，这进一步加重了计算成像的计算要求。遗憾的是，难以在定制硬件中实现计算成像技术。由于计算成像领域处于其相对初期，实现技术在不断变化。因此，难以在硬件中完全定制计算成像，因为实施技术的变化将需要重新设计整个硬件。因此，通常期望提供灵活的硬件架构和灵活的硬件基础结构。同时，对于这样的视频和图像处理的需求在很大程度上来自功率消耗是关键考虑因素的便携式电子设备，例如平板计算机和移动设备。其结果是，存在对于即使在受限的功率预算下也可以操作的灵活的计算成像基础结构。
技术实现思路
根据所公开的主题，提供了用于提供低功率计算成像的系统和方法。所公开的主题包括一种计算设备。所述计算设备可以包括多个向量处理器，其中，所述多个向量处理器中的一个向量处理器被配置成用于执行在第一值数组上操作的指令。所述计算设备还可以包括硬件加速器，所述硬件加速器被配置成用于对第二值数组执行滤波操作。所述计算设备还可以包括存储器结构，所述存储器结构包括多个存储器片以及具有第一接口和第二接口的互连系统，其中，所述第一接口被配置成用于将所述多个向量处理器耦合至所述多个存储器片上，并且其中，所述第二接口被配置成用于将所述硬件加速器耦合至所述多个存储器片上。另外，所述计算设备可以包括主机处理器，所述主机处理器被配置成用于使所述存储器结构通过所述第一接口向所述多个向量处理器中的所述一个向量处理器提供所述第一值数组并且通过所述第二接口向所述硬件加速器提供所述第二值数组，由此使所述多个向量处理器中的所述一个向量处理器能够根据所述指令处理所述第一值数组并且使所述硬件加速器能够根据所述滤波操作处理所述第二值数组。在某些实施例中，所述计算设备可以包括多个功率岛，每个功率岛包括至少一个功率域，其中，所述多个功率岛中的第一功率岛被耦合至第一电源电压来向所述多个向量处理器中的一个向量处理器提供所述第一电源电压，并且其中，所述多个功率岛中的第二功率岛被耦合至第二电源电压来向所述硬件加速器提供所述第二电源电压。在某些实施例中，所述计算设备可以包括功率管理模块，所述功率管理模块被配置成用于向将所述多个功率岛中的所述第一功率岛耦合至所述第一电源电压的开关提供使能信号，由此将所述多个向量处理器中的所述一个向量处理器置于活动模式。在某些实施例中，所述多个向量处理器中的所述一个向量处理器可以包括用于处理所述第一值数组的逻辑电路区域以及用于至少存储所述第一值数组的子集的本地存储器，并且所述功率管理模块可以被配置成用于使所述第一电源电压被提供给所述逻辑电路区域并且使第三电源电压被提供给所述本地存储器以独立控制所述逻辑电路区域和所述本地存储器的功耗。在某些实施例中，所述功率管理模块可以被配置成用于断开所述开关以将所述多个功率岛中的所述第一功率岛从所述第一电源电压断开，由此将所述多个向量处理器中的所述一个向量处理器置于低功率模式。在某些实施例中，所述功率管理模块可以包括有效信号生成器，所述有效信号生成器被配置成用于生成指示所述多个功率岛中的所述第一功率岛中的电路块准备好处理输入数据的时刻的有效信号，其中，所述有效信号生成器包括向所述多个功率岛中的所述第一功率岛中的所述电本文档来自技高网...

【技术保护点】
一种计算设备，包括：多个向量处理器，其中，所述多个向量处理器中的一个向量处理器被配置成用于执行在第一值数组上操作的指令；硬件加速器，所述硬件加速器被配置成用于对第二值数组执行滤波操作；存储器结构，所述存储器结构包括多个存储器片以及具有第一接口和第二接口的互连系统，其中，所述第一接口被配置成用于将所述多个向量处理器耦合至所述多个存储器片上，并且其中，所述第二接口被配置成用于将所述硬件加速器耦合至所述多个存储器片上；以及主机处理器，所述主机处理器被配置成用于使所述存储器结构通过所述第一接口向所述多个向量处理器中的所述一个向量处理器提供所述第一值数组并且通过所述第二接口向所述硬件加速器提供所述第二值数组，由此使所述多个向量处理器中的所述一个向量处理器能够根据所述指令处理所述第一值数组并且使所述硬件加速器能够根据所述滤波操作处理所述第二值数组。

【技术特征摘要】
【国外来华专利技术】2014.07.30 US 62/030,913;2014.08.12 US 14/458,014;1.一种计算设备，包括：多个向量处理器，其中，所述多个向量处理器中的一个向量处理器被配置成用于执行在第一值数组上操作的指令；硬件加速器，所述硬件加速器被配置成用于对第二值数组执行滤波操作；存储器结构，所述存储器结构包括多个存储器片以及具有第一接口和第二接口的互连系统，其中，所述第一接口被配置成用于将所述多个向量处理器耦合至所述多个存储器片上，并且其中，所述第二接口被配置成用于将所述硬件加速器耦合至所述多个存储器片上；以及主机处理器，所述主机处理器被配置成用于使所述存储器结构通过所述第一接口向所述多个向量处理器中的所述一个向量处理器提供所述第一值数组并且通过所述第二接口向所述硬件加速器提供所述第二值数组，由此使所述多个向量处理器中的所述一个向量处理器能够根据所述指令处理所述第一值数组并且使所述硬件加速器能够根据所述滤波操作处理所述第二值数组。2.如权利要求1所述的计算设备，进一步包括多个功率岛，每个功率岛包括至少一个功率域，其中，所述多个功率岛中的第一功率岛被耦合至第一电源电压来向所述多个向量处理器中的一个向量处理器提供所述第一电源电压，并且其中，所述多个功率岛中的第二功率岛被耦合至第二电源电压来向所述硬件加速器提供所述第二电源电压。3.如权利要求2所述的计算设备，进一步包括功率管理模块，所述功率管理模块被配置成用于向将所述多个功率岛中的所述第一功率岛耦合至所述第一电源电压的开关提供使能信号，由此将所述多个向量处理器中的所述一个向量处理器置于活动模式。4.如权利要求3所述的计算设备，其中，所述多个向量处理器中的所述一个向量处理器包括用于处理所述第一值数组的逻辑电路区域以及用于至少存储所述第一值数组的子集的本地存储器，并且其中，所述功率管理模块被配置成用于使所述第一电源电压被提供给所述逻辑电路区域并且使第三电源电压被提供给所述本地存储器以独立控制所述逻辑电路区域和所述本地存储器的功耗。5.如权利要求3所述的计算设备，其中，所述功率管理模块被配置成用于断开所述开关以将所述多个功率岛中的所述第一功率岛从所述第一电源电压断开连接，由此将所述多个向量处理器中的所述一个向量处理器置于低功率模式。6.如权利要求3所述的计算设备，其中，所述功率管理模块包括有效信号生成器，所述有效信号生成器被配置成用于生成指示所述多个功率岛中的所述第一功率岛中的电路块准备好处理输入数据的时刻的有效信号，其中，所述有效信号生成器包括向所述多个功率岛中的所述第一功率岛中的所述电路块提供所述第一电源电压的开关菊链。7.如权利要求3所述的计算设备，进一步包括耦合至多个输入/输出(I/O)引脚的外围设备，其中，所述外围设备被配置成用于提供所述多个向量处理器中的至少一个向量处理器与外部设备之间的通信信道。8.如权利要求7所述的计算设备，其中，所述外围设备在始终通电的功率岛内。9.如权利要求8所述的计算设备，其中，所述外围设备被配置成用于监测来自所述外部设备的信号以检测所述多个向量处理器中的一个向量处理器应当响应的事件，并且当所述外围设备检测到所述事件时，使所述功率管理模块将所述多个向量处理器中的所述一个向量处理器置于所述活动模式。10.如权利要求7所述的计算设备，其中，所述外围设备包括仿真模块，所述仿真模块被配置成用于使所述外围设备通过所述I/O引脚的公共组来仿真多个标准协议接口的功能。11.如权利要求10所述的计算设备，其中，所述外围设备被耦合至I/O引脚差分对上，并且所述外围设备被配置成用于基于极性控制信号来改变所述差分对的极性。12.如权利要求10所述的计算设备，其中，所述I/O引脚差分对包括移动行业处理器接口(MIPI)通道差分对。13.如权利要求7所述的计算设备，其中，所述外围设备包括旁路缓冲器，所述旁路缓冲器被配置成用于在输入I/O引脚和输出I/O引脚之间进行旁路，由此在所述输入I/O引脚与所述输出I/O引脚之间提供通信信道而无需将所述向量处理器中的所述一个向量处理器置于活动模式。14.一种方法，包括：提供包括多个存储器片的存储器结构以及具有第一接口和第二接口的互连系统；使用所述第一接口将所述多个存储器片与多个向量处理器进行耦合；使用所述第二接口将所述多个存储器片与硬件加速器进行耦合；由所述存储器结构通过所述第一接口向所述多个向量处理器中的一个向量处理器提供第一值数组并且通过所述第二接口向所述硬件加速器提供第二值数组；在多个向量处理器中的所述一个向量处理器处执行在所述第一值数组上操作的指令；以及由所述硬件加速器对所述第二值数组执行滤波操作。15.如权利要求14所述的方法，进一步包括：向所述多个向量处理器中的一个向量处理器提供第一电源电压；以及向所述硬件加速器提供第二电源电压，其中，所述多个向量处理器中的所述一个向量处理器以及所述硬件加速器分别与第一功率岛和第二功率岛相关联。16.如权利要求15所述的方法，进一步包括：由功率管理模块向将所述第一功率岛耦合至所述第一电源电压的开关提供使能信号，由此将所述多个向量处理器中的所述一个向量处理器置于活动模式。17.如权利要求15所述的方法，进一步包括：使用向所述多个向量处理器中的所述一个向量处理器中的电路块提供所述第一电源电压的开关菊链，生成指示所述第一功率岛中的电路块准备好处理输入数据的时刻的有效信号。18.如权利要求14所述的方法，进一步包括：提供耦合至多个输入/输出(I/O)引脚的外围设备，其中，所述外围设备与始终通电的功率岛相关联。19.如权利要求18所述的方法，进一步包括：监测来自外部设备的信号以检测所述多个向量处理器中的所述一个向量处理器应当响应的事件，并且使所述功率管理模块将所述多个向量处理器中的所述一个向量处理器置于所述活动模式。20.如权利要求18所述的方法，进一步包括：由所述外围设备通过所述I/O引脚的公共组来仿真多个标准协议接口的功能。21.如权利要求20所述的方法，其中，所述外围设备被耦合至I/O引脚的差分对上，并且所述方法进一步包括基于极性控制信号来改变所述差分对的极性。22.如权利要求18所述的方法，进一步包括：使用旁路缓冲器在输入I/O引脚和输出I/O引脚之间进行旁路，由此在所述输入I/O引脚与所述输出I/O引脚之间提供通信信道而无需将所述向量处理器中的所述一个向量处理器置于活动模式。23.一种电子设备，包括：多个向量处理器，其中，所述多个向量处理器中的一个向量处理器被配置成用于执行在第一值数组上操作的指令；硬件加速器，所述硬件加速器包括使用从软件模块所接收的配置信息进行编程的可编程数据路径流水线，其中，所述可编程数据路径流水线被配置成用于根据所述配置信息对第二值数组执行滤波操作；存储器结构，所述存储器结构包括多个存储器片；以及主机处理器，所述主机处理器被配置成用于使所述存储器结构向所述多个向量处理器中的所述一个向量处理器提供所述第一值数组并且向所述硬件加速器提供所述第二值数组，由此使所述多个向量处理器中的所述一个向量处...

【专利技术属性】
技术研发人员：B·巴里，R·里士满，F·康纳，D·莫洛尼，
申请(专利权)人：线性代数技术有限公司，
类型：发明
国别省市：爱尔兰,IE