用以在任意向量之间执行卷积的方法技术

一种用以在任意向量之间执行卷积的方法包括：通过使用第一弱耦合振荡器集群来估计针对具有多个第一元素的第一向量与具有多个第二元素的第二向量之间的差值的第一匹配度；通过使用第二弱耦合振荡器集群来估计针对第一向量的第二匹配度；通过使用第三弱耦合振荡器集群来估计针对第二向量的第三匹配度；从第一匹配度导出第一平方L

【技术实现步骤摘要】
【国外来华专利技术】用以在任意向量之间执行卷积的方法相关申请的交叉引用本申请涉及2014年3月10日提交的美国专利申请14/202,200，该申请如同完全进行阐述那样并入本文。本申请要求2016年7月6日提交的U.S.S.N.15/203,596的优先权和权益，该申请通过引用并入本文。有关联邦科研经费的声明本专利技术是根据美国政府合同HR0011-13-C-0052进行的。美国政府对本专利技术具有某些权利。
本公开涉及一种用以通过使用弱耦合震荡器集群来在任意向量之间执行卷积的方法。
技术介绍
很多信号处理应用(范围从监视相机到汽车、飞机、UAV)需要对由许多传感器实时获取的大量信号执行滤波操作。例如，现有技术的对象识别算法采用其基本计算是卷积运算的深度学习网络。在现有技术中，如在下面的通过引用的方式并入本文的参考文献[2]、[7]和[8]中描述的，已经使用耦合振荡器来计算两个向量之间的匹配度(DoM)。DoM是通过两个向量之间的差值而计算的，并且DoM基于耦合振荡器之间的自发同步的动态。概念是：如果向量具有相似的值，使得匹配较高并且差值很小，则振荡器在频率和相位上相对更快地同步。图1示出了经由平均器12彼此弱耦合以执行模板匹配的振荡器10集群。单独的振荡器10基于五元素输入向量14与五元素向量模板16之间的差向量18中的对应元素在相位或者频率上被扰乱。通过对平均器12处的振荡求积分来读出匹配度。本领域的技术人员将领会，M维输入向量将需要M个振荡器的集群。取决于振荡器行为，例如，如在参考文献[7]和[8]中针对CMOS张弛振荡器以及耦合架构(如在参考文献[2]中描述的，该耦合架构可以是环)描述的，已经表明输出的DoM测量与向量之间的距离的某些Lp范数大致相关。本领域的技术人员理解用于Lp范数的公式，并且知道用于向量x的L2范数的公式是而用于范数L1的公式是利用处处可微的Lp范数的封闭形式分析函数来表征DoM测量一直是具有挑战性的。能够执行对DoM的这种表征是至关重要的，因为通过使用梯度下降的变型来训练现有技术的模式识别和机器学习算法(例如，该机器学习算法可以使用卷积网络或者自动编码器的层次结构)，例如，梯度下降的变型可以是delta规则和反向传播。Delta规则和反向传播仅用于针对网络中的大量单元中的每个单元的可微的激活函数。由于这个原因，如在下面的通过引用的方式并入本文的参考文献[3]和[4]中描述的，利用振荡器集群的概念来构建复杂的视觉对象识别系统的现有尝试仅取得了有限的成功。然而，如在参考文献[7]和[8]中描述的，使用振荡器集群但是不依赖于梯度下降训练的方法已经更加成功。参考文献下面的参考文献通过引用的方式并入。[1]由J.Cruz-Albrecht和N.Srinivasa于2014年3月10日提交的标题为“ATimeEncodedBasedNetworkforImageProcessing”的美国专利申请14/202,200。[2]由T.Shibata、R.Zhang、S.P.Levitan、D.Nikonov和G.Bourianoff于2012年发表在Proc.Intl.WorkshoponCellularNanoscaleNetworksandtheirApplications上的“CMOSSupportingCircuitriesforNano-Oscillator-BasedAssociativeMemories”。[3]由S.P.Levitan、Y.Fang、D.H.Dash、T.Shibata、D.E.Nikonov和G.I.Bourianoff于2012年发表在Proc.Intl.WorkshoponCellularNanoscaleNetworksandtheirApplications上的“Non-BooleanAssociativeArchitecturesBasedonNano-Oscillators”。[4]由Levitan,S.P.、Fang,Y.、Carpenter,J.A.、Gnegy,C.N.、Janosik,N.S.、Awosika-Olumo,S.、...和Porod,W.发表在ISLPED(第235页)上的“(2013).Associativeprocessingwithcoupledoscillators.”。[5]由Sermanet,P.、Eigen,D.、Zhang,X.、Mathieu,M.、Fergus,R.和LeCun,Y.发表在InternationalConferenceonLearningRepresentations(ICLR2014),April2014上的“(2014).Overfeat:Integratedrecognition,localizationanddetectionusingconvolutionalnetworks.”。[6]由Krizhevsky,A.、Sutskever,I.和Hinton,G.E.发表在Advancesinneuralinformationprocessingsystems(第1097-1105页)中的“(2012).ImageNetclassificationwithdeepconvolutionalneuralnetworks.”。[7]在2014的IEEE/ACM计算机辅助设计国际会议(ICCAD)DOI:10.1109/ICCAD.2014.7001336上第86至91页发表的“Modelingoscillatorarraysforvideoanalyticapplications”。[8]在2014年10月的2014IEEE信号处理系统(SiPS)研讨会DOI:10.1109/SiPS.2014.6986101上第1页、第6页和第20至22页发表的“HMAXImageProcessingPipelinewithCoupledOscillatorAcceleration”。[9]在2015年7月8日至10日的法国蒙彼利埃展开的国际超大规模集成讨论会(ISVLSI2015)上发表的第144期论文“AComputationalPrimitiveforConvolutionBasedonCoupledOscillatorArrays”。所需要的是一种通过使用弱耦合振荡器集群来计算内积、点积和卷积的改进方法。本公开的实施例满足了这些以及其它需求。
技术实现思路
两个向量的卷积本质上是两个向量之间的点积。计算两个向量之间的点积在计算上是昂贵的。必须将每对元素M相乘并且然后对其进行求和。当涉及很多数据点时，这种直接计算会太昂贵，并且需要一种更快、在计算上更便宜的方法。一种这种方法是：通过两个向量之间的匹配度(DoM)和每个向量与零向量之间的DoM来计算两个向量的近似点积。弱耦合振荡器集群是一种用以计算两个向量之间的DoM的在计算上廉价的方式。一个集群用于第一向量而第二集群用于第一向量与零向量之间的DoM，并且第三集群用于计算第二向量与零向量之间的DoM。每个DoM用于输入预先计算的分段连续且可微函数以产生对两个向量之间的差值的大小平方的估计。然后，近似点积计算是如下所述对大小的平方的三种估计的直接组合。在本文档来自技高网...

【技术保护点】
1.一种用以在任意向量之间执行卷积的方法，包括：通过使用第一弱耦合振荡器集群来计算针对具有多个第一元素的第一向量与具有多个第二元素的第二向量之间的差值的第一匹配度；通过使用第二弱耦合振荡器集群来计算针对第一向量的第二匹配度；通过使用第三弱耦合振荡器集群来计算针对第二向量的第三匹配度；通过第一匹配度来估计第一平方L2范数；通过第二匹配度来估计第二平方L2范数；通过第三匹配度来估计第三平方L2范数；以及将第二平方L2范数与第三平方L2范数相加，并且减去第一平方L2范数以形成总和。

【技术特征摘要】
【国外来华专利技术】2016.07.06 US 15/203,5961.一种用以在任意向量之间执行卷积的方法，包括：通过使用第一弱耦合振荡器集群来计算针对具有多个第一元素的第一向量与具有多个第二元素的第二向量之间的差值的第一匹配度；通过使用第二弱耦合振荡器集群来计算针对第一向量的第二匹配度；通过使用第三弱耦合振荡器集群来计算针对第二向量的第三匹配度；通过第一匹配度来估计第一平方L2范数；通过第二匹配度来估计第二平方L2范数；通过第三匹配度来估计第三平方L2范数；以及将第二平方L2范数与第三平方L2范数相加，并且减去第一平方L2范数以形成总和。2.根据权利要求1所述的方法，其中：通过第一匹配度来估计第一平方L2范数包括：使用第一预先计算的查找表或者第一预先计算的分段线性函数，用于从第一匹配度导出第一平方L2范数；通过第二匹配度来估计第二平方L2范数包括：使用第二预先计算的查找表或者第二预先计算的分段线性函数，用于从第二匹配度导出第二平方L2范数；以及通过第三匹配度来估计第三平方L2范数包括：使用第三预先计算的查找表或者第三预先计算的分段线性函数，用于从第三匹配度导出第三平方L2范数。3.根据权利要求1所述的方法，其中：通过第一匹配度来估计第一平方L2范数包括：通过使用第一弱耦合振荡器集群来表征针对不同第一平方L2范数的第一匹配度以估计针对第一向量的多个元素样本且针对第二向量的多个元素样本的第一匹配度以形成相应第一匹配度与相应第一平方L2范数之间的对应，其中，第一向量的每个元素和第二向量的每个元素范围在-1和+1之间；通过第二匹配度来估计第二平方L2范数包括：通过使用第二弱耦合振荡器集群来表征针对不同第二平方L2范数的第二匹配度以估计针对第一向量的多个元素样本的第二匹配度以形成相应第二匹配度与相应第二平方L2范数之间的对应，其中，第一向量的每个元素范围在-1和+1之间；以及通过第三匹配度来导出第三平方L2范数包括：通过使用第三弱耦合振荡器集群来表征针对不同第三平方L2范数的第三匹配度以估计针对第二向量的多个元素样本的第三匹配度以形成相应第三匹配度与相应第三平方L2范数之间的对应，其中，第二向量的每个元素范围在-1和+1之间。4.根据权利要求3所述的方法：其中，估计针对具有多个第一元素的第一向量与具有多个第二元素的第二向量之间的差值的第一匹配度包括：估计针对第一向量与第二向量之间的差值的第一匹配度，其中，第一向量的每个元素和第二向量的每个元素范围在-1和+1之间；其中，估计针对第一向量的第二匹配度包括：估计第二匹配度，其中，第一向量的每个元素范围在-1和+1之间；以及其中，估计针对第二向量的第三匹配度包括：估计第三匹配度，其中，第二向量的每个元素范围在-1和+1之间；并且进一步包括：计算第一向量的第一L1范数；计算第二向量的第二L1范数；将第二平方L2范数与第三平方L2范数相加，并且减去第一平方L2范数，第一比例因子乘以第一L1范数，第二比例因子乘以第二L1范数，以及第三因子以形成总和；以及将总和除以2。5.根据权利要求1所述的方法：其中，第二弱耦合振荡器集群是第一弱耦合振荡器集群；并且其中，第三弱耦合振荡器集群是第一弱耦合振荡器集群。6.根据权利要求1所述的方法，进一步包括：在第一向量的第一元素的值范围内以及在第二向量的第二元素的值范围内估计针对多个第一向量和多个第二向量的多个第一匹配度以表征相应第一匹配度与相应第一平方L2范数之间的关系；在第一向量的第一元素的值范围内估计针对多个第一向量的多个第二匹配度以表征相应第二匹配度与相应第二平方L2范数之间的关系；以及在第二向量的第二元素的值范围内估计针对多个第二向量的多个第三匹配度以表征相应第三匹配度与相应第三平方L2范数之间的关系。7.根据权利要求1所述的方法，其中：通过使用第二弱耦合振荡器集群来估计针对第一向量的第二匹配度包括：估计针对第一向量与具有多个零元素的第三向量之间的差值的第二匹配度；以及通过使用第三弱耦合振荡器集群来估计针对第二向量的第三匹配度包括：估计针对第二向量与具有所述多个零元素的第三向量之间的差值的第三匹配度。8.根据权利要求1所述的方法，其中：第一弱耦合振荡器集群包括谐振体振荡器或者自旋扭矩振荡器；第二弱耦合振荡器集群包括谐振体振荡器或者自旋扭矩振荡器；以及第三弱耦合振荡器集群包括谐振体振荡器或者自旋扭矩振荡器。9.根据权利要求1所述的方法，其中：第一弱耦合振荡器集群包括：多个差分电路，每个相应的差分电路耦合至第一向量的相应元素和第二向量的相应元素并且具有相应的差分输出；多个振荡器，每个相应的振荡器具有耦合至相应的差分输出的相应输入并且具有相应的振荡器输出；求和器，用于将相应的振荡器输出相加；以及积分器，用于在所述振荡器的多个周期上求积分并且具有用于提供对第一匹配度的估计的积分器输出。10.根据权利要求9所述的方法，其中：每个差分电路包括跨导放大器；以及每个振荡器包括时间编码振荡器，所述时间编码振荡器包括：求和器，所述求和器耦合至所述差分电路；积分器，所述积分器耦合至所述求和器；滞后量化器，所述滞后量化器耦合至所述积分器；以及1位数模转换器，所述1位数模转换器耦合至具有耦合至所述求和器的输出的所述滞后量化器。11.根据权利要求9所述的方法，其中：每个差分电路包括模拟电压差分电路；以...

【专利技术属性】
技术研发人员：约瑟·克鲁兹阿尔布雷克特，普拉文·K·皮利，纳拉扬·斯里尼瓦沙，史蒂文·P·利维坦，唐纳德·M·夏鲁利，
申请(专利权)人：HRL实验室有限责任公司，匹兹堡大学联邦高等教育系统，
类型：发明
国别省市：美国,US