光流跟踪装置和方法制造方法及图纸

一种光流跟踪装置(220,400,600,700,810)和方法，可以实现在不影响系统性能的情况下，充分利用系统的资源以便于后续的系统升级和维护。光流跟踪装置(220,400,600,700,810)包括图像金字塔建立电路(402,730)和光流跟踪电路(404,740)；图像金字塔建立电路(402,730)用于：建立第一图像(I)的第一图像金字塔(102)以及第二图像(J)的第二图像金字塔(104)；光流跟踪电路(404,740)用于：对第一图像金字塔(102)中的第k层图像分层(112,114,116,118)以及第二图像金字塔(104)中的第k层图像分层(112,114,116,118)进行光流跟踪处理；其中，在光流跟踪处理的乘法处理中，多个乘法器对第一图像金字塔(102)和/或第二图像金字塔(104)的图像分层(112,114,116,118)对应的数据进行乘法处理；其中，多个乘法器中每个乘法器在多个时钟串行进行乘法处理，以及，多个乘法器中不同的乘法器在相同的时钟并行进行乘法处理。

【技术实现步骤摘要】
【国外来华专利技术】光流跟踪装置和方法
本申请涉及图像处理领域，并且更具体地，涉及一种光流跟踪装置和方法。
技术介绍
图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。图像金字塔的用途非常广泛，例如，可以进行光流跟踪。在利用图像金字塔进行光流跟踪时，涉及的计算非常复杂。如果系统硬件资源较多，则会提高系统性能，但会对系统的升级和维护带来一定的限制。如果系统硬件资源较少，会便于系统的升级和维护，但是系统性能较差。在利用图像金字塔进行光流跟踪时，如何在不影响系统性能的情况下，充分利用系统的资源以便于后续的系统升级和维护是一项亟待解决的问题。
技术实现思路
本申请实施例提供了一种光流跟踪装置和方法，可以实现在不影响系统性能的情况下，充分利用系统的资源以便于后续的系统升级和维护。第一方面，提供了一种光流跟踪装置，包括图像金字塔建立电路和光流跟踪电路；图像金字塔建立电路用于：建立第一图像的第一图像金字塔以及第二图像的第二图像金字塔，其中，第一图像金字塔包括至少一个图像分层，第二图像金字塔包括至少一个图像分层；光流跟踪电路用于：对第一图像金字塔中的第k层图像分层以及第二图像金字塔中的第k层图像分层进行光流跟踪处理，以获取第二图像在第k层图像分层的光流估计量，k为整数；其中，在光流跟踪处理的乘法处理中，多个乘法器对第一图像金字塔和/或第二图像金字塔的图像分层对应的数据进行乘法处理；其中，多个乘法器中每个乘法器在多个时钟串行进行乘法处理，以及，多个乘法器中不同的乘法器在相同的时钟并行进行乘法处理；光流跟踪电路还用于：利用第二图像在第k层图像分层的光流估计量，计算第二图像的光流。第二方面，提供了一种光流跟踪方法，包括：触发图像金字塔建立电路建立第一图像的第一图像金字塔以及第二图像的第二图像金字塔，其中，第一图像金字塔包括至少一个图像分层，第二图像金字塔包括至少一个图像分层；触发光流跟踪电路对第一图像金字塔中的第k层图像分层以及第二图像金字塔中的第k层图像分层进行光流跟踪处理，以获取第二图像在第k层图像分层的光流估计量，k为整数；其中，在光流跟踪处理的乘法处理中，多个乘法器对第一图像金字塔和/或第二图像金字塔的图像分层对应的数据进行乘法处理；其中，多个乘法器中每个乘法器在多个时钟串行进行乘法处理，以及，多个乘法器中不同的乘法器在相同的时钟并行进行乘法处理；触发光流跟踪电路利用第二图像在第k层图像分层的光流估计量，计算第二图像的光流。第三方面，提供了一种光流跟踪装置，包括用于实现第二方面中的方法的模块。因此，在利用图像金字塔进行光流跟踪的过程中，针对乘法处理，同一乘法器在多个时钟可以串行进行乘法处理，以及多个乘法器在相同的时钟可以并行工作，这样可以避免采用一个乘法器进行所有的乘法处理所造成的系统性能较低的问题，以及避免采用较多的乘法器进行乘法处理所造成的系统硬件资源较多，从而避免对后续系统的升级和维护造成限制的问题，从而，本申请实施例实现了在不影响系统性能的情况下，充分利用系统的资源以便于后续的系统的升级和维护。附图说明为了更清楚地说明本申请实施例的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是根据本申请实施例的图像金字塔的示意性图。图2是根据本申请实施例的特征跟踪系统的示意性框图。图3是根据本申请实施例的图像跟踪方法的示意性图。图4是根据本申请实施例的双线性插值计算的示意性图。图5是根据本申请实施例的图像跟踪装置的示意性图。图6是根据本申请实施例的图像跟踪装置中的乘法器组的连接示意性图。图7是根据本申请实施例的图像跟踪方法的示意性流程图。图8是根据本申请实施例的图像跟踪装置的示意性框图。图9是根据本申请实施例的图像跟踪装置的示意性框图。图10是根据本申请实施例的图像处理设备的示意性框图。图11是根据本申请实施例的可移动设备的示意性框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。图像金字塔是图像多尺度表达的一种，是一种以多分辨率来解释图像的有效但概念简单的结构。可以通过平滑和/或降采样的方式，获取图像金字塔。图像金字塔可以包括多个图像分层(也可以称为图像层，层，金字塔层等)，图像金字塔的上层的分辨率低于下层的分辨率。图像金字塔的用途非常广泛，例如，可以应用于特征点跟踪等。在特征点跟踪中，可以建立第一图像的图像金字塔和第二图像的图像金字塔，其中，特征点在第一图像的位置是已知的，可以利用第二图像中至少一个像素点的位置和/或像素值进行特征点跟踪。以下将结合图1描述在利用到特征点跟踪时，图像金字塔的建立方式，但应理解，图1所示的金字塔建立方式仅仅是一种实现方式，不应对本申请造成限定。图1示出了根据本申请实施例的第一图像(即，图像I)和第二图像(图像J)的图像金字塔。如图1所示，图像I的图像金字塔102和图像J的图像金字塔104具有m+1个图像分层，其中，m为不小于0的整数。在112处，图像金字塔的底层是图像分层0，图像分层0具有图像I和图像J的最高分辨率。例如，图像I和图像J的最高分辨率可以分别是图像I和图像J的原始图像的最高分辨率。可选地，图像I和图像J的图像分层0分别包括图像I和图像J的部分或全部像素位置的像素值。可选地，像素值可以是图像I和图像J的灰度值。可选地，像素值也可以包括像素位置的亮度。可选地，图像I和图像J中的像素位置的像素值可以分别表示为I(x，y)以及J(x，y)，其中，x和y是像素位置的像素坐标。例如，对于图像分层0，左上角的像素坐标向量可以表示为[00]T，图像I和图像J的宽度和高度是相同的，并且可以表示为nx和ny(均为不小于1的整数)。右下角的像素坐标向量可以表示为[nx-1ny-1]T。应理解，图像I和图像J可以不具有相同的高度和宽度，此处假设具有相同的高度和宽度仅仅是为了描述的方便。可选地，可以以递归的方式建立图像I和图像J的图像金字塔。图像分层1基于图像分层0计算得到，图像分层2基于图像分层1计算得到，以此类推。可选地，可以采用平滑或降采样的方式，从下到上建立金字塔的图像分层。例如，令L＝1,2,...代表金字塔的层数，IL-1是第L-1层的图像。nxL-1和nyL-1分别是IL-1层的宽度和高度。其中，图像分层IL可以按照以下公式1求得：应理解，上述式1所示的图像分层的确定方法仅仅是一种实现方式，本申请实施例还可以有其他的实现方式。例如，可以对式1采样的3x3的kernal权重矩阵的取值进行改变，或者也可以采用5x5，7x7的权重矩阵。通过这样的平滑和/或降采样，层L可以包括层L-1的大约1/4的像素位置。例如，对于尺寸为1920x1024的图像(I0具有相同的尺寸)，图像分层I1，I2，I3和I4的尺寸分别为960x512，480x256，240x128和120x64。其中，对于本文档来自技高网...

【技术保护点】
1.一种光流跟踪装置，其特征在于，包括图像金字塔建立电路和光流跟踪电路；所述图像金字塔建立电路用于：建立第一图像的第一图像金字塔以及第二图像的第二图像金字塔，其中，所述第一图像金字塔包括至少一个图像分层，所述第二图像金字塔包括至少一个图像分层；所述光流跟踪电路用于：对所述第一图像金字塔中的第k层图像分层以及所述第二图像金字塔中的第k层图像分层进行光流跟踪处理，以获取所述第二图像在所述第k层图像分层的光流估计量，所述k为整数；其中，在光流跟踪处理的乘法处理中，多个乘法器对所述第一图像金字塔和/或所述第二图像金字塔的图像分层对应的数据进行乘法处理；其中，所述多个乘法器中每个乘法器在多个时钟串行进行乘法处理，以及，所述多个乘法器中不同的乘法器在相同的时钟并行进行乘法处理；所述光流跟踪电路还用于：利用所述第二图像在所述第k层图像分层的光流估计量，计算所述第二图像的光流。

【技术特征摘要】
【国外来华专利技术】1.一种光流跟踪装置，其特征在于，包括图像金字塔建立电路和光流跟踪电路；所述图像金字塔建立电路用于：建立第一图像的第一图像金字塔以及第二图像的第二图像金字塔，其中，所述第一图像金字塔包括至少一个图像分层，所述第二图像金字塔包括至少一个图像分层；所述光流跟踪电路用于：对所述第一图像金字塔中的第k层图像分层以及所述第二图像金字塔中的第k层图像分层进行光流跟踪处理，以获取所述第二图像在所述第k层图像分层的光流估计量，所述k为整数；其中，在光流跟踪处理的乘法处理中，多个乘法器对所述第一图像金字塔和/或所述第二图像金字塔的图像分层对应的数据进行乘法处理；其中，所述多个乘法器中每个乘法器在多个时钟串行进行乘法处理，以及，所述多个乘法器中不同的乘法器在相同的时钟并行进行乘法处理；所述光流跟踪电路还用于：利用所述第二图像在所述第k层图像分层的光流估计量，计算所述第二图像的光流。2.根据权利要求1所述的光流跟踪装置，其特征在于，所述光流跟踪装置利用奏-卢卡斯-托马西KLT算法实现光流跟踪。3.根据权利要求1或2所述的光流跟踪装置，其特征在于，所述光流跟踪电路具体用于：对所述第一图像金字塔中的第k层图像分层的第一矩形框进行第一双线形插值处理；利用插值处理后的所述第一矩形框，计算所述第一矩形框中的第一子矩形框中每个数据相对x和相对y的导数；利用所述第一子矩形框中每个数据相对x和相对y的导数，计算矩阵G；对所述第二图像金字塔中的第k层图像分层的第二矩形框进行第二双线形插值处理，得到插值处理后的所述第二矩形框；确定插值处理后的所述第一矩形框与插值处理后的所述第二矩形框之间的图像差；根据所述图像差，确定插值处理后的所述第一矩形框与插值处理后的所述第二矩形框之间的图像不匹配向量；根据所述不匹配向量以及所述矩阵G，计算所述第二图像在所述第k层图像分层的光流估计量。4.根据权利要求3所述的光流跟踪装置，其特征在于，所述光流跟踪电路具体用于：在利用前次插值处理后的所述第二矩形框得到的光流估计量不满足第一预定值时，或者迭代计算光流估计量的次数不满足第二预定值时，更新第二矩形框，并对更新后的所述第二矩形框进行第二双线形插值处理，以重新确定所述光流估计量。5.根据权利要求3或4所述的光流跟踪装置，其特征在于，所述光流跟踪电路包括第一乘法器组，所述第一乘法器组包括多个第一乘法器，插值处理后的所述第一矩形框包括多个第一数据；所述第一乘法器组进行所述第一双线性插值处理中的乘法处理；其中，所述多个第一乘法器中不同的乘法器在相同的时钟分别进行得到所述多个第一数据中不同第一数据的乘法处理，通过多个时钟完成得到所述多个第一数据的乘法处理。6.根据权利要求3至5中任一项所述的光流跟踪装置，其特征在于，所述光流跟踪电路包括第二乘法器组，所述第二乘法器组包括多个第二乘法器，所述第一子矩形框包括多个第二数据；所述第二乘法器组进行计算矩阵G时需要进行的乘法处理；其中，所述多个第二乘法器中不同的乘法器在相同的时钟分别进行针对所述多个第二数据中不同第二数据的乘法处理，通过多个时钟完成针对所述多个第二数据的乘法处理，其中，针对所述第二数据的乘法处理包括对所述第二数据相对x的导数和相对y的导数的乘法处理。7.根据权利要求3至6中任一项所述的光流跟踪装置，其特征在于，进行所述第一双线性插值处理的乘法器组与计算矩阵G所利用的乘法器组不为同一乘法器组。8.根据权利要求3至7中任一项所述的光流跟踪装置，其特征在于，所述第一光流跟踪电路包括第三乘法器组，所述第三乘法器组包括多个第三乘法器，插值处理后的第二矩形框包括多个第三数据；所述第三乘法器组进行所述第二双线性插值处理中的乘法处理；其中，所述多个第三乘法器中不同的乘法器在相同时钟分别进行得到所述多个第三数据中不同的第三数据的乘法处理，通过多个时钟完成得到所述多个第三数据的乘法处理。9.根据权利要求3至8中任一项所述的光流跟踪装置，其特征在于，进行所述第二双线性插值处理的乘法器组与计算矩阵G利用的乘法器组不为同一乘法器组；和/或，进行所述第二双线性插值处理的乘法器组与进行所述第一双线插值处理的乘法器组不为同一乘法器组。10.根据权利要求9所述的光流跟踪装置，其特征在于，进行所述第二双线性插值处理的乘法器组包括的乘法器的数量大于：计算矩阵G利用的乘法器组包括的乘法器的数量；和/或，进行所述第一双线性插值处理的乘法器组包括的乘法器的数量。11.根据权利要求3至10中任一项所述的光流跟踪装置，其特征在于，所述光流跟踪电路包括第四乘法器组，所述第四乘法器组包括多个第四乘法器；所述第四乘法器组进行利用所述图像差获取所述不匹配向量中的乘法处理；其中，所述多个第四乘法器中不同乘法器在相同时钟进行多个数据组中不同数据组的乘法处理，通过多个时钟完成得到所述图像不匹配向量时对所述多个数据组需要进行的乘法处理，其中，一个所述数据组包括插值处理后的所述第一矩形框中的一个第一数据，插值处理后的所述第二矩形框中与所述一个第一数据匹配的一个第二数据，以及包括与所述一个第一数据匹配的图像差。12.根据权利要求3至11中任一项所述的光流跟踪装置，其特征在于，得到所述不匹配向量利用的乘法器组，包括进行所述第一双线性插值处理的乘法器组、进行所述第二双线性插值处理的乘法器组和计算所述矩阵G利用的乘法器组中的至少一个。13.根据权利要求1至12中任一项所述的光流跟踪装置，其特征在于，所述多个乘法器的处理速度与所述装置从片外存储系统读取数据的延时相匹配。14.一种光流跟踪方法，其特征在于，包括：触发图像金字塔建立电路建立第一图像的第一图像金字塔以及第二图像的第二图像金字塔，其中，所述第一图像金字塔包括至少...

【专利技术属性】
技术研发人员：高明明，杨康，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44