影像目标追踪方法及装置制造方法及图纸

一种影像目标追踪方法及装置。影像目标追踪方法以一特征点撷取算法决定一第一帧中的一目标对象的一特定特征点，以一光流法于其后的一第二帧上决定该特定特征点的一特定推测点，根据该特定推测点的坐标位置及该特定特征点的坐标位置间的距离及取像装置至该目标对象的距离决定该取像装置的一推测转向角度，以取像装置所搭配使用的一惯性量测单元所产生的一惯性量测信息计算该取像装置从撷取该第一帧的时间点至撷取该第二帧的时间点间的取像转向角度，借由比较该推测转向角度及该取像转向角度可判断该特定推测点是否对应至该特定特征点。

Image Target Tracking Method and Device

An image target tracking method and device. An image target tracking method determines a specific feature point of a target object in a first frame by a feature point extraction algorithm, and a specific inference point of the specific feature point in a subsequent second frame by an optical flow method. The image acquisition is determined by the coordinate position of the specific inference point, the distance between the coordinate positions of the specific feature point and the distance between the image acquisition device and the target object. A presumptive steering angle of the device is calculated from an inertia measurement information generated by an inertia measurement unit used in the image acquisition device. By comparing the presumptive steering angle and the image steering angle, it can be judged whether the presumptive point corresponds to the specific feature or not. Point.

【技术实现步骤摘要】
影像目标追踪方法及装置
本专利技术是关于一种影像目标追踪方法及装置，具体而言，本专利技术是关于一种借由惯性量测信息来辅助追踪的影像目标追踪方法及装置。
技术介绍
影像的目标辨识及追踪已广泛地应用在安全监控及机器人视觉等领域，其主要运作方式是针对取像装置所撷取的影像数据，决定有兴趣的目标对象，并于后续的影像中持续地追踪该目标对象。追踪影像的目标的技术可区分为两大类，分别为特征点识别法及光流法。特征点识别法是在影像的各个帧的目标对象上取得感兴趣的特征点，再针对各特征点提取其周遭局部区域的区域特征(localfeatures)，最后再筛选特征点并进行特征媒合(Featurematching)，媒合成功的特征点就是被识别出的特征点。光流法(OpticalFlow)则是利用影像序列中像素在时域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间特征点的空间相对应关系。已知的影像目标追踪
仍存在许多难以解决的问题，举例而言，当影像中的目标对象附近存在外观相近的对象(例如：众多相同型态相似的按钮或车辆)时，可能会因撷取的有效特征点数量不足而导致判断误差。再举例而言，当光线条件不佳或取像装置快速移动而造成影像模糊时，可能会因目标对象短暂消失于影像范围而造成追踪中断。据此，本
亟需一种更精确及更有效的影像目标追踪技术，以解决上述已知技术的问题。
技术实现思路
本专利技术的目的在于提供一种影像目标追踪方法及装置，借由惯性量测信息来辅助目标对象的特征点辨识，以提高对象追踪的效率及精准度。为达上述目的，本专利技术揭露一种影像目标追踪方法，其借由一处理器实施。该影像目标追踪方法包括以下步骤：(a)以一特征点撷取算法决定一取像装置所撷取的一第一帧的一目标对象的一特定特征点，(b)以一光流法为该特定特征点于该取像装置所撷取的一第二帧中决定至少一推测点，且该至少一推测点形成一推测点集合，(c)根据该推测点集合中的一特定推测点的一第一坐标位置与该特定特征点的一第二坐标位置间的一第一距离以及该取像装置至该目标对象的一第二距离，决定该取像装置的一推测转向角度，(d)根据与该取像装置搭配使用的一惯性量测单元所产生的一惯性量测信息，计算该取像装置从撷取该第一帧的一第一时间点至撷取该第二帧的一第二时间点间的一取像转向角度，(e)判断该取像转向角度与该推测转向角度的一差值的一绝对值小于一门槛值，以及(f)基于该步骤(e)的判断结果，判断该特定推测点对应至该特定特征点。为达上述目的，本专利技术还揭露一种影像目标追踪装置，其包括一取像装置、一惯性量测单元及一处理器，其中，该处理器电性连接至该取像装置及该惯性量测单元。该取像装置撷取一影像序列，其中，该影像序列包含一第一帧及一第二帧。该惯性量测单元产生一惯性量测信息，其中，该惯性量测信息对应至该取像单元撷取该第一帧的一第一时间点至该取像单元撷取该第二帧的一第二时间点。该处理器执行以下运作：(a)以一特征点撷取算法决定该第一帧的一目标对象的一特定特征点，(b)以一光流法为该特定特征点于该第二帧中决定至少一推测点，其中，该至少一推测点形成一推测点集合，(c)根据该推测点集合中的一特定推测点的一第一坐标位置与该特定特征点的一第二坐标间的一第一距离以及该取像装置至该目标对象的一第二距离，决定该取像装置的一推测转向角度，(d)根据该惯性量测信息计算该取像装置从该第一时间点至该第二时间点的一取像转向角度，(e)判断该取像转向角度与该推测转向角度的一差值的一绝对值小于一门槛值，以及(f)基于该绝对值小于该第一门槛值的判断结果，判断该特定推测点对应至该特定特征点。在参阅图式及随后描述的实施方式后，本专利技术所属
中具有通常知识者便可了解本专利技术的其他目的、本专利技术的技术手段及本专利技术的各种实施态样。【附图说明】图1为本专利技术的影像目标追踪装置的配置示意图；图2为本专利技术的取像装置所撷取的影像序列的示意图；图3为本专利技术的第一实施例所执行的影像目标追踪方法的流程示意图；图4为本专利技术的第二实施例所额外执行的流程示意图；图5为本专利技术的第三实施例所额外执行的流程示意图；以及图6为本专利技术计算推测转向角度的一实施例的示意图。【符号说明】10：影像目标追踪装置101：处理器103：取像装置104：镜头105：惯性量测单元106：加速度计107：陀螺仪108：罗盘200：影像序列201、202、203、204：帧t1、t2、t3、t4：时间点303～307、311、312：步骤3051、3052、3053、3054：步骤50：第一帧51：第二帧500：目标对象501、502、503、504：对象特征点5010：点5011、5012：推测点D1、D2、H：距离θ1、θ2：推测转向角度Φ：取像转向角度【具体实施方式】以下将通过实施例来解释本专利技术之内容，但本专利技术的实施例并非用以限制本专利技术须在如实施例所述的任何特定的环境、应用或特殊方式方能实施。因此，关于实施例的说明仅为阐释本专利技术的目的，而非用以限制本专利技术。需说明者，以下实施例及图式中，与本专利技术非直接相关的组件已省略而未绘示，且图式中各组件间的尺寸关系仅为求容易了解，并非用以限制实际比例。本专利技术的第一实施例如图1～3所示。图1为本专利技术的影像目标追踪装置10的一实施态样的配置示意图。影像目标追踪装置10包括一处理器101及一取像装置103，其中，处理器101电性连接至取像装置103。取像装置103包含一镜头104及一惯性量测单元105，且取像装置103可为摄影机、监视器或其他能撷取影像序列的装置。惯性量测单元105可包含加速度计106、陀螺仪107及罗盘108至少其中之一。需说明者，图1所示的实施态样中，处理器101配置于取像单元103之外，但于其他实施态样中，处理器可配置于取像装置中。此外，于其他实施态样中，本专利技术的影像目标追踪装置可配置为包含一处理器、一取像装置及一惯性量测单元，且该处理器电性连接至该取像装置及该惯性量测单元。请参考图2及图3，其中，图2为取像装置103所撷取的一影像序列200的示意图，图3则为本专利技术的影像目标追踪方法的流程示意图。于本实施例中，取像装置103撷取影像序列200。具体而言，取像装置103于时间点t1、t2、t3、t4、……分别撷取影像序列200中的帧201、202、203、204、……。于取像装置103撷取帧201、202、203、204、……的过程，惯性量测单元105会持续地运作以产生多个惯性量测信息。于本实施例中，影像目标追踪装置10及其执行的影像目标追踪方法会确定一欲追踪的目标对象(例如：由处理器101接收一使用者的指示于帧201中决定一目标对象、由一对象检测技术检测出符合一特定条件的对象作为目标对象)。之后，于步骤303，处理器101以一特征点撷取算法决定帧201上的该目标对象的多个对象特征点。之后，影像目标追踪装置10及其执行的影像目标追踪方法会追踪每一个对象特征点。为便于理解，以下说明将以该多个对象特征点中的一个特定特征点为例，详述影像目标追踪装置10及其执行的影像目标追踪方法如何于后续的帧202、203、204、……中追踪该特定特征点。其后，进行步骤304，由处理器101以一光流法为帧201上的该特定特征点于帧202(亦即，帧201的下一本文档来自技高网...

【技术保护点】
1.一种影像目标追踪方法，由一处理器实施，其特征在于，该影像目标追踪方法包括以下步骤：(A)以一特征点撷取算法决定一取像装置所撷取的一第一帧的一目标对象的一特定特征点；(B)以一光流法为该特定特征点于该取像装置所撷取的一第二帧中决定至少一推测点，且该至少一推测点形成一推测点集合；(C)根据该推测点集合中的一特定推测点的一第一坐标位置与该特定特征点的一第二坐标位置间的一第一距离以及该取像装置至该目标对象的一第二距离，计算该取像装置的一推测转向角度；(D)根据与该取像装置搭配使用的一惯性量测单元所产生的一惯性量测信息，计算该取像装置从撷取该第一帧的一第一时间点至撷取该第二帧的一第二时间点间的一取像转向角度；(E)判断该取像转向角度与该推测转向角度的一差值的一绝对值小于一第一门槛值；以及(F)基于该步骤(E)的判断结果，判断该特定推测点对应至该特定特征点。

【技术特征摘要】
2017.11.23 TW 1061407511.一种影像目标追踪方法，由一处理器实施，其特征在于，该影像目标追踪方法包括以下步骤：(A)以一特征点撷取算法决定一取像装置所撷取的一第一帧的一目标对象的一特定特征点；(B)以一光流法为该特定特征点于该取像装置所撷取的一第二帧中决定至少一推测点，且该至少一推测点形成一推测点集合；(C)根据该推测点集合中的一特定推测点的一第一坐标位置与该特定特征点的一第二坐标位置间的一第一距离以及该取像装置至该目标对象的一第二距离，计算该取像装置的一推测转向角度；(D)根据与该取像装置搭配使用的一惯性量测单元所产生的一惯性量测信息，计算该取像装置从撷取该第一帧的一第一时间点至撷取该第二帧的一第二时间点间的一取像转向角度；(E)判断该取像转向角度与该推测转向角度的一差值的一绝对值小于一第一门槛值；以及(F)基于该步骤(E)的判断结果，判断该特定推测点对应至该特定特征点。2.如权利要求1所述的影像目标追踪方法，其特征在于，该特征点撷取算法为一BRISK(BinaryRobustInvariantScalableKeypoints)算法。3.如权利要求1所述的影像目标追踪方法，其特征在于，还包括以下步骤：(G)计算各该至少一推测点个别与该特定特征点的一汉明距离(HammingDistance)；以及(H)根据该至少一汉明距离更新该推测点集合，使更新后的该推测点集合所包含的各该至少一推测点的该汉明距离小于一第二门槛值；其中，该步骤(C)从更新后的该推测点集合中选择该特定推测点。4.如权利要求1所述的影像目标追踪方法，其特征在于，该步骤(A)是决定该目标对象的多个对象特征点，该特定特征点为该多个对象特征点其中之一，该影像目标追踪方法还包括以下步骤：(G)以一特征点追踪算法计算与该多个对象特征点相关的至少一相对位置信息；以及(H)依据该至少一相对位置信息更新该推测点集合，使更新后的该推测点集合所包含的该至少一推测点符合该至少一相对位置；其中，该步骤(C)从更新后的该推测点集合选择该特定推测点。5.如权利要求1所述的影像目标追踪方法，其特征在于，该惯性量测信息包括一加速度信息、一方向角信息以及一角速度信息至少其中之一。6.如权利要求5所述的影像目标追踪方法，其特征在于，该步骤(D)是根据该加速度信息及该方向角信息计算该取像转向角度。7.如权利要求1所述的影像目标追踪方法，其特征在于，该取像装置设置于一智能穿戴装置及...

【专利技术属性】
技术研发人员：林敬文，童凯彬，
申请(专利权)人：财团法人资讯工业策进会，
类型：发明
国别省市：中国台湾,71