光流传感器、方法、远程控制器装置、可旋转电子装置制造方法及图纸

技术编号:19747425 阅读:24 留言:0更新日期:2018-12-12 05:07
本申请公开了一种光流传感方法、远程控制器装置、可旋转电子装置,其中,光流传感方法包括:使用图像传感器来获取多个图像;使用方向不变异滤波装置来处理第一图像的第一区块的多个像素值,产生第一滤波后区块图像;使用方向不变异滤波装置来处理第二图像的第一区块的多个像素值,产生第二滤波后区块图像;比对第一滤波后区块图像与第二滤波后区块图像,计算第一相关系数结果;以及根据多个第一相关系数结果,估计运动向量。本申请可以大幅降低硬件实现成本与要求,也减轻软件计算的复杂度。

【技术实现步骤摘要】
光流传感器、方法、远程控制器装置、可旋转电子装置
本申请涉及一种光流传感机制,特别有关于一种新式的光流传感器、光流传感方法、远程控制器装置以及可旋转电子装置。
技术介绍
一般来说,传统的图像传感器机制可以被应用在不同的产品或装置,例如是光学鼠标导航装置、远程控制机制、无人机、机器人视觉、增强现实及/或虚拟现实装置,在传统的光学鼠标导航算法中,没有任何滤波器或仅没有固定的滤波器会被应用于处理图像来增强从一个工作表面所获取的图像特征,另一方面,当所有的传感器像素进行曝光时,会采用一个光学控制器系统应用于发射光线至该工作表面,也就是,在传统光学鼠标导航算法来说,不受控的环境光量是不会被使用来作为一个主要的参考数据,再者,传统的远程控制器可以基于红外线(IR)传感器与红外线LED的信标(beacon)之间的互动来进行控制,通常来说,显示器实现时会搭载一个外部的感应棒或感应条来侦测传统的远程控制器的移动或相应的控制,然而,由于搭载外部的感应棒或感应条,使得硬件成本必然增加,再者,应用在无人机、机器人视觉、增强现实及/或虚拟现实装置,在同一个传统的光流传感器系统中,至少需要三个图像传感器被用来侦测六轴数据,而这也需要较高的硬件成本来实现。
技术实现思路
因此,本申请的目的之一在于公开一种光流传感方法、光流传感器、远程控制器装置以及可旋转电子装置等等,解决以上所提到的问题。根据本申请的实施例,公开了一种光流传感方法,该光流传感方法包括:使用第一图像传感器来获取第一图像与第二图像;对于所述第一图像的第一区块,使用第一方向不变异滤波装置来处理所述第一图像的所述第一区块的多个像素值,产生第一滤波后区块图像;对于所述第二图像的第一区块,使用所述第一方向不变异滤波装置来处理所述第二图像的所述第一区块的多个像素值,产生第二滤波后区块图像;比对所述第一滤波后区块图像与所述第二滤波后区块图像,计算第一相关系数结果;以及根据多个第一相关系数结果,估计运动向量。根据本申请的实施例,另外公开了一种光流传感器。光流传感器包括第一图像传感器、方向不变异滤波装置及处理器,第一图像传感器用以摄得第一图像与第二图像,方向不变异滤波装置电性连接于所述第一图像传感器,并用以对于所述第一图像的第一区块,处理所述第一图像的所述第一区块的多个像素值,产生第一滤波后区块图像,以及用以对于所述第二图像的第一区块,处理所述第二图像的所述第一区块的多个像素值,产生第二滤波后区块图像,处理器电性连接至所述第一方向不变异滤波装置,并用来比对所述第一滤波后区块图像与所述第二滤波后区块图像,计算第一相关系数结果,以及根据多个第一相关系数结果,估计运动向量。根据本申请的实施例,另外公开了一种远程控制器装置,远程控制器装置包括上述的光流传感器、控制开关以及处理电路,处理电路是用来侦测所述控制开关的状态,以及用来当侦测到所述控制开关是在状态ON时,输出所述运动向量。根据本申请的实施例,另外公开了一种可旋转电子装置,可旋转电子装置包括光流传感器,光流传感器包括第一图像传感器、第一方向不变异滤波装置及处理器,第一图像传感器用来摄得第一图像与第二图像,第一方向不变异滤波装置电性连接于所述第一图像传感器,并用来对于所述第一图像的第一区块,处理所述第一图像的所述第一区块的多个像素值,产生第一滤波后区块图像,以及用来对于所述第二图像的第一区块,处理所述第二图像的所述第一区块的多个像素值,产生第二滤波后区块图像;处理器电性连接于所述第一方向不变异滤波装置,并用来比对所述第一滤波后区块图像与所述第二滤波后区块图像,计算第一相关系数结果,以及根据多个第一相关系数结果,估计运动向量。根据本申请的实施例,其产生了至少以下的功效与优点。本申请的机制能够根据一套光流传感器系统中只有两个图像传感器就可以来精准估计一个可旋转电子装置的运动、平面旋转或行为,其中可旋转电子装置例如是无人机、虚拟现实交互装置或增强现实交互装置等等,例如,这可以有效得到一个无人机的六轴数据,相比于必须采用至少三个以上的图像传感器才能够得到六轴数据的传统光流传感机制来说,本申请可以大幅降低硬件实现成本与要求,再者,如果一个远程控制器装置搭载有上述实施例的光流传感器,则该远程控制器装置可以被安排用来适应地产生并输出一名用户的手的运动至显示器,令显示器本身不需要搭载一个外部的感应棒或感应条来感测用户的手的运动。综合来说,在本申请的多个实施例中,其公开了多个新式的光流传感器与相应的方法,此外,新式的光流传感器与相应的方法也可以应用在多种不同的电子装置,使得可以降低硬件的成本及/或减轻软件计算的复杂度。附图说明图1是本申请第一实施例的光流传感方法的流程示意图。图2是图1所示的实施例的光流传感器的示意图。图3是在多个像素于相同或相似曝光量(例如相同环境光量)曝光后的两个不同的电荷转移机制的示意图。图4是一个图像(例如一个完整的图帧)的多个区块的不同选择的范例示意图。图5是图2的方向不变异滤波装置的操作的范例示意图。图6是本申请实施例的远程控制器装置的示意图。图7是本申请实施例通过使用图2所述的光流传感器所产生的运动向量来补偿无人驾驶航空器装置的运动的流程示意图。图8是本申请第二实施例使用两个图像传感器来执行平面旋转估计的流程示意图。图9是图8所示的实施例的光流传感器的示意图。图10是用以估计无人驾驶航空器装置或动态远程操作导航设备的平面旋转角的程序的坐标系统的示意图。图11是本申请实施例的分别设置两个图像传感器于不同平面上的不同位置来分别从所摄得的多个图像的两路部份得到两个所估计的运动向量以估计无人驾驶航空器装置或动态远程操作导航设备的六轴数据的示意图。图12是光流传感器实现于可旋转电子装置(例如无人驾驶航空器装置)的一第一范例示意图。图13是光流传感器实现于可旋转电子装置(例如无人驾驶航空器装置)的一第二范例示意图。图14是光流传感器实现于可旋转电子装置(例如无人驾驶航空器装置)的一第三范例示意图。其中,附图标记说明如下:105~135、705~730、805~840步骤200、900光流传感器205、905A、905B图像传感器210、910A、910B方向不变异滤波装置210A~210H、210X方向自适应滤波器215全局快门220处理器405TL、405TR、405BL、405BR、405C区块505九宫格600远程控制器装置601显示器601A光标605控制开关610处理电路1200、1300、1400无人驾驶航空器装置1205、1305、1310、1405、1410视野1205A、1205B、1305A、1305B、1310A、1310B、1405A、1405B、图像区域1410A、1410B具体实施方式请搭配参照图1与图2,图1是本申请第一实施例的一光流传感方法的流程示意图,图2是图1所示的实施例的光流传感器200的方块示意图,图1的光流传感方法应用在单一个的光流传感器(也就是传感器200)与方向不变异滤波装置及全局快门机制/机构的搭配使用,光流传感器200包括一个图像传感器205、一个方向不变异滤波装置(directional-invariantfilter)210、一个全局快门215以及一个处理器220。倘若大略上本文档来自技高网...

【技术保护点】
1.一种光流传感方法,包括:使用第一图像传感器来获取第一图像与第二图像;对于所述第一图像的第一区块,使用第一方向不变异滤波装置来处理所述第一图像的所述第一区块的多个像素值,产生第一滤波后区块图像;对于所述第二图像的第一区块,使用所述第一方向不变异滤波装置来处理所述第二图像的所述第一区块的多个像素值,产生第二滤波后区块图像;比对所述第一滤波后区块图像与所述第二滤波后区块图像,计算第一相关系数结果;以及根据多个第一相关系数结果,估计运动向量。

【技术特征摘要】
2017.05.31 US 15/609,0231.一种光流传感方法,包括:使用第一图像传感器来获取第一图像与第二图像;对于所述第一图像的第一区块,使用第一方向不变异滤波装置来处理所述第一图像的所述第一区块的多个像素值,产生第一滤波后区块图像;对于所述第二图像的第一区块,使用所述第一方向不变异滤波装置来处理所述第二图像的所述第一区块的多个像素值,产生第二滤波后区块图像;比对所述第一滤波后区块图像与所述第二滤波后区块图像,计算第一相关系数结果;以及根据多个第一相关系数结果,估计运动向量。2.如权利要求1所述的光流传感方法,其特征在于,所述第一图像的所述第一区块的位置对应于所述第二图像的所述第一区块的位置。3.如权利要求1所述的光流传感方法,其特征在于,所述第一方向不变异滤波装置包括搭配有不同方向增强的多个方向自适应滤波器,以及每一个方向自适应滤波器均应用于所述第一图像的所述第一区块及所述第二图像的所述第一区块。4.如权利要求1所述的光流传感方法,其特征在于,比对所述第一滤波后区块图像与所述第二滤波后区块图像来计算所述第一相关系数结果的步骤包括:通过计算所述第一滤波后区块图像的多个像素值与所述第二滤波后区块图像的多个像素值之间的差值,或通过计算所述第一滤波后区块图像的所述多个像素值与所述第二滤波后区块图像的所述多个像素值的乘积值,来计算所述第一相关系数结果。5.如权利要求1所述的光流传感方法,其特征在于,所述运动向量可另用作为参考值以计算另一组多个滤波后区块图像的第一相关系数结果。6.如权利要求1所述的光流传感方法,其特征在于,所述的光流传感方法另包括:侦测外部控制开关的状态;以及当侦测到所述外部控制开关是在状态ON时,输出所述运动向量。7.如权利要求1所述的光流传感方法,其特征在于,所述的光流传感方法另包括:自陀螺仪传感器、气压计及声传感器的其中一个以上,得到比例-积分-微分信息;根据所述比例-积分-微分信息,调校所述运动向量;以及补偿无人驾驶航空器装置的运动。8.如权利要求1所述的光流传感方法,其特征在于,所述的光流传感方法另包括:使用第二图像传感器来获取第三图像与第四图像;对于所述第三图像的第二区块图像,使用第二方向不变异滤波装置来处理所述第三图像的所述第二区块图像的多个像素值,产生第三滤波后区块图像;对于所述第四图像的第二区块图像,使用所述第二方向不变异滤波装置来处理所述第四图像的所述第二区块图像的多个像素值,产生第四滤波后区块图像;比对所述第三滤波后区块图像与所述第四滤波后区块图像,计算第二相关系数结果;以及根据多个第二相关系数结果,估计另一个运动向量。9.如权利要求8所述的光流传感方法,其特征在于,所述的光流传感方法另包括:设置所述第一图像传感器具有较宽的视野以摄得位于较低高度的多个对象的多个图像,来得到所述第一图像与所述第二图像;以及设置所述第二图像传感器具有较窄的视野以摄得位于较高高度的多个对象的多个图像,来得到所述第三图像与所述第四图像。10.如权利要求8所述的光流传感方法,其特征在于,所述的光流传感方法另包括:根据所述运动向量与所述另一个运动向量,估计旋转角。11.如权利要求8所述的光流传感方法,其特征在于,所述的光流传感方法另包括:设置所述第一图像传感器的位置与所述第二图像传感器的位置在同一个平面。12.如权利要求8所述的光流传感方法,其特征在于,所述的光流传感方法另包括:设置所述第一图像传感器的位置与所述第二图像传感器的位置分别在两个不同的平面。13.如权利要求12所述的光流传感方法,其特征在于,所述的光流传感方法另包括:根据所述运动向量与所述另一个运动向量,估计一个可旋转电子装置的运动或行为。14.如权利要求1所述的光流传感方法,其特征在于,所述第一图像的所述第一区块不包括所述第一图像的多个边缘位置上的所有像素,以及所述第二图像的所述第一区块不包括所述第二图像的多个边缘位置上的所有像素。15.一种光流传感器,包括:一第一图像传感器,用以摄得第一图像与第二图像;一方向不变异滤波装置,电性连接于所述第一图像传感器,用以对于所述第一图像的第一区块,处理所述第一图像的所述第一区块的多个像素值,产生第一滤波后区块图像,以及用以对于所述第二图像的第一区块,处理所述第二图像的所述第一区块的多个像素值,产生第二滤波后区块图像;以及一处理器,电性连接至所述第一方向不变异滤波装置,用来比对所述第一滤波后区块图像与所述第二滤...

【专利技术属性】
技术研发人员:陈信嘉黄森煌王维中黄昭荐张廷仰陈俊玮
申请(专利权)人:原相科技股份有限公司
类型:发明
国别省市:中国台湾,71

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1