基于事件的图像处理设备和方法技术

提供一种基于事件的图像处理设备和方法，所述设备包括：传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号；时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息；光流产生器，响应于事件信号的输出，基于时间戳信息来产生光流。

【技术实现步骤摘要】
本申请要求于2012年6月19日提交到韩国知识产权局的第10-2012-0065409号韩国专利申请的优先权利益，其公开通过全部引用被合并于此。
与示例实施例一致的方法和设备涉及一种。
技术介绍
图像处理广义上指的是按照图像的形式输入或输出的所有类型的信息的处理，并且可包括，例如，处理图片或运动图像的任务等。大多数图像处理技术可采用将图像视为二维(2D)信号的同时对图像应用标准的信号处理技术的方法。图像传感器是指感测图像处理的输入数据的装置，并且可包括，例如，与使用制造半导体装置的技术的集成电路相应的光电转换装置等。通常使用线性图像传感器和阵列图像传感器。线性图像传感器与用于传真机或复印机的一维(ID)图像传感器相应，阵列图像传感器与用于电视摄像机或数码相机的2D图像传感器相应。线性图像传感器可包括用于检测光并产生电子的布置成行的光二极管。线性图像传感器可沿着垂直于传感器线的方向扫描目标对象(例如，文件或图片)，以获得具有一面积的区域的静止图像。阵列图像传感器可包括二维地布置的光二极管。由于阵列图像传感器可在单次地获得屏幕的整个图像，阵列图像传感器也可被用于获得运动图像，例如，视频。
技术实现思路
根据示例性实施例，提供一种图像处理设备，包括:传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号；时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息；光流产生器，响应于由传感器输出的事件信号，基于时间戳信息来产生光流。光流可包括像素的速度矢量。光流产生器可包括:相邻像素获得单元，获得像素的相邻像素；时间差计算单元，使用时间戳信息来计算与至少一个像素和相邻像素之间的时间差相关的信息；距离差计算单元，计算与所述至少一个像素和相邻像素之间的距离差相关的信息；光流计算单元，基于与时间差相关的信息和与距离差相关的信息来计算光流。当像素和相邻像素之间的时间差超出预定时间范围的窗口时，时间差计算单元可计算出与时间差相关的信息是“ O ”。与距离差相关的信息可包括像素和相邻像素之间的像素距离的倒数。光流计算单元可使用与时间差相关的信息和与距离差相关的信息来计算与像素相应的两维(2D)矢量A，并且为了计算光流，执行将2D矢量A除以2D矢量A的内积值的运笪所述设备可还包括:运算单元，基于光流执行关于用于用户界面的信息的运算。用于用户界面的信息可包括:第一速度、第二速度、第三速度和第四速度中的至少一个，其中，与多个图像像素相应的对象在平行于布置传感器的传感器平面的平面上以所述第一速度沿着X轴方向移动，对象在所述平面上以所述第二速度沿着y轴方向移动，对象以所述第三速度沿着垂直于所述平面的方向移动，对象以第四速度在所述平面上旋转。运算单元可包括:平面速度运算单元，基于光流来执行关于第一速度和第二速度的运算；光流中心运算单元，基于光流来执行关于光流的中心的运算；z轴速度运算单元，基于光流和光流的中心来执行关于第三速度的运算；角速度运算单元，基于光流和光流的中心来执行关于第四速度的运算。针对关于第一速度和第二速度的运算，平面速度运算单元可执行关于光流的平均值的运算。针对关于光流的中心的运算，光流中心运算单元可使用包括在光流中的像素的位置和像素的速度矢量的大小来执行光流的中心的运算。针对关于第三速度的运算，z轴速度运算单元可使用光流的中心和像素的位置来产生与像素相应的第一速度，并使用包括在光流中的像素的第一速度和速度矢量来执行内积运算。针对关于第四速度的运算，角速度运算单元可使用光流的中心和像素的位置来产生与像素相应的第一矢量，并使用包括在光流中的像素的第一矢量和速度矢量来执行向量积运算。时间戳信息可包括与在多个图像像素的每一个中发生预定事件的最近时间相关的信息。预定事件可包括在单位时间段内图像像素的亮度增加大于等于预定值的值的事件和在单位时间内图像像素的亮度减少大于或等于预定值的值的事件中的至少一个。根据其它示例性实施例，提供一种图像处理方法，包括:从感测多个图像像素中预定事件的发生的传感器接收事件信号；响应于接收到的事件信号，通过将与事件信号相应的像素映射到输出事件信号的时间来产生时间戳信息；基于时间戳信息来产生包括像素的速度矢量的光流。光流的产生的步骤可包括:获得像素的相邻像素，使用时间戳信息来计算与像素和相邻像素之间的时间差相关的信息；计算与像素和相邻像素之间的距离差相关的信息；基于与时间差相关的信息和与距离差相关的信息来计算光流。所述方法可还包括:基于光流来执行关于用于用户界面的信息的运算，用于用户界面的信息可包括第一速度、第二速度、第三速度和第四速度中的至少一个，其中，包括在多个图像像素中的对象在平行于布置传感器的传感器平面的平面上以所述第一速度沿着X轴方向移动，对象在所述平面上以所述第二速度沿着y轴方向移动，对象以所述第三速度沿着垂直于所述平面的方向移动，对象以所述第四速度在所述平面上旋转。所述执行的步骤可包括:基于光流来执行关于第一速度和第二速度的运算；基于光流来执行关于光流的中心的运算；基于光流和光流的中心来执行关于第三速度的运算；基于光流和光流的中心来执行关于第四速度的运算。【附图说明】通过下面结合附图对特定示例性实施例的详细描述，示例性实施例的上述和其它方面将变得清楚和更易于理解，其中:图1是示出根据示例性实施例的基于事件的图像处理设备的框图；图2A和图2B是示出根据示例性实施例的时间戳信息的示图；图3是示出根据示例性实施例的包括在基于事件的图像处理设备中的光流产生器的框图；图4A到图4C是示出根据示例性实施例的由光流产生器产生的光流的示图；图5A是示出根据示例性实施例的包括在基于事件的图像处理设备中的运算单元的框图；图5B是示出根据示例性实施例的由运算单元产生的用于用户界面的信息的示图；图6是示出根据示例性实施例的执行关于光流的中心的运算的方法的示图；图7是示出根据示例性实施例的执行关于z轴速度和角速度的运算的方法的示图；图8是示出根据示例性实施例的基于事件的图像处理方法的流程图。【具体实施方式】现在将详细描述示例性实施例，其示例在附图中示出，其中，相同的参考标号始终指示相同的元件。下面通过参照附图来描述示例性实施例以解释本公开。图1是示出根据示例性实施例的基于事件的图像处理设备100的框图。参照图1，设备100包括传感器110、时间戳单元120和光流产生器130。传感器110可时间连续地接收输入图像数据。根据示例性实施例，传感器110可感测在包括在接收到的图像数据中的多个图像像素中的每一个中预定事件的发生。以下，术语像素或多个像素可分别指图像像素或多个图像像素。根据示例性实施例，预定事件可包括下面被称为“变亮事件”的事件和下面被称为“变暗事件”的事件中的至少一个，其中，当在单位时间段内多个图像像素中的每一个的亮度增加大于或等于预定值的值时，所述变亮事件发生，当在单位时间内，多个图像像素的每一个的亮度减少大于或等于预定值的值时，所述变暗事件发生。例如，传感器110可感测包括在正被连续接收的图像数据中的、在多个像素的每一个中发生的与每个像素的亮度相关的事件。因此，设备100可针对发生预定事件(例如，与每个像素的亮度相关的事件)的像素本文档来自技高网...

【技术保护点】
一种图像处理设备，包括：传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号；时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息；光流产生器，响应于由传感器输出的事件信号，基于时间戳信息来产生光流。

【技术特征摘要】
2012.06.19 KR 10-2012-00654091.一种图像处理设备，包括: 传感器，感测多个图像像素中预定事件的发生，并且响应于感测到的发生，输出事件信号; 时间戳单元，通过将与事件信号相应的像素映射到从传感器输出事件信号的时间来产生时间戳信息； 光流产生器，响应于由传感器输出的事件信号，基于时间戳信息来产生光流。2.如权利要求1所述的设备，其中，光流包括像素的速度矢量。3.如权利要求1所述的设备，其中，光流产生器包括: 相邻像素获得单元，获得像素的相邻像素； 时间差计算单元，使用时间戳信息来计算与像素和相邻像素之间的时间差相关的信息； 距离差计算单元，计算与像素和相邻像素之间的距离差相关的信息； 光流计算单元，基于与时间差相关的信息和与距离差相关的信息来计算光流。4.如权利要求3所述的设备，其中，当像素和相邻像素之间的时间差超出预定时间范围的窗口时，时间差计算单元计算出与时间差相关的信息是“ O ”。5.如权利要求3所述的设备，其中，与距离差相关的信息包括像素和相邻像素之间的像素距离的倒数。`6.如权利要求3所述的设备，其中，光流计算单元使用与时间差相关的信息和与距离差相关的信息来计算与像素相应的2D矢量A，并执行将2D矢量A除以2D矢量A的内积值的运算以计算光流。7.如权利要求1所述的设备，还包括: 运算单元，基于光流执行针对用于用户界面的信息的运算。8.如权利要求7所述的设备，其中，用于用户界面的信息包括第一速度、第二速度、第三速度和第四速度中的至少一个， 其中，与多个图像像素相应的对象在平行于布置传感器的传感器平面的平面上以第一速度沿着X轴方向移动； 对象在所述平面上以第二速度沿着y轴移动； 对象以第三速度沿着垂直于所述平面的方向移动； 对象以第四速度在所述平面上旋转。9.如权利要求8所述的设备，其中，运算单元包括: 平面速度运算单元，基于光流来执行关于第一速度和第二速度的运算； 光流中心运算单元，基于光流来执行关于光流的中心的运算； z轴速度运算单元，基于光流和光流的中心来执行关于第三速度的运算； 角速度运算单元，基于光流和光流的中心来执行关于第四速度的运算。10.如权利要求9所述的设备，其中，针对关于第一速度和第二速度的运算，平面速度运算单元执行关于光流的平均值的运算。11.如权利要求9所述的设备，其中，针对关于光流的中心的运算，光流中心运算单元使用包括在光流中的像素的位置和像素的速度矢量的大小来执行光流的中心的运算。12.如权利要求9所述的设备，其中，针对关于第三速度的运算，z轴速度运算单元使用光流的中心和像素的位置来产生与一个像素相应的第一速度，并使用包括在光流中的像素的第一速度和速度矢量来执行内积运算。13.如权利要求9所述的设备，其中，针对关于第四速度的运算，角速度运算单元使用光流的中心和像素的位置来产生与像素相应的第一矢量，并使用包括在光流中的像素的第一矢量和速度矢量来执行向量积运算。14.如权利要求1所述的设备，其中，时间戳信息包括与在多个图像像素中的每一个中发生预定事件的最近时间相关的信息。15...

【专利技术属性】
技术研发人员：李圭彬，柳贤锡，李俊行，朴根柱，申昌雨，禹周延，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：