图像生成方法和设备技术

提供一种图像生成方法和图像生成设备。图像生成方法包括：基于存储在缓冲器中的并且在第一时间段期间从基于事件的视觉传感器输出的第一事件信号来生成第一图像；基于存储在缓冲器中的并且在第二时间段期间从基于事件的视觉传感器输出的第二事件信号来生成第二图像；将第一图像和第二图像对准以生成具有高于第一图像和第二图像的质量的质量的第三图像。

Image generating method and apparatus

An image generation method and an image forming apparatus are provided. Including the image generation method: stored in the buffer and in the first time period from the first event visual sensor output event signal is generated based on the first image based on the stored in the buffer; and in the second period from the second event signal based on visual sensor output event to generate second images based on the first image; the second and third generation image to image alignment has better quality than the quality of the first and second images.

【技术实现步骤摘要】
图像生成方法和设备本申请要求2015年11月16日向韩国知识产权局提交的第10-2015-0160206号韩国专利申请的优先权，该韩国专利申请的全部内容通过引用包含于此。
与示例性实施例一致的方法和设备涉及图像生成方法和图像生成设备。
技术介绍
为了提高通过基于帧的视觉传感器获取的图像的质量，可以使用消除由手抖动引起的模糊的技术以及锐化低照度下的模糊图像的技术。不同于基于帧的视觉传感器，基于事件的视觉传感器响应光的变化，因此仅检测移动对象的轮廓。基于事件的视觉传感器获取的图像仅包括对象的轮廓，因此由于其相对小的数据量可以执行高速处理，并且可以保护隐私。然而，在通过收集从基于事件的视觉传感器输出的事件而生成单个图像的情况下，生成的图像的质量可能会比由基于帧的视觉传感器获取的图像的质量低。
技术实现思路
示例性实施例可以至少解决上述问题和/或缺点以及上面没有描述的其他缺点。此外，不要求示例性实施例克服上述缺点，并且示例性实施例可以不克服上述任何问题。根据示例性实施例的一方面，提供一种图像生成方法，包括：基于存储在缓冲器中的并且在第一时间段期间从基于事件的视觉传感器输出的第一事件信号来生成第一图像；基于存储在缓冲器中的并且在第二时间段期间从基于事件的视觉传感器输出的第二事件信号来生成第二图像；将第一图像和第二图像对准，以生成质量高于第一图像和第二图像的质量的第三图像。第一事件信号和第二事件信号可以包括：指示在基于事件的视觉传感器中包括的像素之中的感测事件的像素的标识信息和指示感测事件的时间的时间信息。第一事件信号的数量可以大于第二事件信号的数量。生成第一图像的步骤可以包括：以感测事件的时间的逆序从缓冲器提取存储的第一事件信号；基于提取的第一事件信号的离差来确定第一图像的阈值；确定提取的第一事件信号的数量是否大于阈值；响应于确定提取的第一事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。生成第二图像的步骤可以包括：以感测事件的时间的逆序从缓冲器提取存储的第二事件信号；基于提取的第二事件信号的离差来确定第二图像的阈值；确定提取的第二事件信号的数量是否大于阈值；响应于确定提取的第二事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。生成第一图像的步骤可以包括：以感测事件的时间的逆序从缓冲器中提取存储的第一事件信号；确定提取的第一事件信号的可靠水平；确定可靠水平是否小于或等于阈值；响应于确定可靠水平小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。对准的步骤可以包括：通过移动、旋转、缩小和放大中的至少一个运动将第二图像与第一图像对准，以生成对准的候选图像。对准的步骤还可以包括：确定第一图像与对准的候选图像之间的相似度；将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。确定的步骤可以包括：基于第一事件信号和第二事件信号之中的，与位于第一图像中的位置和对准的候选图像中的位置的像素对应的事件信号的值之和，来确定相似度，其中，第一图像中的位置与对准的候选图像中的位置相同。对准的步骤可以包括：将第一图像划分成多个区域；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个区域中的每个区域对准，以生成所述多个区域中的每个区域的对准的候选图像。对准的步骤可以包括：识别第一图像中的多个对象；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个对象中的每个对象对准，以生成所述多个对象中的每个对象的对准的候选图像。对准的步骤可以包括：基于第二图像与第一图像的放大比或缩小比来确定第二图像的移动距离；将第二图像移动所述移动距离，以与第一图像对准。对准的步骤可以包括：基于距离信息以及第一事件信号和第二事件信号之中的ON事件信号或OFF事件信号，沿六个自由度的三个方向旋转和移动第二图像。所述方法还可以包括：从第一事件信号和第二事件信号去除噪声信号，其中，噪声信号是远于到第一事件信号和第二事件信号的距离的事件信号。所述方法还可以包括：通过相机标定来校正第一事件信号和第二事件信号的透镜畸变。一种非暂时性计算机可读存储介质可以存储包括使得计算机执行所述方法的指令的程序。根据另一示例性实施例的一方面，提供一种图像生成设备，包括：基于事件的视觉传感器，被配置为在第一时间段期间输出第一事件信号并且在第二时间段期间输出第二事件信号；缓冲器，被配置为存储第一事件信号和第二事件信号；以及处理器，被配置为：基于第一事件信号生成第一图像，基于第二事件信号生成第二图像，将第一图像和第二图像对准，以生成质量高于第一图像和第二图像的质量的第三图像。第一事件信号和第二事件信号中的每一个可以包括：指示在基于事件的视觉传感器中包括的像素之中的感测事件的像素的标识信息和指示感测事件的时间的时间信息。处理器还可以被配置为：以感测事件的时间的逆序从缓冲器提取存储的第一事件信号；基于提取的第一事件信号的离差来确定第一图像的阈值；确定提取的第一事件信号的数量是否大于阈值；响应于确定提取的第一事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。处理器还可以被配置为：以感测事件的时间的逆序从缓冲器提取存储的第二事件信号；基于提取的第二事件信号的离差来确定第二图像的阈值；确定提取的第二事件信号的数量是否大于阈值；响应于确定提取的第二事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。处理器还可以被配置为：以感测事件的时间的逆序从缓冲器中提取存储的第一事件信号；确定提取的第一事件信号的可靠水平；确定可靠水平是否小于或等于阈值；响应于确定可靠水平小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的一个或多个额外事件信号。处理器还可以被配置为：通过移动、旋转、缩小和放大中的至少一个运动将第二图像与第一图像对准，以生成对准的候选图像。处理器还可以被配置为：确定第一图像与对准的候选图像之间的相似度；将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。处理器还可以被配置为：基于第一事件信号和第二事件信号之中的，与位于第一图像中的位置和对准的候选图像中的位置的像素对应的事件信号的值之和，来确定相似度，其中，第一图像中的位置与对准的候选图像中的位置相同。处理器还可以被配置为：将第一图像划分成多个区域；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个区域中的每个区域对准，以生成所述多个区域中的每个区域的对准的候选图像。处理器还可以被配置为：识别第一图像中的多个对象；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个对象中的每个对象对准，以生成所述多个对象中的每个对象的对准的候选图像。处理器还可以被配置为：基于第二图像与第一图像的放大比或缩小比来确定第二图像的移动距离；将第二图像移动所述移动距离，以与第一图像对准。根据另一示例性实施例的一方面，提供一种图像生成方法，包括：以感测各个第一事件的时间的逆序，从缓冲器检索在第一时间段期间本文档来自技高网...

【技术保护点】
一种图像生成方法，包括：基于存储在缓冲器中的并且在第一时间段期间从基于事件的视觉传感器输出的第一事件信号来生成第一图像；基于存储在缓冲器中的并且在第二时间段期间从基于事件的视觉传感器输出的第二事件信号来生成第二图像；将第一图像和第二图像对准，以生成具有高于第一图像和第二图像的质量的质量的第三图像。

【技术特征摘要】
2015.11.16 KR 10-2015-01602061.一种图像生成方法，包括：基于存储在缓冲器中的并且在第一时间段期间从基于事件的视觉传感器输出的第一事件信号来生成第一图像；基于存储在缓冲器中的并且在第二时间段期间从基于事件的视觉传感器输出的第二事件信号来生成第二图像；将第一图像和第二图像对准，以生成具有高于第一图像和第二图像的质量的质量的第三图像。2.如权利要求1所述的方法，其中，第一事件信号和第二事件信号中的每一个包括：指示在基于事件的视觉传感器中包括的像素之中的感测事件的像素的标识信息和指示感测事件的时间的时间信息。3.如权利要求1所述的方法，其中，第一事件信号的数量大于第二事件信号的数量。4.如权利要求1所述的方法，其中，生成第一图像的步骤包括：以感测事件的时间的逆序从缓冲器提取存储的第一事件信号；基于提取的第一事件信号的离差来确定第一图像的阈值；确定提取的第一事件信号的数量是否大于阈值；响应于确定提取的第一事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第一事件信号。5.如权利要求1所述的方法，其中，生成第二图像的步骤包括：以感测事件的时间的逆序从缓冲器提取存储的第二事件信号；基于提取的第二事件信号的离差来确定第二图像的阈值；确定提取的第二事件信号的数量是否大于阈值；响应于确定提取的第二事件信号的数量小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第二事件信号。6.如权利要求1所述的方法，其中，生成第一图像的步骤包括：以感测事件的时间的逆序从缓冲器中提取存储的第一事件信号；确定提取的第一事件信号的可靠水平；确定可靠水平是否小于或等于阈值；响应于确定可靠水平小于或等于阈值，以感测事件的时间的逆序，从缓冲器提取在缓冲器中存储的额外的一个或多个第一事件信号。7.如权利要求1所述的方法，其中，对准的步骤包括：通过移动、旋转、缩小和放大中的至少一个运动将第二图像与第一图像对准，以生成对准的候选图像。8.如权利要求7所述的方法，其中，对准的步骤还包括：确定第一图像与对准的候选图像之间的相似度；将具有相似度之中的最大相似度的对准的候选图像与第一图像对准，以生成第三图像。9.如权利要求8所述的方法，其中，确定的步骤包括：基于第一事件信号和第二事件信号之中的，与位于第一图像中的位置和对准的候选图像中的位置的像素对应的事件信号的值之和，来确定相似度，其中，第一图像中的位置与对准的候选图像中的位置相同。10.如权利要求1所述的方法，其中，对准的步骤包括：将第一图像划分成多个区域；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个区域中的每个区域对准，以生成所述多个区域中的每个区域的对准的候选图像。11.如权利要求1所述的方法，其中，对准的步骤包括：识别第一图像中的多个对象；移动和/或旋转第二图像的一部分，使得第二图像的所述部分与所述多个对象中的每个对象对准，以生成所述多个对象中的每个对象的对准的候选图像。12.如权利要求1所述的方法，其中，对准的步骤包括：基于第二图像与第一图像的放大比或缩小比，来确定第二图像的移动距离；将第二图像移动所述移动距离，以与第一图像对准。13.如权利要求1所述的方法，其中，对准的步骤包括：基于距离信息或者第一事件信号和第二事件信号之中的ON事件信号或OFF事件信号，沿六个自由度的三个方向旋转和移动第二图像。14.如权利要求1所述的方法，还包括：从第一事件信号和第二事件信号去除噪声信号，其中，噪声信号是间隔远于距离第一事件信号和第二事件信号的预定距离的事件信号。15.如权利要求1所述的方法，还包括：通过相机标定来校正第一事件信号和第二事件信号的透镜畸变。16.一种图像生成设备，包括：基于事件的视觉传感器，被配置为在第一时间段期...

【专利技术属性】
技术研发人员：李圭彬，柳贤锡，朴根柱，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：韩国,KR