图像修复装置、图像修复方法、以及图像修复程序制造方法及图纸

本发明专利技术的图像修复装置(3)具备初始化块(100)，所述初始化块(100)在将一对极性值以及中间值中任意的值作为每个像素坐标的亮度值保存的亮度排列列表(L)中，将各像素坐标的亮度值初始化为中间值。另外，图像修复装置(3)具备：更新块(120)，根据每个事件的像素坐标以及极性值更新初始化的该亮度排列列表(L)；以及输出块(160)，作为二进制图像(B)输出通过更新块(120)在整个拍摄期间更新的亮度排列列表(L)。通过由更新块(120)执行的更新，亮度排列列表(L)中的、事件触发的触发坐标的亮度值被事件的极性值覆写运算。此外，通过该更新，来保持亮度排列列表(L)中的、除了触发坐标之外的非触发坐标的亮度值。非触发坐标的亮度值。非触发坐标的亮度值。

【技术实现步骤摘要】
【国外来华专利技术】图像修复装置、图像修复方法、以及图像修复程序


[0001]本公开涉及根据来自事件相机的输出修复二进制图像的图像修复技术。

技术介绍

[0002]作为模仿人的感知系统的光学相机，已知时间分辨率优异的事件相机(Event Based Camera or simply，Event Camera)。事件相机光学地拍摄被摄体，在至少一个相机像素中与发生亮度变化的事件的触发时刻相关联地输出该事件的像素坐标以及极性值。
[0003]例如在非专利文献1等中公开了根据这种事件相机的输出修复亮度图像的技术。在此在非专利文献1的公开技术中，通过成本函数的优化来同时估计相对于事件相机进行相对运动的被摄体的光流以及亮度，从而修复亮度图像。
[0004]现有技术文献
[0005]非专利文献
[0006]非专利文献1：P.Bardow,A.J.Davison,and S.Leutenegger.Simultaneous Optical Flow and Intensity EstimationFrom an Event Camera.The IEEE Conference on ComputerVision and Pattern Recognition
[0007](CVPR),pp.884
‑
892,2016.

技术实现思路

[0008]本专利技术所要解决的技术问题
[0009]然而，非专利文献1的公开技术同时估计光流以及亮度的对象限定在被摄体的被拍摄面中相机像素能够通过相对运动来感知亮度变化的边缘部分。因此，若将亮度估计扩展至被摄体的被拍摄面整个区域而修复亮度图像，则运算处理变得复杂，因此运算负荷增大。
[0010]本公开要解决的技术问题在于提供一种减少图像修复所需的运算负荷的图像修复装置。本公开要解决的其他技术问题在于提供一种减少图像修复所需的运算负荷的图像修复方法。本公开要解决的进一步其他技术问题在于提供一种减少图像修复所需的运算负荷的图像修复程序。
[0011]用于解决技术问题的技术手段
[0012]以下，对用于解决技术问题的本公开的技术手段进行说明。此外，权利要求以及本章节所记载的括号内的附图标记表示与将在后面进行详细说明的实施方式所记载的具体技术手段的对应关系，并不是限定本公开的技术范围。
[0013]本公开的第一方式提供一种图像修复装置(3)，根据从在拍摄期间内拍摄进行相对运动的黑白被摄体(4)的事件相机(2)与在至少一个相机像素中发生亮度变化的事件的触发时刻(t)相关联地输出的、事件的像素坐标(x，y)以及极性值(p)修复二进制图像(B)，其具备：
[0014]初始化部(100)，在一对极性值以及它们的中间值中、将任一的值作为每个像素坐
标的亮度值保存的亮度排列列表(L)中，将各像素坐标的亮度值初始化为中间值；
[0015]更新部(120)，根据每个事件的像素坐标以及极性值更新通过初始化部初始化的亮度排列列表；以及
[0016]输出部(160)，作为二进制图像输出通过更新部在整个拍摄期间更新的亮度排列列表，
[0017]更新部的更新中，用事件的极性值对在亮度排列列表中作为事件触发的像素坐标的触发坐标的亮度值进行覆写运算，另一方面，保持在亮度排列列表中作为除了触发坐标之外的像素坐标的非触发坐标的亮度值。
[0018]本公开的第二方式提供一种图像修复方法，通过处理器(12)来执行，以根据从在拍摄期间内拍摄进行相对运动的黑白被摄体(4)的事件相机(2)与在至少一个相机像素中发生亮度变化的事件的触发时刻(t)相关联地输出的、事件的像素坐标(x，y)以及极性值(p)修复二进制图像(B)，其包含：
[0019]初始化工序(S101)，在一对极性值以及它们的中间值中、将任一的值作为每个像素坐标的亮度值保存的亮度排列列表(L)中，将各像素坐标的亮度值初始化为中间值；
[0020]更新工序(S102，S202)，根据每个事件的像素坐标以及极性值更新通过初始化工序初始化的亮度排列列表；以及
[0021]输出工序(S104)，作为二进制图像输出通过更新工序在整个拍摄期间更新的亮度排列列表，
[0022]更新工序的更新中，用事件的极性值对在亮度排列列表中作为事件触发的像素坐标的触发坐标的亮度值进行覆写运算，另一方面，保持在亮度排列列表中作为除了触发坐标之外的像素坐标的非触发坐标的亮度值。
[0023]本公开的第三方式提供一种图像修复程序，包含储存在存储介质(10)中，并使处理器(12)执行的命令，该命令用于根据从在拍摄期间内拍摄进行相对运动的黑白被摄体(4)的事件相机(2)与在至少一个相机像素中亮度变化的事件的触发时刻(t)相关联地输出的、事件的像素坐标(x，y)以及极性值(p)修复二进制图像(B)，其中，该命令包含：
[0024]初始化工序(S101)，在一对极性值以及它们的中间值中、将任一的值作为每个像素坐标的亮度值保存的亮度排列列表(L)中，将各像素坐标的亮度值初始化为中间值；
[0025]更新工序(S102，S202)，根据每个事件的像素坐标以及极性值更新通过初始化工序初始化的亮度排列列表；以及
[0026]输出工序(S104)，作为二进制图像输出通过更新工序在整个拍摄期间更新的亮度排列列表，
[0027]更新工序的更新中，用事件的极性值对在亮度排列列表中作为事件触发的像素坐标的触发坐标的亮度值进行覆写运算，另一方面，保持在亮度排列列表中作为除了触发坐标之外的像素坐标的非触发坐标的亮度值。
[0028]根据这些第一至第三方式，对于各像素坐标的亮度值被初始化为中间值的亮度排列列表，在与每个事件的像素坐标以及极性值相应的更新中，用事件的极性值对触发坐标的亮度值进行覆写运算。此时，被覆写运算在亮度值上的极性值可以表示黑白被摄体的被拍摄面中通过相对移动使相机像素触发事件的部分的实际亮度。另外，根据第一至第三方式，对于被初始化的亮度排列列表的更新中，一方面进行这种覆写运算，而另一方面保持除
了触发坐标之外的非触发坐标的亮度值。其结果是，在极性值的覆写运算之后保持在从触发坐标切换的非触发坐标的该极性值可以表示被拍摄面中即使通过相对移动也不触发事件的部分的实际亮度。
[0029]由此，可以通过第一至第三方式，作为分别在与被拍摄面相对应的各像素坐标保存与实际亮度相应的极性值的二进制图像输出在整个拍摄期间更新的亮度排列列表。根据以上，能够通过称为覆写运算的简单的运算处理来修复二进制图像，因此能够减少图像修复所需的运算负荷。
附图说明
[0030]附图中：
[0031]图1是示出第一实施方式的图像系统的整体结构的框图。
[0032]图2是示出在第二实施方式的图像系统中图像修复装置的详细结构的框图。
[0033]图3是用于示意性地说明第一实施方式的事件相机以及黑白被摄体的相对运动关系的立体图。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种图像修复装置，根据从在拍摄期间内拍摄进行相对运动的黑白被摄体(4)的事件相机(2)与在至少一个相机像素中发生亮度变化的事件的触发时刻(t)相关联地输出的、所述事件的像素坐标(x，y)以及极性值(p)修复二进制图像(B)，所述图像修复装置(3)具备：初始化部(100)，在一对所述极性值以及它们的中间值中、将任一的值作为每个所述像素坐标的亮度值保存的亮度排列列表(L)中，将各所述像素坐标的亮度值初始化为所述中间值；更新部(120)，根据每个所述事件的所述像素坐标以及所述极性值更新通过所述初始化部初始化的所述亮度排列列表；以及输出部(160)，作为所述二进制图像输出通过所述更新部在整个所述拍摄期间更新的所述亮度排列列表，所述更新部的更新中，用所述事件的所述极性值对在所述亮度排列列表中作为所述事件触发的所述像素坐标的触发坐标的亮度值进行覆写运算，而保持在所述亮度排列列表中作为除了所述触发坐标之外的所述像素坐标的非触发坐标的亮度值。2.根据权利要求1所述的图像修复装置，其中，进一步具备修正部(140)，所述修正部(140)在通过所述更新部在整个所述拍摄期间更新的所述亮度排列列表中，对作为保存有所述中间值的所述像素坐标的中间坐标的亮度值进行修正，所述修正部的修正中，将所述黑白被摄体相对于所述事件相机的相对运动方向(M)设定为搜索方向(S)，搜索在所述亮度排列列表中保存有任一所述极性值的所述像素坐标中、与所述中间坐标在所述搜索方向上紧邻的关注坐标，将所述关注坐标的所述极性值覆写运算到所述亮度排列列表中的所述中间坐标的亮度值上。3.根据权利要求2所述的图像修复装置，其中，所述更新部的更新中，将所述亮度排列列表中从所述触发坐标切换的所述非触发坐标的亮度值在从该切换之前的坐标的所述触发时刻起允许时间范围内保持，而在从该切换之前的坐标的所述触发时刻起所述允许时间范围之外则用所述中间值来进行覆写运算。4.根据权利要求1至3中任一项所述的图像修复装置，其中，跳过所述更新部的更新，直至多次连续触发所述触发坐标以及所述极性值相同的所述事件。5.根据权利要求1至4中任一项所述的图像修复装置，其中，对通过相对于所述事件相机的相对运动在所述拍摄期间内发生的光流的方向在所述事件相机所拍摄的被拍摄面(40)的整个区域中相同的所述黑白被摄体的、所述二进制图像进行修正。6.根据权利要求1至5中任一项所述的图像修复装置，其中，将相对于所述事件相机在所述拍摄期间内进行相对运动的二维码作为所述黑白被摄体，修复所述二进制图像。7.一种图像修复方法，通过处理器(12)执行，以根据从在拍摄期间内拍摄进行相对运动的黑白被摄体(4)的事件相机(2)与在至少一个相机像素中发生亮度变化的事件的触发时刻(t)相关联地输出的、所述事件的像素坐标(x，y)以及极性值(p)修复二进制图像(B)，
其具备：初始化工序(S101)，在一对所述极性值以及它们的中间值中、将任一的值作为每个所述像素坐标的亮度值保存的亮度排列列表(L)中，将各所述像素坐标的亮度值初始化为所述中间值；更新工序(S102，S202)，根据每个所述事件的所述像素坐标以及所述极性值更新通过所述初始化工序初始化的所述亮度排列列表；以及输出工序(S104)，作为所述二进制图像输出通过所述更新工序在整个所述拍摄期间更新的所述亮度排列列表，所述更新工序的更新中，用所述事件的所述极性值对在所述亮度排列列表中作为所述事件触发的所述像素坐标的触发坐标的亮度值进行覆写运算，而保持在所述亮度排列列表中作为除了所述触发坐标之外的所述像素坐标的非触发坐标的亮度值。8.根据权利要求7所述的图像修复方法，其中，进一步包含修正工序(S103)，在所述修正工序(S103)中，在通过所述更新工序在整个所述拍摄期间更新的所述亮度排列列表中，对作为保存有所述中间值的所述像素坐标的中间坐标的亮度值进行修正，所述修正工序的修正中，将所述黑白被摄体相对于所述事件相机的相对运动方向(M)设定为搜索方向(S)，搜索在所述亮度排列列表中保存有任一所述极性值的所述像素坐...

【专利技术属性】
技术研发人员：关川雄介，时洋，
申请(专利权)人：电装IT研究所，
类型：发明
国别省市：