【技术实现步骤摘要】
【国外来华专利技术】
本专利技术大体上涉及数字图像处理领域，更具体地，涉及由事件相机捕获的事件数据的编码。
技术介绍
1、事件相机，又称神经形态相机、硅视网膜或动态视觉传感器，是一种对局部亮度变化做出响应的成像传感器。事件相机不像传统)帧)相机那样使用快门捕捉图像。相反，事件相机内的每个像素独立且异步地操作，在亮度变化发生时报告亮度变化，否则保持静默。
2、在操作期间，每个像素存储一个参考亮度级别，并不断将其与当前亮度级别进行比较。如果亮度差异超过阈值，该像素将重置其参考级别并生成事件：即包含亮度变化的像素地址、时间戳和极性(增加或减少)或照明度的瞬时测量的离散数据包。因此，事件相机输出由场景照明变化触发的异步事件流。
3、由此可知，像素事件传感器传递的事件流中仅包含有关可变对象的信息，而没有关于均匀表面或静止背景的信息。
4、与传统(彩色)相机相比，这种事件相机具有显著的优势，即高动态范围和低延迟。具体地，事件相机可以提供非常高的时间分辨率的可能性，因为异步事件可以在最小的时间戳距离(即10-6秒)触发，这相当于实现高达每秒106帧数(frame per second，fps)的帧速率。由于具备这些优点，因此事件相机可以高效地应用于物体识别、自动驾驶车辆和机器人技术等
5、在某些情况下，例如快速运动的纹理场景，每秒会生成数百万个事件。为了处理如此繁忙的场景，现有的事件过程可能需要大量的并行计算。
6、一种现有的事件流编码方案是脉冲编码方法，其灵感来自于为对大量数据进行编码而提出的
7、另一种编码方法是用于神经形态视觉传感器数据算法的基于时间聚合的无损视频编码，即通过在时间间隔内累积事件来对事件序列进行编码。事件序列生成两个单独的帧，一个帧与发光强度的增加相关联，另一个帧与发光强度的降低相关联，即，分别基于事件的正极性和负极性。然后，将这两个帧串联成一个“超帧”，由左侧的“正极性”帧和右侧的“负极性”帧组成。最后，使用高效视频编码(high efficiency video coding，hevc)编解码器对超帧进行编码。对于高分辨率(例如640×480、1280×720)传感器，捕获的事件稀疏地分布在帧中，并且hevc不能高效地对超帧进行编码，因为视频编解码器设计为对与事件计数不同类型的信息(在颜色格式中找到的信息)进行编码。因此，该方法的一个主要的缺点是其性能取决于所选视频编解码器的性能。该方法的另一个缺点是，当所有事件及其所有对应信息都必须由事件数据编解码器进行编码时，该方法不能提供无损方案。
8、考虑到事件相机可以实现的帧速率越来越高，由此事件序列的原始表示达到了非常高的水平，因此越来越需要一种方法或系统来提供对从这些事件相机接收到的原始事件数据进行高效编码的方案，尤其是适合无损事件数据压缩的方案。
技术实现思路
1、根据上述内容，本文描述的是用于事件相机的高效数据处理的系统和方法。这样的系统和方法以事件流的形式累积在一段时间内从事件相机接收到的事件，将异步事件转换为事件帧，并高效地对事件帧进行无损编码，以供其它应用进一步处理。
2、上述和其它目的通过独立权利要求的特征实现，所述独立权利要求公开了一种用于事件相机传感器的新的基于上下文的无损图像压缩编解码器，以及用于事件数据的新的无损编码框架，其中，空间信息被编码为多个事件帧的数据包，极性信息则通过遍历空间信息编码。所公开的方法提供了一种新的事件数据表示，其中，空间信息和极性信息单独编码；一种新的策略，用于使用二进制映射编码事件空间信息，所述二进制映射指示至少一个事件在所述事件帧中发生的位置、事件的数量以及对应的事件帧索引。此外，提供了一种新的基于事件帧的极性编码算法；在特定事件稀疏性约束下激活的新的稀疏编码模式(sparse coding mode，scm)。
3、根据第一方面，提供了一种方法，包括：从事件相机接收事件流；将所述事件流转换为多个事件帧；通过合并多个事件帧来生成组合事件帧。通过基于上述事件流中的每个事件的空间信息、时间戳和极性信息，将分配给所述事件帧的像素的事件帧符号转换为所述事件帧的对应像素的组合事件帧符号来完成所述事件帧的数量的合并。
4、根据该方法生成组合事件帧提供了事件流数据的更高效的表示，因为来自多个事件帧的信息合并成单个图像格式，然后可以通过将所述组合事件帧编码为单个图像而使用无损图像压缩编解码器；或者通过在视频序列中收集多个组合事件帧而使用视频编解码器，进一步处理单个图像格式。
5、在所述第一方面的一种可能的实现方式中，根据以下公式将所述事件帧符号合并为组合事件帧符号：
6、cef＝kn-1efi-(n-1)+(…)+k2efi-2+k1efi-1+efi
7、其中，cef表示所述组合事件帧符号，ef表示所述事件帧符号，k是所述事件帧符号的数量，n是待合并为所述组合事件帧的事件帧的数量。使用此映射公式可以高效地将事件帧的符号合并到组合事件帧符号中。
8、在所述第一方面的另一种可能的实现方式中，所述事件帧符号的数量为k＝3，表示所述极性信息为正极性事件，其中，在所述事件帧的相应像素处检测到亮度的增加；将所述极性信息表示为负极性事件，其中，在所述事件帧的相应像素处检测到亮度的降低；或者在相应的子时段内在所述事件帧的相应像素处未检测到事件。在该实现方式中，可能的组合事件帧符号的数量为3n，其中，n是待合并为组合事件帧的事件帧的数量。专利技术人发现，这些特定参数为合并多个事件帧提供了极为高效的方法。
9、在所述第一方面的另一种可能的实现方式中，所述待合并为组合事件帧的事件帧的数量为n＝5，所述事件帧符号根据以下公式合并为组合事件帧符号：
10、cef＝34efi-4+33efi-3+32efi-2+31efi-1+efi
11、专利技术人发现，这些特定参数为合并多个事件帧提供了极为高效的方法。
12、在所述第一方面的另一种可能的实现方式中，所述方法还包括对多个后续组合事件帧进行编码：通过将所述组合事件帧收集到视频序列中并采用任何视频编码标准(例如高效视频编码(high efficiency video coding，hevc))进行编码；或者采用任何无损图像压缩编解码器(例如基于上下文的自适应无损图像编解码器(context-based adaptivelossless ima本文档来自技高网...
【技术保护点】
1.一种方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据以下公式将所述事件帧符号(10)合并为组合事件帧符号(12)：
3.根据权利要求2所述的方法，其特征在于，所述事件帧符号(10)的数量为k＝3，表示所述极性信息(6)为：
4.根据权利要求3所述的方法，其特征在于，所述待合并为组合事件帧(11)的事件帧(8)的数量是n＝5，所述事件帧符号(10)根据以下公式合并为组合事件帧符号(12)：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括通过以下方式对多个后续组合事件帧(11)进行编码：
6.一种方法，其特征在于，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，存储所述空间信息(5)包括将来自所述多个事件帧(8)的空间信息(5)合并为存储为一组图像位平面(25)的单个事件映射图像(15)。
8.根据权利要求7所述的方法，其特征在于，使用以下组合存储包括在事件映射图像(15)中的所述空间信息(5)：
9.根据权利要求8所述的
10.根据权利要求8或9所述的方法，其特征在于，所述类别索引(20)使用字母表(28)中的类别索引符号(21)来表示，每个类别索引符号(21)包括p个位平面(25)；对所述类别索引(20)进行编码包括逐位平面对所述类别索引符号(21)进行编码：
11.根据权利要求10所述的方法，其特征在于，对于具有至少两个先前位平面(25)的每个后续位平面(25)使用来自所述先前两个位平面(25)和的上下文模板(27)来确定相应的上下文。
12.根据权利要求8至11中任一项所述的方法，其特征在于，所述事件帧索引(23)包括事件帧索引符号(24)，表示所述多个事件帧(8)中的在相应像素处发生了任何事件(4)的单个事件帧(8)；
13.根据权利要求12所述的方法，其特征在于，所述子字母表(29)包括不同数量的符号，且每个子字母表(29)基于重新映射对应类别的所述事件帧索引符号(24)所需的符号的数量与类别相关联。
14.根据权利要求13所述的方法，其特征在于，每个事件帧索引(23)包括个符号组合，其中，n表示事件帧(8)的数量，nrEv对应于表示在所述n个事件帧(8)中发生的事件(4)的总数的所述类别索引(20)，每个子字母表(29)因此包括所有个符号。
15.根据权利要求12至14中任一项所述的方法，其特征在于，所述重映射符号(30)和相关联的类别符号(22)合并为n个类别向量(31)，所述类别向量(31)的数量n对应于所述事件帧(8)的数量n，使用自适应马尔可夫模型对前n-1个类别向量(31)进行编码，最后一个类别向量(31)与确定性情况相关联，其中事件(4)发生在每个事件帧(8)中。
16.根据权利要求6至15中任一项所述的方法，其特征在于，存储来自所述多个事件帧(8)的所述极性信息(6)包括将来自每个事件帧(8)的极性信息(6)合并为极性向量(16)，所述极性向量包括基于检测到的事件(4)期间的亮度增加或降低而确定的二进制极性符号(17)。
17.根据权利要求16所述的方法，其特征在于，将来自所述多个事件帧(8)的每个极性向量(16)的所述极性符号(17)串联成串联极性向量(32)。
18.根据权利要求16所述的方法，其特征在于，通过逐位平面或逐事件帧遍历所述事件帧(8)的所述空间信息(5)，以将来自所述n个事件帧(8)的极性信息(6)存储在n个相应的极性向量PVi(16)中。
19.根据权利要求18所述的方法，其特征在于，按照在n个子时段(9)上接收的所述相应事件帧(8)EFi＝1→n的顺序对所述n个极性向量(16)PVi进行编码，每个极性向量(16)PVi对应于在对应事件帧(8)EFi中发生的所有事件(4)，并且通过以下方式进行编码：
20.根据权利要求6至19中任一项所述的方法，其特征在于，使用稀疏编码模式(SparseCoding Mode，SCM)对来自所述n个事件帧(8)的所述空间信息(5)和所述极性信息(6)进行编码，其中，如果在n个子时段(9)内检测到的事件(4)的总数N低于事件阈值，激活SCM，并且使用较低复杂度的编码方法对所述空间信息(5)或所述极性信息(6)中的至少一个进行编码；否则，不激活SCM，并且根据权利要求6至19中任一项所述的方法对所述空间信息(5)或所述极性信息(6)中的至少一个进行编码。
21.根据权利要求20所...
【技术特征摘要】
【国外来华专利技术】
1.一种方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，根据以下公式将所述事件帧符号(10)合并为组合事件帧符号(12)：
3.根据权利要求2所述的方法，其特征在于，所述事件帧符号(10)的数量为k＝3，表示所述极性信息(6)为：
4.根据权利要求3所述的方法，其特征在于，所述待合并为组合事件帧(11)的事件帧(8)的数量是n＝5，所述事件帧符号(10)根据以下公式合并为组合事件帧符号(12)：
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述方法还包括通过以下方式对多个后续组合事件帧(11)进行编码：
6.一种方法，其特征在于，所述方法包括：
7.根据权利要求6所述的方法，其特征在于，存储所述空间信息(5)包括将来自所述多个事件帧(8)的空间信息(5)合并为存储为一组图像位平面(25)的单个事件映射图像(15)。
8.根据权利要求7所述的方法，其特征在于，使用以下组合存储包括在事件映射图像(15)中的所述空间信息(5)：
9.根据权利要求8所述的方法，其特征在于，所述二进制映射(18)使用模板上下文模型进行编码；
10.根据权利要求8或9所述的方法，其特征在于，所述类别索引(20)使用字母表(28)中的类别索引符号(21)来表示，每个类别索引符号(21)包括p个位平面(25)；对所述类别索引(20)进行编码包括逐位平面对所述类别索引符号(21)进行编码：
11.根据权利要求10所述的方法，其特征在于，对于具有至少两个先前位平面(25)的每个后续位平面(25)使用来自所述先前两个位平面(25)和的上下文模板(27)来确定相应的上下文。
12.根据权利要求8至11中任一项所述的方法，其特征在于，所述事件帧索引(23)包括事件帧索引符号(24)，表示所述多个事件帧(8)中的在相应像素处发生了任何事件(4)的单个事件帧(8)；
13.根据权利要求12所述的方法，其特征在于，所述子字母表(29)包括不同数量的符号，且每个子字母表(29)基于重新映射对应类别的所述事件帧索引符号(24)所需的符号的数量与类别相关联。
14.根据权利要求13所述的方法，其特征在于，每个事件帧索引(23)包括个符号组合，其中，n表示事件帧(8)的数量，nrev对应于表示在所述n个事件帧(8)中发生的事件(4)的总数的所述类别索引(20)，每个子字母表(29)因此包括所有个符号。
15.根据权利要求12至14中任一项所述的方法，其特征在于，所述重映射符号(30)和相关联的类别符号(22)合并为n个类别向量(31)，所述类别向量(31)的数量n对应于所述事件帧(8)的数量n，使用自适应马尔可夫模型对前n-1个类别向量(31)进行编码，最后一个类别向量(31)与确定性情况...
【专利技术属性】
技术研发人员：伊欧努特·斯希奥普，拉杜·西普里安·比尔库，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。