【技术实现步骤摘要】
本专利技术属于脉冲数据处理，涉及一种面向脉冲相机的高效数据流处理方法。
技术介绍
1、仿生视觉传感器在自动驾驶和无人机等高速场景应用非常广泛，因为它相比于传统基于帧的相机具有显著的优势，如：高动态范围、快速传感能力等。基于脉冲的输出图像流的空间冗余度低于传统的视频，脉冲相机使每个像素模仿一个积分发放神经元的行为并异步工作，每个像素的最大脉冲发放率为40000hz。在脉冲相机中，每个像素独立工作，积累从数模转换器adc输入的亮度强度，当在时间t内adc的值超过阈值则发放一个脉冲信号：
2、
3、其中i指亮度强度(通常用电路中的光电流来测量)。然后积累器被重置，所有电荷都被排出。在不同的像素点，光亮强度的积累速度是不同的，这也就导致对应的脉冲发放频率存在不同，较亮的像素会比较暗的像素更频繁地发出脉冲。
4、如图1所示，在脉冲相机的大致工作流程中，当获取原始脉冲流后通过不同的重构算法将其重建成传统的图像，再进行后续的各种任务。据统计400*250分辨率的脉冲相机每秒产生大约476兆字节的数据，捕获超高速运动的代价就是带来了额外的时间冗余数据，导致其存储和通信传输的成本非常高。因此，如何对原始脉冲流编码压缩是当前需要解决的问题。
5、近年来，北京大学提出了一种新型生物超高速脉冲相机(sipke camera)，该相机在达到调度阈值时持续积累亮度强度并发射脉冲。相较于传统基于帧的相机，脉冲相机在无帧捕捉快速场景方面具有很大优势。然而，高时间分辨率带来的大量的脉冲流数据难以传输和存储。为解决这
技术实现思路
1、为了解决现有技术中存在的上述技术问题，本专利技术提出了一种面向脉冲相机的高效数据流处理方法，其具体技术方案如下：
2、一种面向脉冲相机的高效数据流处理方法，包括编码端的数据压缩过程和对应的解码端的数据恢复过程，所述编码端的数据压缩过程包括以下步骤：
3、步骤一，通过脉冲流分块模块将获取的原始脉冲流切割分块，得到原始脉冲块；
4、步骤二，通过脉冲流凝聚模块压缩所述原始脉冲块，得到压缩脉冲流；
5、步骤三，将原始脉冲块和压缩脉冲流输入脉冲损失像素标记器，通过脉冲损失像素标记器分析压缩造成的脉冲损失来进行信息补偿，后经像素级分类器输出量化二进制信息帧；
6、步骤四，通过压缩脉冲-信息整合器将步骤二得到的压缩脉冲流、步骤三输出的量化二进制信息帧和解码端的提示信息进行整合，生成最终的二进制数据流。
7、进一步的，所述的脉冲流分块模块对原始脉冲流切割分块采用的模式包括确定性脉冲流划分模式和自适应脉冲流划分模式；所述确定性脉冲流划分模式为：通过提前设置好变量win大小，均等分拆分整个脉冲流；所述自适应脉冲流划分模式为：通过分析整个原始脉冲流各个像素点处的脉冲间隔值isis，来自动选择变量win值拆分脉冲流；其中的变量win用于控制每块脉冲流的大小。
8、进一步的，所述步骤二具体为：
9、传入脉冲流凝聚模块的原始脉冲块s的长度为l，n是每次参与运算的原始脉冲流帧数；若l是n的整数倍，原始脉冲块s的每个像素中所有的值都被恰好进行运算一次，对于坐标(x,y)处的像素点凝聚后的值用sc(x,y,k)式(2)表示：
10、sc(x,y,k)＝s(x,y,k×n)∨s(x,y,k×n+1)∨…∨s(x,y,k×n+n-1)#(2)
11、其中k为凝聚后新的脉冲流的索引值∨运算符表示的是逻辑或运算；
12、若l不是n的整数倍，那么对于最后一组凝聚的过程可以用下列式(3)表示：
13、
14、这里的表示向下取整，最后的l-1指代当前脉冲流块的最后一帧数据。
15、进一步的，所述步骤三具体为：
16、将原始脉冲块s与脉冲凝聚后的脉冲流sc相对比，将其两者对应的每一小块进行差分获取因脉冲流凝聚造成每个像素位置丢失的脉冲数量：
17、
18、式(4)中sl指差分获得的丢失脉冲数量，n指完整的脉冲流中的第n小块，脉冲流数据为由1和0构成的二进制数据，因此通过求和运算快速统计出对应脉冲块中的脉冲数量，然后利用一次差分运算得到最后的结果，再将该结果除以各个像素上的累计脉冲数获得需要输入到像素级分类器的频率矩阵slr，所述像素级分类器即为量化二进制分类器；
19、所述量化二进制分类器的表达式如下所示：
20、cout(x,y,n)＝bin[qc(slr(x,y,n))]#(5)
21、
22、其中m指量化二进制分类器所需的量化分割阈值数量，分割区间的数量决定输出的二进制位数，阈值通过计算得到代表丢失频率的最大值，而其它阈值d1、d2、...、dm-1的值可提前设置(d1<d2<…<dm-1<dm)；函数qc指根据不同的频率进行分类的过程，bin[]函数指将分类的类别进行二进制转换，cout指量化二进制分类器的输出。
23、进一步的，所述步骤四具体为：
24、首先，将每一小块的压缩脉冲流和对应的量化二进制信息帧一一对应好后将量化二进制信息帧插入到压缩脉冲流后面；
25、然后，从空间域的角度每8bit数据转换成1byte数据，先扫描行再扫描列，依次往下进行转换生成对应的byte数据流；
26、接着，在数据流结尾插入解码端提示信息；
27、最后，将byte数据流和解码端提示信息拼接在一起作为编码端的输出结果，用来存储和传输压缩的脉冲数据，其中在解码端提示信息和量化二进制信息帧中间用特殊的标志位标记分割。
28、进一步的，所述解码端的数据恢复过程，包括：首先读取特殊的标志位的地址，进而将解码端提示信息提取出来；然后将byte数据流恢复成含有量化二进制信息帧的压缩脉冲流的形式，其中分块扫描每个像素的压缩脉冲值，如果值为0，则解码时直接恢复成n个连续的0；如果值为1，则通过访问对应位置的量化二进制信息帧，确定其像素点的类别，然后进行对应的解码恢复，0类别指代随机恢复成在n帧内，插入1个脉冲即可，m-1类别指在n帧内，恢复连续脉冲，插入恢复的脉冲个数满足大于1小于n。
29、进一步的，所述解码端提示信息的格式从头到尾依次包括：开头的20bit用来存储脉冲本文档来自技高网...
【技术保护点】
1.一种面向脉冲相机的高效数据流处理方法，包括编码端的数据压缩过程和对应的解码端的数据恢复过程，其特征在于，所述编码端的数据压缩过程包括以下步骤：
2.如权利要求1所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述的脉冲流分块模块对原始脉冲流切割分块采用的模式包括确定性脉冲流划分模式和自适应脉冲流划分模式；所述确定性脉冲流划分模式为：通过提前设置好变量WIN大小，均等分拆分整个脉冲流；所述自适应脉冲流划分模式为：通过分析整个原始脉冲流各个像素点处的脉冲间隔值ISIs，来自动选择变量WIN值拆分脉冲流；其中的变量WIN用于控制每块脉冲流的大小。
3.如权利要求1所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述步骤二具体为：
4.如权利要求3所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述步骤三具体为：
5.如权利要求4所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述步骤四具体为：
6.如权利要求5所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述解码端的数据恢复过程，
7.如权利要求5所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述解码端提示信息的格式从头到尾依次包括：开头的20bit用来存储脉冲相机的图像分辨率，宽和高的信息分别用10bit存储；紧接着的4bit用来存储脉冲凝聚模块中的帧数N值；再后面的1bit用来存储脉冲分块模块对原始脉冲流切割分块所采用的模式类型；再接着的8bit存储脉冲流切块大小；结尾的8bit用来存储脉冲损失像素标记器中的输出位数和类别M值。
...【技术特征摘要】
1.一种面向脉冲相机的高效数据流处理方法，包括编码端的数据压缩过程和对应的解码端的数据恢复过程，其特征在于，所述编码端的数据压缩过程包括以下步骤：
2.如权利要求1所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述的脉冲流分块模块对原始脉冲流切割分块采用的模式包括确定性脉冲流划分模式和自适应脉冲流划分模式；所述确定性脉冲流划分模式为：通过提前设置好变量win大小，均等分拆分整个脉冲流；所述自适应脉冲流划分模式为：通过分析整个原始脉冲流各个像素点处的脉冲间隔值isis，来自动选择变量win值拆分脉冲流；其中的变量win用于控制每块脉冲流的大小。
3.如权利要求1所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述步骤二具体为：
4.如权利要求3所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述步骤三具体为：
5.如权利要求4所述的一种面向脉冲相机的高效数据流处理方法，其特征在于，所述步骤四具体为：
6.如权利要求5所述的一种面...
【专利技术属性】
技术研发人员：李延松，黄晓峰，李天赐，周洋，陆宇，殷海兵，崔燕，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。