【技术实现步骤摘要】
本专利技术涉及图像处理和计算机视觉领域，尤其涉及一种匹配真实运动的事件相机数据集成方法及系统，用于解决当前事件相机训练数据不足且光流标签难以采集等数据问题。
技术介绍
1、事件相机是一种新型的仿生型视觉传感器，它更类似于人眼的工作机制使其广受关注。与基于帧的传统相机的工作机制和输出方式不同，事件相机的传感器像素可以单独检测光照强度对数的变化，并在变化量超过一定阈值时输出包含位置、时间、极性的事件信息，拥有低延迟、高动态范围、低功耗的优点，其独特的输出方式和工作特性使其特别适应于有高速运动、光照条件变化较大或小能耗的场合。
2、然而，相比于传统相机，事件相机具有发展时间更短，使用成本更加昂贵，数据处理更复杂等问题，目前已公开的事件相机数据集的数量仍远远小于图像数据集。而随着事件相机在商业领域的应用的不断增长以及处理事件相机数据的深度学习算法的不断发展，构造大型的事件相机数据集用以训练的需求越来越迫切。故而，一种基于现有的图像数据集生成对应的事件相机数据的方法对于事件相机的研究和应用具有非常重要的意义。
3、在引证文件1“video to events:recycling video datasets for eventcameras.[c].gehrig d.,gehrig m.,hidalgo-carrio j.,and scaramuzza d.,in2020ieee/cvf conference on computer vision and pattern recognition(cvpr),page
4、上述所提到的方法均使用插帧技术提高图像视频的时间分辨率进而合成事件相机数据，但是插帧技术所估计的运动过程与原图像数据集的真实运动难以匹配，从而导致合成的事件相机数据与真实数据存在差异。
5、本专利技术提供了一种匹配真实运动的事件相机数据集成方法及系统，用于解决当前事件相机训练数据不足且光流标签难以采集等数据问题。
技术实现思路
1、本专利技术提供了一种匹配真实运动的事件相机数据集成方法及系统，用于解决当前事件相机训练数据不足且光流标签难以采集等数据问题。
2、本专利技术通过下述技术方案实现：一种匹配真实运动的事件相机数据集成方法，包括以下步骤：
3、步骤s1，构造真实运动的图像数据集；
4、步骤s2，选用光流预测网络，从所述图像数据集中选出图像对输入进光流预测网络中预测前向光流和后向光流；
5、步骤s3，使用单目深度估计网络，从所述图像数据集中选出图像对输入进单目深度估计网络中获取深度图；
6、步骤s4，设置中间时刻的参数，将所述深度图作为权重，输入所述前向光流和后向光流到双向图像融合模块合成中间时刻真实运动的图像帧；
7、步骤s5，重复步骤s4，不断迭代更新所述中间时刻的参数，合成多张不同所述中间时刻的真实图像帧，组成一组高时间分辨率的视频片段；
8、步骤s6，按照时间顺序从所述视频片段中取出所有相邻的两个真实图像帧，计算相邻真实图像帧之间的所有触发事件的描述符，生成事件相机数据集。
9、为了更好地实现本专利技术，进一步地，所述步骤s1包括：
10、收集大量的真实运动的视频连续帧，构造真实运动的图像数据集di，所述图像数据集di是由多个图像对组成的序列集，每个图像对包括产生真实运动前后的两帧图像(i0,i1)，其中，i0表示产生位移前的图像，i1表示产生位移后的图像，图像大小为w×h。
11、为了更好地实现本专利技术，进一步地，所述步骤s2包括：
12、构建光流预测网络θ，从所述图像数据集di中取出一对图像对输入到光流预测网络θ中，得到前向光流f0→1＝θ(i0,i1)和后向光流f1→0＝θ(i1,i0)。
13、为了更好地实现本专利技术，进一步地，所述步骤s3包括：
14、使用单目深度估计网络φ，从所述图像数据集中di取出一个图像对依次输入到单目深度估计网络φ，分别得到深度图d0＝φ(i0)和深度图d1＝φ(i1)。
15、为了更好地实现本专利技术，进一步地，所述步骤s4包括：
16、采用分段线性拟合算法，使用微小位移光流f0→t将位移前的图像i0映射到中间时刻t得到映射矢量
17、使用微小位移光流f1→t将位移后的图像i1映射到中间时刻t得到映射矢量
18、将前后两个映射矢量和v1t连同深度图d0＝φ(i0)和d1＝φ(i1)输入到双向图像融合模块生成中间时刻t的真实图像帧it。
19、为了更好地实现本专利技术，进一步地，所述双向图像融合模块生成中间时刻t的图像帧it的方法包括：
20、绘制出0→t和1→t时间方向上中间时刻t的图像帧和
21、使用抛雪球法将映射向量中的浮点坐标插值到图像帧上的整型坐标，并使用所述深度图d0作为权重，对所述映射向量中指向同一位置的多个像素加权求和，绘制出0→t时间方向上中间时刻t的图像帧
22、使用抛雪球法将映射向量中的浮点坐标插值到图像帧上的整型坐标，并使用所述深度图d1作为权重，对所述映射向量v1t中指向同一位置的多个像素加权求和，绘制出1→t时间方向上中间时刻t的图像帧
23、融合所述图像帧和合成中间时刻t的真实图像帧it。
24、为了更好地实现本专利技术，进一步地，融合所述图像帧和合成中间时刻t的真实图像帧it的方法包括：
25、使用空洞区域检测方法检测所述图像帧中存在的空洞区域，并以二值图的形式输出，所述二值图专用0表示是空洞，1表示正常像素；
26、然后将所述图像帧对应位置的像素填充到所述图像帧的空洞区域，最后输出中间时刻t的真实图像帧it。
27、为了更好地实现本专利技术，进一步地，所述步骤s5包括：
28、不断迭代更新所述中间时刻的参数t，合成ki张不同中间时刻的图像帧it，组成一组高时间分辨率的视频片段
29、为了更好本文档来自技高网...
【技术保护点】
1.一种匹配真实运动的事件相机数据集成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤S1包括：
3.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤S2包括：
4.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤S3包括：
5.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤S4包括：
6.根据权利要求5所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述双向图像融合模块生成中间时刻t的图像帧It的方法包括：
7.根据权利要求6所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，融合所述图像帧和合成中间时刻t的真实图像帧It的方法包括：
8.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤S5包括：
9.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于
10.一种匹配真实运动的事件相机数据集成系统，其特征在于，包括数据集构造模块、光流预测模块、深度图获取模块、真实图像帧获取模块、图像帧合成模块和事件相机数据集生成模块，其中：
...【技术特征摘要】
1.一种匹配真实运动的事件相机数据集成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤s1包括：
3.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤s2包括：
4.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤s3包括：
5.根据权利要求1所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述步骤s4包括：
6.根据权利要求5所述的一种匹配真实运动的事件相机数据集成方法，其特征在于，所述双向图...
【专利技术属性】
技术研发人员：刘帅成，罗兴隆，罗骜，王正宁，曾兵，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。