一种基于事件相机的高速目标追踪的方法及系统技术方案

基于事件相机的高速目标的追踪方法及系统，利用事件相机数据采集模块对高速运动的目标进行图像采集；利用事件数据重建模块将一定数量的事件像素的组合，并将这些组合按照其位置信息进行排列，如果由位置重复的，则用像素极性大的替换像素极性小的，最终组合形成新的事件图像；利用孪生网络模型，用于对目标进行图像特征提取。本发明专利技术方法和系统可以对不易处理的事件数据进行重建处理；以及利用目标追踪技术对事件相机捕捉的高速目标进行有效追踪。技术对事件相机捕捉的高速目标进行有效追踪。技术对事件相机捕捉的高速目标进行有效追踪。

【技术实现步骤摘要】
一种基于事件相机的高速目标追踪的方法及系统


[0001]本专利技术属于人工智能领域，特别涉及一种基于事件相机的高速目标追踪的方法及系统。

技术介绍

[0002]事件相机又被成为动态视觉传感器，它是一种受生物启发的新型传感器，与传统的相机不同，事件相机是通过更新异步独立的事件像素来捕捉信息的，这些像素信息会被光照变化所激活。由于事件相机没有全局快门，不需要进行在一定的时间内进行曝光来获取信息。所以事件相机可以捕捉到高速远动的目标。而普通的相机对于高速运动的目标会产生严重的运动模糊。
[0003]目标追踪是一种利用智能算法对视频中的目标进行连续追踪的技术，一般而言，目标追踪算法输入的沿着时间轴的图像帧序列，目标追踪方法根据被追踪目标的特征连续输出每一帧中目标所在的位置，用来实现对目标的持续追踪。
[0004]事件相机虽然能够有效地捕捉运动目标，然后由于事件相机的像素是独立异步分布的，跟传统的图像帧有很大的差异。目前传统的人工智能处理技术不能完全适应这种数据形式。
[0005]解决以上问题及缺陷的难度为：需要解决传统相机无法有效进行高速目标捕捉以及事件相机数据和人工智能算法相互结合的多个问题，解决难度较大。
[0006]解决以上问题及缺陷的意义为：提供了一种新型的高速目标追踪的方法及系统，克服传统相机在获取高速目标面临的运动模糊的问题，使得算法能够进行有效的目标追踪，对无人驾驶、无人机等应用场景提供解决方案。

技术实现思路

[0007]本专利技术方法的目的是提供一种基于事件相机的高速目标的追踪方法及系统，主要利用事件相机对高速运动的目标进行捕捉，并对事件相机的原始数据进行处理，使得可以利用目标追踪技术对事件相机获取的高速运动的目标进行持续的追踪。因此，本专利技术主要解决了两个问题：对不易处理的事件数据进行重建处理；以及利用目标追踪技术对事件相机捕捉的高速目标进行有效追踪。
[0008]本专利技术的技术方案如下：
[0009]根据本专利技术的一方面，提供了一种基于事件相机的高速目标追踪的方法，包括以下步骤：S1.获取事件相机数据：利用事件相机获取高速运动的场景中实时录取的事件相机数据；S2.生成数据包：将分散的事件相机数据进行打包处理；S3.数据包传输：将打包好的数据进行传输，并对传输后的数据进解包，然后将解包的数据输入步骤S4中以进行事件相机数据重建；S4.事件相机数据重建：将一定数量的事件像素的组合，并将这些组合按照其位置信息进行排列，最终组合形成新的事件图像；S5.第一帧判断：对图像帧是否是第一帧图像进行判断，如果是第一帧图像，则输入到步骤S6中进行目标初始化处理，如果不是第一
帧，则将其输入到步骤S8进行处理；S6.初始化目标：对目标进行初始化操作，在事件帧中选定需要追踪的目标并输入到步骤S7中；S7.提取目标图像特征：利用训练好的孪生网络模型对目标进行图像特征提取，提取的目标图像特征输入到步骤S9中进行特征对比；S8.提取搜索图像特征：如果非第一帧的图像输入到步骤S8中，并对搜索的图像提取特征，并将特征输入到步骤S9中进行对比；S9.孪生对比：将步骤S7和步骤S8中获取到的目标图像特征和搜索图像特征在孪生网络模型中进行融合比对；以及S10.输出结果：将比对的结果进行输出，并持续获取数据进行不断追踪直到追踪退出。
[0010]优选的，在上述基于事件相机的高速目标追踪的方法中，在步骤S1中，利用事件相机对高速运动的目标场景进行数据采集，对于场景中变化，利用事件相机中的每个事件像素进行记录，对于每个事件像素，均由四个值组成：两个位置信息，一个极性大小的信息，一个时间信息。
[0011]优选的，在上述基于事件相机的高速目标追踪的方法中，在步骤S2中，将每个事件相机的四个数据组成一个数据包。
[0012]优选的，在上述基于事件相机的高速目标追踪的方法中，在步骤S4中，在将这些组合按照其位置信息进行排列中，如果由位置重复的，则用像素极性大的替换像素极性小的，其中，新的事件图像是和事件相机分辨率大小一致的空间图像，比单个像素包含了更多的空间结构信息。
[0013]优选的，在上述基于事件相机的高速目标追踪的方法中，在步骤S6中，选定需要追踪的目标包括目标的位置信息和尺寸大小信息。
[0014]优选的，在上述基于事件相机的高速目标追踪的方法中，在步骤S7中，孪生网络包括相同权重的第一网络和第二网络，第一网络的输入为选定需要追踪目标的图像，并对图像进行目标特征提取，第二网络的输入为需要搜索的区域图像，并输出该图像的特征；最后将特征融合后进行结果输出。
[0015]优选的，在上述基于事件相机的高速目标追踪的方法中，在步骤S7中，对于孪生网络的训练和应用过程，首先从标注好的目标图像和搜索空间进行特征提取，将提取好的特征空间映射到一个较高维度的空间，然后计算它们之间的距离，它们之间的距离与标注的真实值的差异，用来计算训练时的损失函数；而应用过程则是通过计算输出特征之间的距离，并根据距离来判断是否搜索到合适的目标。
[0016]根据本专利技术的另一方面，提供了一种基于事件相机的高速目标的追踪系统，其特征在于，包括：事件相机数据采集模块、事件数据重建模块和孪生网络模型，其中：事件相机数据采集模块：用于对高速运动的目标进行图像采集；事件数据重建模块，用于将一定数量的事件像素的组合，并将这些组合按照其位置信息进行排列，如果由位置重复的，则用像素极性大的替换像素极性小的，最终组合形成新的事件图像；孪生网络模型，用于对目标进行图像特征提取。
[0017]优选的，在上述基于事件相机的高速目标的追踪系统中，事件相机采集模块由两部分组成，数据采集子模块和数据传输子模块，其中，数据采集模块，用于利用事件相机对高速运动的目标场景进行数据采集，对于场景中变化，利用事件相机中的每个像素进行记录，对于每个事件像素，均由四个值组成：两个位置信息，一个极性大小的信息，一个时间信息；其中数据传输子模块，用于在传输过程中，将每个事件相机的四个数据组成一个数据包
进行整体传输，将事件相机采集到的数据按照数据包的形式逐个传递出去。
[0018]根据本专利技术的技术方案，产生的有益效果是:
[0019]本专利技术可以对高速运动目标进行追踪，对于高速运动的目标来说，已有的普通相机已经无法进行清晰的捕捉，因为当普通相机的帧率低于运动目标的速度的时候，普通相机获取到的图像会产生严重的运动模糊。针对普通相机无法对高速目标进行获取追踪的缺陷，本专利技术提出了利用事件相机进行高速目标追踪的方法，弥补了在高速运动场景下对目标进行有效追踪的缺陷，有效地实现了高速运动场景下目标追踪的这一任务。
[0020]本专利技术在处理这种类型的数据时，将事件数据转换成当前技术可以处理的模式，通过利用事件相机对高速目标的捕捉，并利用深度学习技术对高速运动和目标进行提升，可以有效对在高速运动的目标进行追踪
[0021]为了更好地理解和说明本专利技术的构思、工作原理和专利技术效果，下面结合附图，通过具体实施例，对本专利技术进行本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于事件相机的高速目标追踪的方法，其特征在于，包括以下步骤：S1.获取事件相机数据：利用事件相机获取高速运动的场景中实时录取的事件相机数据；S2.生成数据包：将分散的事件相机数据进行打包处理；S3.数据包传输：将打包好的数据进行传输，并对传输后的数据进解包，然后将解包的数据输入步骤S4中以进行事件相机数据重建；S4.事件相机数据重建：将一定数量的事件像素的组合，并将这些组合按照其位置信息进行排列，最终组合形成新的事件图像；S5.第一帧判断：对图像帧是否是第一帧图像进行判断，如果是第一帧图像，则输入到步骤S6中进行目标初始化处理，如果不是第一帧，则将其输入到步骤S8进行处理；S6.初始化目标：对目标进行初始化操作，在事件帧中选定需要追踪的目标并输入到步骤S7中；S7.提取目标图像特征：利用训练好的孪生网络模型对目标进行图像特征提取，提取的目标图像特征输入到步骤S9中进行特征对比；S8.提取搜索图像特征：如果非第一帧的图像输入到步骤S8中，并对搜索的图像提取特征，并将特征输入到步骤S9中进行对比；S9.孪生对比：将步骤S7和步骤S8中获取到的目标图像特征和搜索图像特征在孪生网络模型中进行融合比对；以及S10.输出结果：将比对的结果进行输出，并持续获取数据进行不断追踪直到追踪退出。2.根据权利要求1所述的基于事件相机的高速目标追踪的方法，其特征在于，在步骤S1中，利用所述事件相机对高速运动的目标场景进行数据采集，对于场景中变化，利用所述事件相机中的每个事件像素进行记录，对于所述每个事件像素，均由四个值组成：两个位置信息，一个极性大小的信息，一个时间信息。3.根据权利要求1所述的基于事件相机的高速目标追踪的方法，其特征在于，在步骤S2中，将每个事件相机的四个数据组成一个数据包。4.根据权利要求1所述的基于事件相机的高速目标追踪的方法，其特征在于，在步骤S4中，在将这些组合按照其位置信息进行排列中，如果由位置重复的，则用像素极性大的替换像素极性小的，其中，所述新的事件图像是和事件相机分辨率大小一致的空间图像，比...

【专利技术属性】
技术研发人员：张世雄，魏文应，黎俊良，陶键源，龙仕强，安欣赏，
申请(专利权)人：广东博华超高清创新中心有限公司，
类型：发明
国别省市：