事件相机与标准相机的数据融合方法、装置、设备及介质制造方法及图纸

本发明专利技术涉及机器人视觉技术领域，具体公开了一种事件相机与标准相机的数据融合方法、装置、设备及介质，其中，方法包括以下步骤：根据事件信息的分辨率将深度图像信息划分为多个点云块信息；根据点云块信息和事件信息的概率密度获取前向概率信息和后向概率信息，前向概率信息和后向概率信息分别为事件信息迁移至一点云块信息位置的前向概率和后向概率；根据前向概率信息和后向概率信息获取点云块信息与事件信息的相关性信息；根据相关性信息和全概率公式获取事件信息与点云块信息的条件概率；根据最大化的条件概率融合点云块信息与事件信息；该方法具有匹配精度高、计算量小、融合效率高的特点。效率高的特点。效率高的特点。

Data fusion method, device, equipment and medium of event camera and standard camera

【技术实现步骤摘要】
事件相机与标准相机的数据融合方法、装置、设备及介质


[0001]本申请涉及机器人视觉
，具体而言，涉及一种事件相机与标准相机的数据融合方法、装置、设备及介质。

技术介绍

[0002]常见的室外机器人有无人车、无人机和四足机器人等，这一室外移动机器人通常被用来承担巡检、目标追踪和搬运等任务。在完成上述任务的过程中，作为机器人的“眼睛”的视觉识别功能起着极为重要的作用。
[0003]室外机器人一般依赖各类视觉传感器获取图像并以分析后的图像数据充当环境识别结果，图像质量的好坏直接影响到机器人在室外实现自主导航、目标追踪、姿态识别和三维重建等功能的效果，所以如何解决或改善这些图像问题具有重要的意义和实用价值。
[0004]其中，事件相机通过感知场景光强的动态变化来获取信息，具有高时间分辨率、低延时特性（微秒级）、高动态范围（140Db相比于标准相机60dB）和低功耗等特点；事件相机应用在室外机器人时，常通过输出事件信息以与标准相机获取的图像数据进行融合获取高精度的融合数据，现有的事件相机和标准相机的数据融合方式普遍存在数据处理的计算量大、融合效率低、精度低等缺点。
[0005]针对上述问题，目前尚未有有效的技术解决方案。

技术实现思路

[0006]本申请的目的在于提供一种事件相机与标准相机的数据融合方法、装置、设备及介质，以提高事件相机与标准相机的数据匹配精度、减少数据融合处理的计算量、并提高融合效率。
[0007]第一方面，本申请提供了一种事件相机与标准相机的数据融合方法，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，所述方法包括以下步骤：根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；根据最大化的所述条件概率融合所述点云块信息与所述事件信息。
[0008]所述的事件相机与标准相机的数据融合方法，其中，所述根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息的步骤包括：根据所述事件信息的分辨率在所述深度图像信息矩阵排列多个选框以将所述深
度图像信息分割为多个选区，将所述深度图像信息对应的所有点云划分在各个选区中以构成多个所述点云块信息。
[0009]本申请的方法能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点。
[0010]所述的事件相机与标准相机的数据融合方法，其中，所述根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息的步骤包括：根据每个所述点云块信息中的点云聚类中心与各个点云的关系获取点云内部概率密度信息；根据所述事件信息中的事件聚类中心与各个事件点的关系获取事件内部概率密度信息；根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息。
[0011]在该示例中，点云块信息和事件信息均以聚类中心和各个数据点的关系建立对应的概率密度函数，大大地降低了噪声的干扰，尤其是降低了无用事件点对事件信息的干扰，使得后续数据融合更准确；在别的实施方式中，点云块信息和事件信息还可以用其他滤波手段设定核心来获取概率密度函数。
[0012]所述的事件相机与标准相机的数据融合方法，其中，所述根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息的步骤包括：根据所述事件内部概率密度信息获取迁移概率信息，所述迁移概率信息为所述事件信息迁移至一所述点云块信息位置的概率；根据所述迁移概率信息及所述点云内部概率密度信息获取所述前向概率信息和所述后向概率信息。
[0013]该示例的方法将点云块信息的排列顺序定义为前后顺序，使得针对于一个点云块信息的位置而言，事件信息可以是从该点云块信息前面滑动而来，还可以是从该点云块信息后面滑动而来，故利用前向概率信息和后向概率信息便能评价事件信息的所有滑动方式，简化算法逻辑，从而降低数据融合的计算量。
[0014]所述的事件相机与标准相机的数据融合方法，其中，所述根据所述事件内部概率密度信息获取迁移概率信息的步骤包括：根据所述事件信息朝不重复方向进行转移的转移概率信息和所述事件内部概率密度信息获取所述迁移概率信息。
[0015]所述的事件相机与标准相机的数据融合方法，其中，所述前向概率信息的前向顺序为多个所述点云块信息在所述深度图像信息中从左上角到右下角的排列顺序。
[0016]所述的事件相机与标准相机的数据融合方法，其中，所述根据最大化的所述条件概率融合所述点云块信息与所述事件信息的步骤包括：获取所述条件概率最大化时的目标点云块信息及与之对应的目标事件信息；
融合所述目标点云块信息中的点云与所述目标事件信息中的事件点以获取融合点云。
[0017]第二方面，本申请还提供了一种事件相机与标准相机的数据融合装置，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，所述装置包括：分块模块，用于根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；中转概率计算模块，用于根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；相关性模块，用于根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；条件概率模块，用于根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；融合模块，用于根据最大化的所述条件概率融合所述点云块信息与所述事件信息。
[0018]本申请的装置能基于最大化的条件概率融合点云块信息与事件信息以获取位置最匹配的事件信息和点云块信息，大大地降低了全概率计算的实时计算量，使得事件信息能快速地与点云块信息进行位置匹配，即确定了事件信息在对应的深度图像信息中的位置，以之指导事件相机和标准相机进行数据融合，具有匹配精度高、计算量小、融合效率高的特点。
[0019]第三方面，本申请还提供了一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
[0020]第四方面，本申请还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种事件相机与标准相机的数据融合方法，用于融合标准相机生成的深度图像信息和事件相机生成的事件信息，其特征在于，所述方法包括以下步骤：根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息；根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息，所述前向概率信息和所述后向概率信息分别为所述事件信息迁移至一所述点云块信息位置的前向概率和后向概率；根据所述前向概率信息和所述后向概率信息获取所述点云块信息与所述事件信息的相关性信息；根据所述相关性信息和全概率公式获取所述事件信息与所述点云块信息的条件概率；根据最大化的所述条件概率融合所述点云块信息与所述事件信息。2.根据权利要求1所述的事件相机与标准相机的数据融合方法，其特征在于，所述根据所述事件信息的分辨率将所述深度图像信息划分为多个点云块信息的步骤包括：根据所述事件信息的分辨率在所述深度图像信息矩阵排列多个选框以将所述深度图像信息分割为多个选区，将所述深度图像信息对应的所有点云划分在各个选区中以构成多个所述点云块信息。3.根据权利要求1所述的事件相机与标准相机的数据融合方法，其特征在于，所述根据所述点云块信息和所述事件信息的概率密度获取前向概率信息和后向概率信息的步骤包括：根据每个所述点云块信息中的点云聚类中心与各个点云的关系获取点云内部概率密度信息；根据所述事件信息中的事件聚类中心与各个事件点的关系获取事件内部概率密度信息；根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息。4.根据权利要求3所述的事件相机与标准相机的数据融合方法，其特征在于，所述根据所述点云内部概率密度信息和所述事件内部概率密度信息的概率密度获取所述前向概率信息和所述后向概率信息的步骤包括：根据所述事件内部概率密度信息获取迁移概率信息，所述迁移概率信息为所述事件信息迁移至一所述点云块信息位置的概率；根据所述迁移概率信息及所述点云内部概率密度信息获取所述前向概率信息和所述后向概率信息。5.根...

【专利技术属性】
技术研发人员：邓涛，张晟东，张立华，古家威，李志建，
申请(专利权)人：季华实验室，
类型：发明
国别省市：