基于混合相机系统的无标记运动物体姿态恢复方法及装置制造方法及图纸

本发明专利技术公开了一种基于混合相机系统的无标记运动物体姿态恢复方法及装置，其中，方法包括：提取CMOS图像中目标物体的shift特征点，并根据混合相机系统的位置标定信息将shift特征点映射到event‑based相机坐标系下；根据event‑based相机生成的事件信息跟踪shift特征点，得到匹配的特征点；根据匹配的特征点计算目标物体的三维姿态变换矩阵；根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。该方法可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。 1

Attitude recovery method and device of unmarked moving object based on hybrid camera system

The invention discloses a method and device for the attitude recovery of unmarked moving objects based on the hybrid camera system. The method includes: extracting the shift feature points of the target object in the CMOS image and mapping the shift feature points to the event coordinate based camera coordinate system according to the position calibration information of the mixed camera system; according to the event The event information generated by the based camera tracks the shift feature points and gets the matching feature points. According to the matched feature points, the 3D attitude transformation matrix of the target object is calculated, and the new feature points are corrected according to the new CMOS image information, and the new feature points are added to restore the three-dimensional posture of the unmarked high-speed moving object. This method can calculate the three-dimensional attitude information of the high-speed moving objects, especially the motion information between the two frames of the traditional camera, which is beneficial to the analysis of the motion state of the high-speed moving objects. One

【技术实现步骤摘要】
基于混合相机系统的无标记运动物体姿态恢复方法及装置
本专利技术涉及高速运动物体运动站台监控应用
，特别涉及一种基于混合相机系统的无标记运动物体姿态恢复方法及装置。
技术介绍
运动物体的姿态恢复是使用传感器检测并计算出物体的实时姿态信息，本技术在对物体跟踪以及云梯性能分析等方面有着广泛应用。常用的运动物体姿态恢复方法是在被监控物体上人为放置特殊标记点，通过相应匹配的传感器获取标记点的空间位置信息，然后根据这些标记点的相对位置关系，计算得到物体的姿态信息。也有使用单目或者双目CMOS(ComplementaryMetalOxideSemiconductor)，互补金属氧化物半导体)相机，通过计算视觉几何的方法计算得到无标记点的物体运动状态。然而，人为的标注方法无法适用于自然场景下的目标跟踪，适用场景受限。此外，在物体由高速运动时，由于CMOS摄像机本身曝光时间显示，单纯使用CMOS相机采集信息并计算得到的结果无法检测记录到物体在两帧间隔时间的运动状态，造成信息损失，有待解决。
技术实现思路
本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的一个目的在于提出一种基于混合相机系统的无标记运动物体姿态恢复方法，该方法可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。本专利技术的另一个目的在于提出一种基于混合相机系统的无标记运动物体姿态恢复装置。为达到上述目的，本专利技术一方面实施例提出了一种基于混合相机系统的无标记运动物体姿态恢复方法，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述方法包括以下步骤：提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下；根据所述event-based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。本专利技术实施例的基于混合相机系统的无标记运动物体姿态恢复方法，可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。另外，根据本专利技术上述实施例的基于混合相机系统的无标记运动物体姿态恢复方法还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event-based相机的成像平面上，以作为初始event-based图像帧；并且，所述event-based相机将多个离线事件输出累加后生成图像K，进一步包括：在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出所述离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K。进一步地，在本专利技术的一个实施例中，所述据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：假设分别为所述CMOS图像上所述shift特征点集在相邻两帧所述event-based相机的图像数据K上映射点集；通过二维光流算法计算两个点集中特征点的对应关系，使得与对应所述CMOS图像上的同一个shift特征点。进一步地，在本专利技术的一个实施例中，所述根据所述匹配的特征点计算目标物体的三维姿态变换矩阵，进一步包括：根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P2)TE(P1)＝0，所述本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通对所述本征矩阵E矩阵SVD(SingularlyValuableDecomposition，奇异值分解)分解，得到相邻两帧的三维旋转矩阵与平移矩阵。进一步地，在本专利技术的一个实施例中，所述根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：当下一帧所述CMOS图像达到时，提取图像中的所述shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发特征点位置偏移，同时，在新的所述CMOS图像到达时，补充新的特征点，将所述新的特征点映射到所述event-based相机坐标系下，进入下一次位姿变换矩阵的计算，以得到足够多的匹配点以满足所述本征矩阵的计算。为达到上述目的，本专利技术另一方面实施例提出了一种混合相机系统的无标记高速运动物体三维姿态恢复装置，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述装置包括：提取模块，用于提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下；生成模块，用于根据所述event-based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；计算模块，根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；恢复模块，用于根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。本专利技术实施例的基于混合相机系统的无标记运动物体姿态恢复装置，可以计算获取高速运动物体的三维姿态信息，尤其是可以监控传统相机两帧之间的物体运动信息，有利于分析高速运动物体的运动状态。另外，根据本专利技术上述实施例的基于混合相机系统的无标记运动物体姿态恢复装置还可以具有以下附加的技术特征：进一步地，在本专利技术的一个实施例中，所述提取模块，进一步包括：定义单元，用于定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；映射单元，用于将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event-based相机的成像平面上，以作为初始event-based图像帧；并且，所述event-based相机将多个离线事件输出累加后生成图像K，进一步包括：在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出所述离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，本文档来自技高网...

【技术保护点】
1.一种基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述混合相

【技术特征摘要】
1.一种基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述混合相机系统由event-based相机、CMOS相机与分光片组成，其中，所述方法包括以下步骤：提取CMOS图像中目标物体的shift特征点，并根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下；根据所述event-based相机生成的事件信息跟踪所述shift特征点，得到匹配的特征点；根据所述匹配的特征点计算目标物体的三维姿态变换矩阵；以及根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，以恢复得到无标记高速运动物体三维姿态。2.根据权利要求1所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：定义所述混合相机系统的所述CMOS相机与所述event-based相机的空间标定对应矩阵为T，Pevent＝T×PCMOS，其中，Pevent为CMOS相机像素PCMOS在event-based相机上的对应点；将所述CMOS图像上检测到的所述shift特征点以及特征点周围的N个点映射到所述event-based相机的成像平面上，以作为初始event-based图像帧；并且，所述event-based相机将多个离线事件输出累加后生成图像K，进一步包括：在所述event-based相机的分辨率为(m,n)时，定义m×n的二维全0图像K，并且当所述event-based相机输出所述离散事件数据包时，将事件产生位置的图像像素值置为255，当输出的所述离散事件数据包数量达到预设数值M时，输出图像数据K。3.根据权利要求2所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述据所述混合相机系统的位置标定信息将所述shift特征点映射到所述event-based相机坐标系下，进一步包括：假设分别为所述CMOS图像上所述shift特征点集在相邻两帧所述event-based相机的图像数据K上映射点集；通过二维光流算法计算两个点集中特征点的对应关系，使得与对应所述CMOS图像上的同一个shift特征点。4.根据权利要求1所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据所述匹配的特征点计算目标物体的三维姿态变换矩阵，进一步包括：根据相邻两帧event-based图像中匹配的特征点集P1与P2计算两帧的三维位姿变换矩阵，其中，根据对极几何原理，在已知相机内参的条件下，定义本征矩阵为E，以得到(P2)TE(P1)＝0，所述本征矩阵E中共有7个约束，包括三个旋转参数以及两个平移参数，另外两个约束为矩阵行列式为0和两个非奇异值相等，进而通对所述本征矩阵E矩阵SVD分解，得到相邻两帧的三维旋转矩阵与平移矩阵。5.根据权利要求4所述的基于混合相机系统的无标记运动物体姿态恢复方法，其特征在于，所述根据新到的CMOS图像信息矫正特征点位置，并加入新的特征点，进一步包括：当下一帧所述CMOS图像达到时，提取图像中的所述shift特征点，并与在event-based图像中追踪成功的点位置比较，矫正特征点位置，以避免在特征点跟踪过程中发特征点位置偏移，同时，在新的所述CMOS图像到达时，补充新的特征点，将所述新的特征点映射到所述event-based相机坐标系下，进入下一...

【专利技术属性】
技术研发人员：李一鹏，范振，李秀，戴琼海，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京,11