复杂场景下动态相机运动补偿方法、系统及存储介质技术方案

本发明专利技术提出了一种复杂场景下动态相机运动补偿方法、系统及存储介质，首先，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。其次，通过图像质心位置的前后变化计算图像的偏移角；最后将传感器来获取三轴云台的姿态角，例如滚动角、俯仰角、偏航角与所述偏移角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。节省了AVR处理器的资源。节省了AVR处理器的资源。

Dynamic camera motion compensation method, system and storage medium in complex scenes

【技术实现步骤摘要】
复杂场景下动态相机运动补偿方法、系统及存储介质


[0001]本文涉及图像领域，尤其涉及复杂场景下动态相机运动补偿方法、系统及存储介质。

技术介绍

[0002]无人驾驶车辆云台上的相机会因风和机器本身的运动等外部因素而移动和抖动，很难正确跟踪目标，有时目标无法停留在相机的视野中。由于相机移动和背景快速变化，车辆快速移动超出预测范围时，目标会在有效视野区域频繁进出。目前的研究集中在固定相机和静态背景场景中取得了显着的效果。但当相机快速移动或在遇到复杂的背景，目标跟踪的精度不高。如何使运动的相机在跟踪物体时保持稳定是目前研究的一个重要课题。

技术实现思路

[0003]为克服相关技术中存在的问题，本专利技术提供复杂场景下动态相机运动补偿方法、系统及存储介质，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。通过图像质心位置的前后变化计算图像的偏移角以及获取三轴云台的滚动角、俯仰角、偏航角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。
[0004]根据本文的第一方面，提供一种复杂场景下动态相机运动补偿方法，包括将运动相机捕获的图像序列传输至ARM处理器；获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；所述ARM处理器计算所述图像序列的偏移角；所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。
[0005]基于前述方案，所述将运动相机捕获的图像序列传输至ARM处理器，包括：将所述图像序列传输到目标跟踪系统；所述目标跟踪系统计算所述图像序列的质心位置；将所述图像序列的质心位置传输至所述ARM处理器。
[0006]基于前述方案，所述目标跟踪系统计算所述图像序列的质心位置，包括：将每一帧图像序列的RGB图像转换为HSV图像；定义所述HSV图像的颜色及阈值；对所述HSV图像二值化处理；对所述二值化处理的HSV图像进行腐蚀、膨胀处理得到目标模板；划定所述目标模板的轮廓，将所述轮廓的做大外接圆的中心作为所述图像序列的质心位置。
[0007]基于前述方案，所述ARM处理器计算所述图像序列的偏移角，包括：根据所述图像序列的质心位置计算所述图像序列的偏移角；
[0008][0009]x,y表示图像偏移后质心的坐标横向量和坐标纵向量，x0,y0表示图像偏移前质心的坐标横向量和坐标纵向量；h0,v0,θ表示图像水平偏移量，垂直偏移量，偏移角。
[0010]基于前述方案，所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚
动角、俯仰角、偏航角计算控制角度，包括：
[0011]Pulse.ω＝((θ+ω)*10+1500)/50
[0012][0013]Pulse.κ＝((θ+κ)*10+1500)/50
[0014]Angle.ω＝(Pulse.ω
‑
1500)/T
[0015][0016]Angle.κ＝(Pulse.κ
‑
1500)/T
[0017]Pulse.ω、Pulse.κ分别表示滚动角、俯仰角、偏航角的脉冲信号宽度；Angle.ω、Angle.κ表示滚动角、俯仰角、偏航角的补偿后的控制角度，T为定时器的周期。
[0018]根据本文的另一方面，提供一种复杂场景下动态相机运动补偿系统，包括第一传输单元、第二传输单元、计算单元、控制单元；所述第一传输单元，用于将运动相机捕获的图像序列传输至ARM处理器；所述第二传输单元，用于获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；所述计算单元，用于所述ARM处理器计算所述图像序列的偏移角；所述控制单元，用于所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。
[0019]根据本文的另一方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被执行时减小爆破振动的爆破方法的步骤。
[0020]本专利技术提出了一种复杂场景下动态相机运动补偿方法、系统及存储介质，将运动相机捕获的图像序列经计算质心位置并将其传输至ARM处理器以跟踪目标，将目标维持在图像平面的中心。其次，通过图像质心位置的前后变化计算图像的偏移角；最后将传感器来获取三轴云台的姿态角，例如滚动角、俯仰角、偏航角与所述偏移角融合用来补偿三轴云台，使所述三轴云台保持稳定。这样提高控制三轴云台的精度，同时也节省了AVR处理器的资源。
[0021]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本文。
附图说明
[0022]构成本文的一部分的附图用来提供对本文的进一步理解，本文的示意性实施例及其说明用于解释本文，并不构成对本文的不当限定。
[0023]在附图中：
[0024]图1是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿方法的流程图。
[0025]图2是根据一示例性实施例示出的利用质心跟踪算法跟踪目标的流程图。
[0026]图3是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿系统的框图。
[0027]图4是根据一示例性实施例示出的一种复杂场景下动态相机运动补偿设备的框图。
具体实施方式
[0028]为使本文实施例的目的、技术方案和优点更加清楚，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。需要说明的是，在不冲突的情况下，本文中的实施例及实施例中的特征可以相互任意组合。
[0029]除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。
[0030]图1是根据本专利技术第一实施例示出的一种复杂场景下动态相机运动补偿方法的流程图。参照图1，补偿方法至少包括：
[0031]S101：将运动相机捕获的图像序列传输至ARM处理器；
[0032]具体地说，运动相机是和车辆绑在一起的，可以是一体化的，也可以是两个实体绑定。运动相机按照固定的帧率拍摄视频，运动相机会检测视频中的目标物体进行跟踪。
[0033]值得一提的是，本文中的ARM处理器作为主控制器，优选的，S3C2440芯片；S3C2440芯片采用ARM9内核架构设计，是一种32位的高速处理器，很多嵌入式产品中都使用该芯片作为主控制器。其性能参数包括CPU、最高工作频率、内核电压、I/O输出电压、PWM定时器等。
[0034]进一步地，为了减轻ARM处理器的数据处理压力，同时能够提高跟踪目标物体的精度，在运动相机捕获的图像序列传输至ARM本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种复杂场景下动态相机运动补偿方法，其特征在于：将运动相机捕获的图像序列传输至ARM处理器；获取三轴云台的滚动角、俯仰角、偏航角传输至所述ARM处理器；所述ARM处理器计算所述图像序列的偏移角；所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度以控制所述三轴云台移动。2.根据权利要求1所述的方法，其特征在于，所述将运动相机捕获的图像序列传输至ARM处理器，包括：将所述图像序列传输到目标跟踪系统；所述目标跟踪系统计算所述图像序列的质心位置；将所述图像序列的质心位置传输至所述ARM处理器。3.根据权利要求2所述的方法，其特征在于，所述目标跟踪系统计算所述图像序列的质心位置，包括：将每一帧图像序列的RGB图像转换为HSV图像；定义所述HSV图像的颜色及阈值；对所述HSV图像二值化处理；对所述二值化处理的HSV图像进行腐蚀、膨胀处理得到目标模板；划定所述目标模板的轮廓，将所述轮廓的做大外接圆的中心作为所述图像序列的质心位置。4.根据权利要求3所述的方法，其特征在于，所述ARM处理器计算所述图像序列的偏移角，包括：根据所述图像序列的质心位置计算所述图像序列的偏移角；x,y表示图像偏移后质心的坐标横向量和坐标纵向量，x0,y0表示图像偏移前质心的坐标横向量和坐标纵向量；h0,v0,θ表示图像水平偏移量，垂直偏移量，偏移角。5.根据权利要求4所述的方法，其特征在于，所述ARM处理器基于所述图像序列的偏移角和所述三轴云台的滚动角、俯仰角、偏航角计算控制角度，包括：Pulse.ω＝((θ+ω)*10+1500)/50Pulse.κ＝((θ+κ)*10+1500)/50Angle.ω＝(Pulse.ω
‑
1500)/TAngle.κ＝(Pulse.κ
‑
1500)/TPulse.ω、Pulse.κ分别表示滚动角、俯仰角、偏航角的脉冲信号宽度；Angle.ω、Angle.κ表示滚动角、俯仰角、偏航角的补偿后的控制角度，...

【专利技术属性】
技术研发人员：衣杨，曾青青，
申请(专利权)人：广州新华学院，
类型：发明
国别省市：