一种基于振镜相机阵列的实时远距离高速智能跟拍方法技术

本发明专利技术公开了一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板构成，所述伺服振镜系统中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头。该发明专利技术通过高速旋转振镜镜片与同轴相机阵列，通过多棱镜透视和折射成像，以多焦段镜头矩阵的方式，分别对高帧率图像和高分辨率影像进行处理和优化，解决了“运动模糊”和高帧率兼顾高分辨率的问题。

【技术实现步骤摘要】
一种基于振镜相机阵列的实时远距离高速智能跟拍方法
本专利技术属于高速摄影、精密设备制造和人工智能视觉
，具体涉及一种基于振镜相机阵列的实时远距离高速智能跟拍方法。
技术介绍
高速摄影是一种通过光学的装置和非接触的传感器自动地接收和处理一个目标物体的图像，再通过图像反馈的信息，让机器系统对机器做进一步控制或相应的自适应调整行为的系统。高速摄影涉及到光学、精密机械、无线电电子学、计算机、传感器以及工艺学、材料学等学科。实时高速远距离机器视觉是高速摄影的一种，主要由硬件和软件构成，核心是算法软件。硬件主要包括工业相机、光源、镜头、图像采集系统等，软件是视觉系统中的核心部件视觉分析软件，底层软件核心算法是机器视觉行业的壁垒。实时高速远距离高速机器视觉行业属于技术密集型产业，研发费用在整体收入中所占的比重很高，核心技术的积累和持续的技术创新是企业取得竞争优势的关键因素之一，较高的技术门槛对潜在的市场进入者构成了障碍。因此掌握了算法软件等关键技术的企业将引领整个产业的发展。当前用于体育赛事和影视特效制作的远距离跟拍高速移动物体，大都采用移动跟拍车、直升机航拍跟拍、伸缩臂/摇臂摄像机、轨道摄像机、索道摄像机等多种特种设备组合和摄影师实现视频采集，对特定对象特写镜头的录制和画面转播。这样使得在大场地、远距离、高速度的物体和人物视频跟拍上难度较大，耗费的人员、器材及安装成本很高。这种基于高速摄影技术产品和应用大多是离线式的，该方式通过将采集回来的视频存放在相机内的DDR上，慢慢传输导出到电脑端，然后慢速回放。当前这种高速摄影方式主要缺点有：一是相机自身扩展容量限制，无法满足高速摄影场景下大数据存储；二是受网络带宽限制，只能靠HD-SDI专线传输，综合成本高且不益于市场化规模应用；三是高速跟拍距离受限，在实际目标跟拍中会产生“运动模糊”，无法对目标进行精细特征运动分析；四是当前高速CCD/COMS传感器因高拍摄帧率与高分辨率两者之间存在的矛盾关系,无法兼顾高帧率情况下高分辨率画质；五是当前高速跟拍相机在特定场景下，只能一人一机单目标跟拍，对摄影师专业技能要求高；针对以上问题。综上所述，所以我设计了一种基于振镜相机阵列的实时远距离高速智能跟拍方法。
技术实现思路
为了解决上述存在的问题，本专利技术提供一种基于振镜相机阵列的实时远距离高速智能跟拍方法。本专利技术是通过以下技术方案实现：一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板构成，所述伺服振镜系统中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头；同时，将模拟信号通过振镜驱动器传给振镜D/A数模控制器子端，然后通过振镜D/A数模控制器子端端再将模拟信号，传给边缘计算端的D/A数模控制板，解调成数字信号；系统接收到数字信号，通过AI算法调度，通知对应焦段范围内的高速CCD传感器，将镜头聚焦到CCD传感器上的目标光学信号，经过处理成数字信号，然后交给FPGA/TPU单元，对数据压缩和编码，生成图片流保存在SSD。作为本专利技术的进一步优化方案，所述边缘计算单元中的D/A数模控制板处理完前一帧数据后，会发送一个数字信号给D/A数模控制板，所述D/A数模控制板会将数字信号调制成模拟信号，传给振镜D/A数模控制器子端。作为本专利技术的进一步优化方案，所述振镜D/A数模控制器子端接收到模拟信号，传给振镜控制器，然后振镜控制器控制振镜电机相位偏移，振镜镜片获取入射角视野范围内下一帧高速运动目标的光学信号，反射到多路分光镜。作为本专利技术的进一步优化方案，所述伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板组成的系统循环上面信号控制和数据传输，实现对高速运动目标的实时高速拍摄。与现有的技术相比，本专利技术的有益效果是：该专利技术通过高速旋转振镜镜片与同轴相机阵列，通过多棱镜透视和折射成像，以多焦段镜头矩阵的方式，分别对高帧率图像和高分辨率影像进行处理和优化，解决了“运动模糊”和高帧率兼顾高分辨率的问题；通过在边缘计算端与振镜相机高速通讯和精确控制，并通过算法处理，以5G方式实时上传云端，解决了相机自身容量限制和综合成本控制，为远距离高速智能跟拍市场化应用提供了有效解决方案。通过高速旋转振镜时间差分算法、多焦段镜头矩阵空间投影算法以及FasterR-CNN快速检测和跟踪算法，实现大视角、长远距离、多目标高速实时跟拍，解决了单人单摄单跟拍的问题，有效降低了综合成本。附图说明图1是本专利技术的结构原理图。图中：1、伺服振镜系统；2、振镜D/A数模控制器子端；3、D/A数模控制板。具体实施方式下面结合附图与具体实施方式对本专利技术作进一步详细描述：如图1所示，一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统(1)、振镜D/A数模控制器子端(2)、D/A数模控制板(3)构成，所述伺服振镜系统(1)中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头；同时，将模拟信号通过振镜驱动器传给振镜D/A数模控制器子端(2)，然后通过振镜D/A数模控制器子端(2)端再将模拟信号，传给边缘计算端的D/A数模控制板(3)，解调成数字信号；系统接收到数字信号，通过AI算法调度，通知对应焦段范围内的高速CCD传感器，将镜头聚焦到CCD传感器上的目标光学信号，经过处理成数字信号，然后交给FPGA/TPU单元，对数据压缩和编码，生成图片流保存在SSD；所述边缘计算单元中的D/A数模控制板(3)处理完前一帧数据后，会发送一个数字信号给D/A数模控制板(3)，所述D/A数模控制板(3)会将数字信号调制成模拟信号，传给振镜D/A数模控制器子端(2)；所述振镜D/A数模控制器子端(2)接收到模拟信号，传给振镜控制器，然后振镜控制器控制振镜电机相位偏移，振镜镜片获取入射角视野范围内下一帧高速运动目标的光学信号，反射到多路分光镜；所述伺服振镜系统(1)、振镜D/A数模控制器子端(2)、D/A数模控制板(3)组成的系统循环上面信号控制和数据传输，实现对高速运动目标的实时高速拍摄。所述本专利技术装置在这个实施例中，该专利技术通过高速旋转振镜镜片与同轴相机阵列，通过多棱镜透视和折射成像，以多焦段镜头矩阵的方式，分别对高帧率图像和高分辨率影像进行处理和优化，解决了“运动模糊”和高帧率兼顾高分辨率的问题；通过在边缘计算端与振镜相机高速通讯和精确控制，并通过算法处理，以5G方式实时上传云端，解决了相机自身容量限制和综合成本控制，为远距离高速智能跟拍市场化应用提供了有效解决方案。通过高速旋转振镜时间差分算法、多焦段镜头矩阵空间投影算法以及FasterR-CNN快速检测和跟踪算法，实现大视角、长远距离、多目标高速实时本文档来自技高网...

【技术保护点】
1.一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板构成，其特征在于：所述伺服振镜系统中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头；同时，将模拟信号通过振镜驱动器传给振镜D/A数模控制器子端，然后通过振镜D/A数模控制器子端端再将模拟信号，传给边缘计算端的D/A数模控制板，解调成数字信号；系统接收到数字信号，通过AI算法调度，通知对应焦段范围内的高速CCD传感器，将镜头聚焦到CCD传感器上的目标光学信号，经过处理成数字信号，然后交给FPGA/TPU单元，对数据压缩和编码，生成图片流保存在SSD。/n

【技术特征摘要】
1.一种基于振镜相机阵列的实时远距离高速智能跟拍方法，由伺服振镜系统、振镜D/A数模控制器子端、D/A数模控制板构成，其特征在于：所述伺服振镜系统中经过算法标定的高速运动目标，运动至振镜镜片视场角内，高速振镜电机驱动振镜镜片转动获取入射角视野范围内高速运动目标的光学信号，反射到多路分光镜；所述多路分光镜通过透射和反射目标光学信号至多路分焦镜头；同时，将模拟信号通过振镜驱动器传给振镜D/A数模控制器子端，然后通过振镜D/A数模控制器子端端再将模拟信号，传给边缘计算端的D/A数模控制板，解调成数字信号；系统接收到数字信号，通过AI算法调度，通知对应焦段范围内的高速CCD传感器，将镜头聚焦到CCD传感器上的目标光学信号，经过处理成数字信号，然后交给FPGA/TPU单元，对数据压缩和编码，生成图片流保存在SSD。


2.根据权利要求1所述...

【专利技术属性】
技术研发人员：牛增辉，
申请(专利权)人：北京海月水母科技有限公司，
类型：发明
国别省市：北京;11