基于图像识别的定位装置制造方法及图纸

本发明专利技术涉及基于图像识别的定位装置，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。

Positioning device based on image recognition

The present invention relates to a positioning device based on image recognition, the device includes a flash position extraction equipment, virtual environment equipment and display equipment, extraction equipment for flash flash position motion detection in the audience, the virtual environment for 3D virtual scene image reconstruction device, display device and flash extraction equipment and location are virtual environment used to display the output of the device is connected, the flash position extraction device and virtual environment equipment.

【技术实现步骤摘要】
基于图像识别的定位装置本专利技术是申请号为201710076717.8、申请日为2017年2月13日、专利技术名称为“全景视频直播服务装置”的专利的分案申请。
本专利技术涉及视频领域，尤其涉及一种基于图像识别的定位装置。
技术介绍
当前，即时回放系统的使用费用昂贵，其研发成本虽高，但经济回馈规模可观。以网球赛事为例，一块网球场地布置即时回放系统的各项费用共计16万美元，利润非常丰厚。即时回放系统的核心难点在于如何进行适当的软硬件搭配，以及如何对球体目标进行精确跟踪。如果克服上述难题，将很容易在即时回放系统的市场上占据一席之地。当前，即时回放系统精度仍需进一步提高，以适应更多球类运动，其中，关键在于如何提高各种图像处理技术的精度和自适应程度，从而在保持设备规模、维持现有成本的同时提升即时回放系统的性能，另外，即时回放系统的功能仍比较单一，控制水平仍比较低下，无法满足现场运动员和裁判员的各种需求，更谈不上去维持比赛现场环境和秩序了。
技术实现思路
为了解决上述问题，本发提供一种基于图像识别的定位装置，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。采用本专利技术的基于图像识别的定位装置，针对现有技术即时回放系统精度低且功能不够完善的技术问题，通过集成各种高精度的图像预处理设备提高图像处理的性能，通过集成准确的回放启动控制设备，提高即时回放系统的自动化水准。具体实施方式下面将对本专利技术的实施方案进行详细说明。为了克服上述不足，本专利技术提供一种基于图像识别的定位装置，引入高自适应能力的畸变消除设备和高精度的图像滤波设备提高预处理图像的精度，保证后续球类目标识别和运动轨迹判断的准确性，引入回放启动的自动化控制机制，方便运动员和裁判员的操作。因此，本专利技术提供一种基于图像识别的定位装置，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。在一方面，显示设备包括液晶显示器。在二方面，闪光灯位置提取设备包括鱼眼摄像头和闪光灯检测设备。在三方面，所述装置包括：鱼眼摄像头，用于对乒乓球场地的观众席进行全景拍摄以获得全景观众席图像；闪光灯检测设备，与鱼眼摄像头连接，用于基于预设闪光灯亮度范围在全景观众席图像中检测是否存在闪光动作，如果存在闪光动作，则确定闪光动作在全景观众席图像中的相对位置，并发出存在闪光拍照信号；其中，预设闪光灯亮度范围由预设闪光灯上限亮度和预设闪光灯下限亮度组成；闪光灯定位设备，与闪光灯检测设备连接，用于基于预设座位编号图案和闪光动作在全景观众席图像中的相对位置确定距离闪光动作最近的座位编号；高清摄像机阵列，由多个高清摄像机组成，多个高清摄像机分别设置在乒乓球场地的不同位置，每一个高清摄像机包括亮度补偿设备、CMOS传感设备、直方图均衡设备、边缘增强设备、小波滤波设备、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CMOS传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于乒乓球场地的相对位置以及高清摄像机的拍摄方向；坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出乒乓球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出；环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对乒乓球场地进行环境重建，以获得并输出乒乓球场地的虚拟场景；场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将乒乓球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；现场回放设备，与场景融合设备连接以接收并回放融合图像帧，现场回放设备包括液晶显示器、显示驱动器和显示缓存；动作识别设备，位于现场回放设备的正下方，对现场回放设备的正下方场景进行图像采集以获得下方图像，基于下方图像检测乒乓球场地上的运动员的姿态以确定运动员是否发出挑战动作，在确定运动员发出挑战动作时，输出启动挑战信号，在确定运动员未发出挑战动作时，输出未启动挑战信号；有球轨迹检测设备，位于现场回放设备中，用于与场景融合设备连接以接收融合图像帧，对融合图像帧进行逐个检测，将存在运动球体的融合图像帧按照时间段进行组合以获得多个有球视频，每一个有球视频对应一个有球时间段；其中，预设座位编号图案的获得过程如下：对无观众状态下乒乓球场地的观众席进行预先拍摄以获得无观众图像，再对无观众图像中观众席上的每一个座位完成编号以获得预设座位编号图案。在四方面，其中，显示驱动器还分别与闪光灯检测设备和闪光灯定位设备连接，用于在接收到闪光拍照信号时，将距离闪光动作最近的座位编号推送到显示缓存中以便于液晶显示器进行相应显示，还将禁止闪光灯拍照警示信息推送到显示缓存中以便于液晶显示器进行相应显示；其中，在每一个高清摄像机中，亮度补偿设备与CMOS传感设备连接，用于接收CMOS传感设备采集的高清图像，基于高清图像中各个像素的灰度值确定高清图像的平均亮度，并将高清图像的平均亮度与预设亮度进行比较，当高清图像的平均亮度大于等于预设亮度时，对高清图像进行亮度降低调整以获得亮度调整图像，当高清图像的平均亮度小于预设亮度，对高清图像进行亮度提升调整以获得亮度调整图像；CMOS传感设备用于对乒乓球场地进行高清数据采集以输出高清图像；直方图均衡设备与亮度补偿设备连接，用于接收亮度调整图像，并对亮度调整图像进行直方图均衡处理以获得均衡图像；边缘增强设备与直方图均衡设备连接，用于接收均衡图像，并对均衡图像进行边缘增强处理以获得增强图像；小波滤波设备与边缘增强设备连接，用于接收增强图像，并对增强图像进行小波滤波处理以获得滤波图像；其中，在每一个高清摄像机中，畸变类型检测设备与小波滤波设备连接，用于接收滤波图像，确定滤波图像的外形尺寸，基于滤波图像的外形尺寸与基准参考图像的外形尺寸确定滤波图像的畸变类型，畸变类型包括扭曲畸变、径向失真畸变、仿射变换畸变、类仿射变换畸变和投影变换畸变，基准参考图像为对高清摄像机负责区域进行预先高清数据采集所输出的无畸变本文档来自技高网...

【技术保护点】
基于图像识别的定位装置，其特征在于，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。

【技术特征摘要】
1.基于图像识别的定位装置，其特征在于，所述装置包括闪光灯位置提取设备、虚拟环境搭建设备和显示设备，闪光灯位置提取设备用于检测观众席上的闪光灯动作，虚拟环境搭建设备用于重建现场的三维虚拟图像，显示设备分别与闪光灯位置提取设备和虚拟环境搭建设备连接，用于显示闪光灯位置提取设备和虚拟环境搭建设备的输出结果。2.根据权利要求1所述的基于图像识别的定位装置，其特征在于，显示设备包括液晶显示器。3.根据权利要求2所述的基于图像识别的定位装置，其特征在于，闪光灯位置提取设备包括鱼眼摄像头和闪光灯检测设备。4.根据权利要求3所述的基于图像识别的定位装置，其特征在于，所述装置包括：鱼眼摄像头，用于对乒乓球场地的观众席进行全景拍摄以获得全景观众席图像；闪光灯检测设备，与鱼眼摄像头连接，用于基于预设闪光灯亮度范围在全景观众席图像中检测是否存在闪光动作，如果存在闪光动作，则确定闪光动作在全景观众席图像中的相对位置，并发出存在闪光拍照信号；其中，预设闪光灯亮度范围由预设闪光灯上限亮度和预设闪光灯下限亮度组成；闪光灯定位设备，与闪光灯检测设备连接，用于基于预设座位编号图案和闪光动作在全景观众席图像中的相对位置确定距离闪光动作最近的座位编号；高清摄像机阵列，由多个高清摄像机组成，多个高清摄像机分别设置在乒乓球场地的不同位置，每一个高清摄像机包括亮度补偿设备、CMOS传感设备、直方图均衡设备、边缘增强设备、小波滤波设备、畸变类型检测设备、畸变处理设备、参考点选择设备、畸变坐标映射设备、畸变灰度映射设备、目标识别设备和目标坐标提取设备；摄像机定标设备，与每一个高清摄像机连接，用于获取每一个高清摄像机的内参数和每一个高清摄像机的外参数，每一个高清摄像机的内参数包括高清摄像机的焦距、CMOS传感设备尺寸、摄像镜头失真度，每一个高清摄像机的外参数包括高清摄像机相对于乒乓球场地的相对位置以及高清摄像机的拍摄方向；坐标映射设备，与摄像机定标设备连接，用于接收每一个高清摄像机的内参数和每一个高清摄像机的外参数，并基于每一个高清摄像机的内参数和每一个高清摄像机的外参数确定每一个高清摄像机的图像空间中像素点坐标与三维世界坐标之间的映射关系；三维坐标拟合设备，用于分别与多个高清摄像机的目标坐标提取设备连接，用于接收多个平面坐标参数，还与摄像机定标设备连接，用于接收多个高清摄像机的图像空间中像素点坐标分别与三维世界坐标之间的映射关系，三维坐标拟合设备基于上述多个平面坐标参数以及上述多个高清摄像机对应的映射关系拟合出乒乓球目标在三维世界坐标系中的三维坐标并作为三维目标坐标输出；环境重建设备，与每一个高清摄像机连接，用于接收分别来自多个高清摄像机的多个几何校准图像，基于多个几何校准图像对乒乓球场地进行环境重建，以获得并输出乒乓球场地的虚拟场景；场景融合设备，分别与环境重建设备和三维坐标拟合设备连接，用于基于三维目标坐标将乒乓球目标的运动位置融合到虚拟场景中以获得并输出融合图像帧；现场回放设备，与场景融合设备连接以接收并回放融合图像帧，现场回放设备包括液晶显示器、显示驱动器和显示缓存；动作识别设备，位于现场回放设备的正下方，对现场回放设备的正下方场景进行图像采集以获得下方图像，基于下方图像检测乒乓球场地上的运动员的姿态以确定运动员是否发出挑战动作，在确定运动员发出挑战动作时，输出启动挑战信号，在确定运动员未发出挑战动作时，输出未启动挑战信号；有球轨迹检测设备，位于现场回放设备中，用于与场景融合设备连接以接收融合图像帧，对融合图像帧进行逐个检测，将存在运动球体的融合图像帧按照时间段进行组合以获得多个有球视频，每一个有球视频对应一个有球时间段；其中，预设座位编号图案的获得过程如下：对无观众状态下乒乓球场地的观众席进行预先拍摄以获得无观众图像，再对无观众图像中观众席上的每一个座位完成编号以获得预设座位编号图案；其中，显示驱动器还分别与闪光灯检测设备和闪光灯定位设备连接，用于在接收到闪光拍照信号时，将距离闪光动作最近的座位编号推送到显...

【专利技术属性】
技术研发人员：孙景芝，
申请(专利权)人：孙景芝，
类型：发明
国别省市：上海,31