目标检测中小型光电转台的智能控制方法技术

技术编号:20943690 阅读:31 留言:0更新日期:2019-04-24 02:04
本发明专利技术提出了一种目标检测中小型光电转台的智能控制方法,涉及小型光电转台的智能控制,本发明专利技术根据小型光电转台设备运行及应用场景,分三种工作模式,模式一:全景相机得到多个疑似目标,用变焦高清摄像机对多个疑似目标依次确认;模式二:全景相机得到多个疑似目标且存在一个置信度极高的目标,用变焦高清摄像机对该目标确认;模式三:全景相机故障,光电转塔带动变焦高清或变焦红外摄像机旋转一周工作。本发明专利技术对相似目标融合避免目标检测的误检和漏检、光电转塔防抖动处理及摄像机的智能变焦,使本发明专利技术的智能控制方法响应更快,控制更精准;用于无人设备上,也可以在载人设备或者固定位置使用。

Intelligent Control Method of Small and Medium-sized Photoelectric Turntable for Target Detection

The invention provides an intelligent control method of small and medium-sized photoelectric turntable for target detection, which involves the intelligent control of small photoelectric turntable. According to the operation and application scene of small photoelectric turntable equipment, the invention divides into three working modes. The first mode is that panoramic camera obtains multiple suspected targets, which are confirmed sequentially by zoom high-definition camera; the second mode is panoramic camera obtains. To many suspected targets and there is a high confidence target, the target is confirmed by zoom high-definition camera; Mode 3: Panoramic camera failure, photoelectric turret driving zoom high-definition or zoom infrared camera to rotate for a week. The invention fuses similar targets to avoid false detection and missed detection of target detection, anti-jitter processing of photoelectric turret and intelligent zoom of camera, so that the intelligent control method of the invention responds faster and controls more accurately, and can also be used in unmanned equipment or fixed position.

【技术实现步骤摘要】
目标检测中小型光电转台的智能控制方法
本专利技术属于设备控制
,主要涉及小型光电转台智能控制,具体是一种目标检测中小型光电转台的智能控制方法。用于需要360°或指定方位范围目标搜索场合的目标检测。
技术介绍
随着无人机、无人车等无人设备的快速发展,对无人设备上搭载的相机要求越来越高,从要求更高的分辨率到要求更大的探测区域、更远的探测距离再到如今的360°实时探测,以便更好的适应无人设备越来越丰富的功能需求——目标搜索、目标跟踪或者障碍物的判别等等。早期的无人设备,比如大疆的精灵Phantom1搭载的就是体积小、重量轻、大广角的运动相机GoPro。但是第三方相机不便于图像传输以及相机的参数控制,一些厂家研制出了兼容性更好的相机云台作为相机与无人设备的中介,相机安装在云台上,无人设备对相机的控制均通过云台来进行。近年来,无人设备在地质勘探、水质检测等恶劣环境中的应用越来越广泛,无人机上搭载的光电设备需要在一个区域内不断的进行搜索,为了提高搜索效率,无人设备上搭载的光电设备开始出现了全景相机,同时也对图像传输以及相机参数控制的时延提出了更高的要求。但全景相机仍然不能满足无人设备对某一个特定位置或者目标进行精准探测的需求,结合上述需求,无人设备上需要一种能够进行全景探测,又可旋转、转动灵活,响应时间短而且精度高的光电设备。为此,许多厂家开发了一些专用的光电设备,能解决旋转的问题,但光电设备视场角较小,探测距离较远,难以对近处的目标以及设备周围360°进行实时探测。为了更好的解决上述问题,一些厂家又将高清摄像机集成在可以旋转的转塔上,为了同时实现近距离以及远距离的探测,将全景相机与光电设备结合在一起,搭成小型光电转台,小型光电转台直接安装在无人设备的探测部位,实时采集图像数据等周围环境信息,通过链路下传到用户,用户通过回传的信息对无人设备进行控制。目前投入使用的小型光电转台的处理流程通常为:无人设备将高清摄像机采集到的信息回传到用户控制台,用户通过在控制台界面显示的信息对转塔的旋转进行控制。但无人设备数据下传链路速率往往较低,数据回传速度慢,带来了很大的传输延迟;另外,用户通过界面显示信息进行处理,精度较低同时又增加了处理延迟。本专利技术在一定范围内进行了检索,未发现与本专利技术主题密切相关的专利或报道。
技术实现思路
本专利技术的目的在于克服上述已有技术的缺陷,提出一种响应更快,控制更精准的目标检测中小型光电转台的智能控制方法。本专利技术是一种目标检测中小型光电转台的智能控制方法,主要涉及小型光电转台的智能控制,小型光电转台上配备有一台全景相机和一台集成了变焦高清摄像机、变焦红外摄像机和激光测距机的光电转塔,变焦高清摄像机、变焦红外摄像机和激光测距机三者的中心与光电转塔的指向一致,通过界面对小型光电转台进行运动控制,其特征在于,将融合了目标检测结果的智能控制方法集成于小型光电转台上,进行实时控制,包括有如下步骤:根据小型光电转台设备运行情况以及应用场景的不同,分为以下三种工作模式:(1)工作模式一:小型光电转台设备全部运转正常,天气能见度高,用全景相机得到多个疑似目标,需要变焦高清摄像机对多个疑似目标进行依次确认,具体包括以下流程:1.1目标信息融合:小型光电转台中的全景相机始终处在目标检测的工作状态,通过全景相机输出的视频进行目标检测后,如果目标检测结果为多个疑似目标且疑似目标中存在一个置信度极高的目标,转入工作模式二;如果目标检测结果仅为多个疑似目标,进入工作模式一,光电转塔运动控制变量置为“1”;光电转塔运动控制变量为“1”时,开始从目标检测结果中连续读取N_p帧全景视频目标检测结果,对N_p帧中的相似目标信息进行融合,得到当前疑似目标总个数N_s以及各疑似目标的信息,N_p为读取的全景视频总帧数;1.2以置信度为基准进行排序:以疑似目标信息中的置信度作为基准,由大到小的对N_s个疑似目标排序;1.3针对当前的待确认目标首次规划光电转塔方位角、俯仰角:根据疑似目标排序结果,从大到小依次进行疑似目标确认;以疑似目标排序结果中的第N个目标为例,读取排在第N位的疑似目标信息中的方位角、俯仰角,以读取到的值作为光电转塔的首次规划结果并生成光电转塔运动指令,光电转塔接收到运动指令后按照首次规划的方位角、俯仰角进行转动;1.4相机焦距调整:变焦高清摄像机始终处在目标检测的工作状态,光电转塔转动到首次规划的方位角、俯仰角后,读取N_v帧变焦高清摄像机目标检测结果,取目标检测结果中置信度最大的目标的宽、高信息,结合当前变焦高清摄像机的焦距及视场角,计算出变焦高清摄像机需要调整的焦距进行焦距调整,N_v为读取的变焦高清摄像机视频总帧数;1.5光电转塔防抖动处理:以首次规划的方位角、俯仰角为中心,在该中心上下左右各偏移一个角度M°后产生四个偏移位置,作为光电转塔再次规划的结果,并生成光电转塔运动指令,光电转塔接收到运动指令后按照再次规划的方位角、俯仰角进行转动,完成光电转塔防抖动处理;1.6基于变焦高清摄像机目标检测概率的目标确认:光电转塔每次转动到偏移位置后,读取N_v帧变焦高清摄像机目标检测结果,将中心位置以及以该中心为基准的所有偏移位置的目标检测结果中目标置信度最大的概率值作为当前目标的检测概率,并记录对应的方位角、俯仰角等目标信息;1.7对剩余N_s-1个目标重复上述步骤1.3-步骤1.6;1.8目标处理结果输出:输出疑似目标个数、每个疑似目标的检测结果信息以及该目标在全景视频中目标检测的置信度以备后续处理过程中其他设备或者用户使用。(2)工作模式二:小型光电转台设备全部运转正常,天气能见度高,用全景相机得到多个疑似目标且疑似目标中存在一个置信度极高的目标,即为待确认目标,需要变焦高清摄像机对该待确认目标进行确认,记录待确认目标的检测结果信息,进入工作模式二,光电转塔运动控制变量置为“2”;光电转塔运动控制变量为“2”时,取待确认目标检测结果信息中的方位角、俯仰角,与工作模式一类似的是:对当前的待确认目标首次规划光电转塔方位角、俯仰角;相机焦距调整;光电转塔防抖动处理;基于变焦高清摄像机目标检测概率的目标确认和目标处理结果输出;与工作模式一不同的是基于变焦高清摄像机目标检测概率的目标确认和目标处理结果输出之间增加激光测距,如果当前目标的检测概率超过了设定的激光测距阈值,则打开激光测距机对当前目标进行距离测量,将得到的激光测距结果信息添加到当前目标的检测结果中。(3)工作模式三:如果全景相机发生故障,无法正常运行,其他设备运转正常,使用光电转塔带动变焦高清摄像机或者变焦红外摄像机旋转一周代替全景相机工作。如果当前天气能见度较低,光学相机成像效果不如红外相机好,直接使用光电转塔带动变焦红外摄像机旋转一周代替全景相机工作,执行步骤3.2;如果当前天气能见度较好,光学相机成像效果较好,则使用光电转塔带动变焦高清摄像机旋转一周代替全景相机工作,执行步骤3.1,具体包括以下流程:3.1使用变焦高清摄像机代替全景相机:变焦高清摄像机始终处在目标检测的工作状态,根据变焦高清摄像机方位向上最大视场角计算得到光电转塔扫描一周需要转动R_v次,将R_v次目标检测的结果中相似目标信息进行融合,记录并输出融合后的目标信息以备后续处理过程中其他设本文档来自技高网
...

【技术保护点】
1.一种目标检测中小型光电转台的智能控制方法,主要涉及小型光电转台的智能控制,小型光电转台上配备有一台全景相机和一台集成了变焦高清摄像机、变焦红外摄像机和激光测距机的光电转塔,变焦高清摄像机、变焦红外摄像机和激光测距机三者的中心与光电转塔的指向一致,通过界面对小型光电转台进行运动控制,其特征在于,将融合了目标检测结果的智能控制方法集成于小型光电转台上,进行数据采集和小型光电转台控制的实时处理,包括有如下步骤:根据小型光电转台设备运行情况以及应用场景的不同,分为以下三种工作模式:(1)工作模式一:小型光电转台设备全部运转正常,天气能见度高,用全景相机得到多个疑似目标,需要变焦高清摄像机对多个疑似目标进行依次确认,具体包括以下流程:1.1目标信息融合:小型光电转台中的全景相机始终处在目标检测的工作状态,通过全景相机输出的视频进行目标检测后,如果目标检测结果为多个疑似目标且疑似目标中存在一个置信度极高的目标,转入工作模式二;如果目标检测结果仅为多个疑似目标,进入工作模式一,光电转塔运动控制变量置为“1”;光电转塔运动控制变量为“1”时,开始从目标检测结果中连续读取N_p帧全景视频目标检测结果,对N_p帧中的相似目标信息进行融合,得到当前疑似目标总个数N_s以及各疑似目标的信息,N_p为读取的全景视频总帧数;1.2以置信度为基准进行排序:以疑似目标信息中的置信度作为基准,由大到小的对N_s个疑似目标排序;1.3针对当前的待确认目标首次规划光电转塔方位角、俯仰角:根据疑似目标排序结果,从大到小依次进行疑似目标确认;以疑似目标排序结果中的第N个目标为例,读取排在第N位的疑似目标信息中的方位角、俯仰角,以读取到的值作为光电转塔的首次规划结果并生成光电转塔运动指令,光电转塔接收到运动指令后按照首次规划的方位角、俯仰角进行转动;1.4相机焦距调整:变焦高清摄像机始终处在目标检测的工作状态,光电转塔转动到首次规划的方位角、俯仰角后,读取N_v帧变焦高清摄像机目标检测结果,取目标检测结果中置信度最大的目标的宽、高信息,结合当前变焦高清摄像机的焦距及视场角,计算出变焦高清摄像机需要调整的焦距进行焦距调整,N_v为读取的变焦高清摄像机视频总帧数;1.5光电转塔防抖动处理:以首次规划的方位角、俯仰角为中心,在该中心上下左右各偏移一个角度M°后产生四个偏移位置,作为光电转塔再次规划的结果,并生成光电转塔运动指令,光电转塔接收到运动指令后按照再次规划的方位角、俯仰角进行转动,完成光电转塔防抖动处理;1.6基于变焦高清摄像机目标检测概率的目标确认:光电转塔每次转动到偏移位置后,读取N_v帧变焦高清摄像机目标检测结果,将中心位置以及以该中心为基准的所有偏移位置的目标检测结果中目标置信度最大的概率值作为当前目标的检测概率,并记录对应的方位角、俯仰角等目标信息;1.7对剩余N_s‑1个目标重复上述步骤1.3‑步骤1.6;1.8目标处理结果输出:输出疑似目标个数、每个疑似目标的检测结果信息以及该目标在全景视频中目标检测的置信度以备后续处理过程中其他设备或者用户使用;(2)工作模式二:小型光电转台设备全部运转正常,天气能见度高,用全景相机得到多个疑似目标且疑似目标中存在一个置信度极高的目标,即为待确认目标,需要变焦高清摄像机对该待确认目标进行确认,记录待确认目标的检测结果信息,进入工作模式二,光电转塔运动控制变量置为“2”;光电转塔运动控制变量为“2”时,取待确认目标检测结果信息中的方位角、俯仰角,与工作模式一类似的是:对当前的待确认目标首次规划光电转塔方位角、俯仰角;相机焦距调整;光电转塔防抖动处理;基于变焦高清摄像机目标检测概率的目标确认和目标处理结果输出;与工作模式一不同的是基于变焦高清摄像机目标检测概率的目标确认和目标处理结果输出之间增加激光测距,如果当前目标的检测概率超过了设定的激光测距阈值,则打开激光测距机对当前目标进行距离测量,将得到的激光测距结果信息添加到当前目标的检测结果中;(3)工作模式三:全景相机发生故障,无法正常运行,其他设备运转正常,或者天气能见度较差,需要使用光电转塔带动变焦高清摄像机或者变焦红外摄像机旋转一周代替全景相机工作,具体包括以下流程:3.1相机选择:如果全景相机发生故障,无法正常运行,其他设备运转正常,使用光电转塔带动变焦高清摄像机或者变焦红外摄像机旋转一周代替全景相机工作;如果当前天气能见度较低,光学相机成像效果不如红外相机好,直接使用光电转塔带动变焦红外摄像机旋转一周代替全景相机工作,执行步骤3.3;如果当前天气能见度较好,光学相机成像效果较好,则使用光电转塔带动变焦高清摄像机旋转一周代替全景相机工作,执行步骤3.3:3.2使用变焦高清摄像机代替全景相机:变焦高清摄像机始终处在目标检测的工作状态,根据变焦高清摄像机方位向上最大...

【技术特征摘要】
1.一种目标检测中小型光电转台的智能控制方法,主要涉及小型光电转台的智能控制,小型光电转台上配备有一台全景相机和一台集成了变焦高清摄像机、变焦红外摄像机和激光测距机的光电转塔,变焦高清摄像机、变焦红外摄像机和激光测距机三者的中心与光电转塔的指向一致,通过界面对小型光电转台进行运动控制,其特征在于,将融合了目标检测结果的智能控制方法集成于小型光电转台上,进行数据采集和小型光电转台控制的实时处理,包括有如下步骤:根据小型光电转台设备运行情况以及应用场景的不同,分为以下三种工作模式:(1)工作模式一:小型光电转台设备全部运转正常,天气能见度高,用全景相机得到多个疑似目标,需要变焦高清摄像机对多个疑似目标进行依次确认,具体包括以下流程:1.1目标信息融合:小型光电转台中的全景相机始终处在目标检测的工作状态,通过全景相机输出的视频进行目标检测后,如果目标检测结果为多个疑似目标且疑似目标中存在一个置信度极高的目标,转入工作模式二;如果目标检测结果仅为多个疑似目标,进入工作模式一,光电转塔运动控制变量置为“1”;光电转塔运动控制变量为“1”时,开始从目标检测结果中连续读取N_p帧全景视频目标检测结果,对N_p帧中的相似目标信息进行融合,得到当前疑似目标总个数N_s以及各疑似目标的信息,N_p为读取的全景视频总帧数;1.2以置信度为基准进行排序:以疑似目标信息中的置信度作为基准,由大到小的对N_s个疑似目标排序;1.3针对当前的待确认目标首次规划光电转塔方位角、俯仰角:根据疑似目标排序结果,从大到小依次进行疑似目标确认;以疑似目标排序结果中的第N个目标为例,读取排在第N位的疑似目标信息中的方位角、俯仰角,以读取到的值作为光电转塔的首次规划结果并生成光电转塔运动指令,光电转塔接收到运动指令后按照首次规划的方位角、俯仰角进行转动;1.4相机焦距调整:变焦高清摄像机始终处在目标检测的工作状态,光电转塔转动到首次规划的方位角、俯仰角后,读取N_v帧变焦高清摄像机目标检测结果,取目标检测结果中置信度最大的目标的宽、高信息,结合当前变焦高清摄像机的焦距及视场角,计算出变焦高清摄像机需要调整的焦距进行焦距调整,N_v为读取的变焦高清摄像机视频总帧数;1.5光电转塔防抖动处理:以首次规划的方位角、俯仰角为中心,在该中心上下左右各偏移一个角度M°后产生四个偏移位置,作为光电转塔再次规划的结果,并生成光电转塔运动指令,光电转塔接收到运动指令后按照再次规划的方位角、俯仰角进行转动,完成光电转塔防抖动处理;1.6基于变焦高清摄像机目标检测概率的目标确认:光电转塔每次转动到偏移位置后,读取N_v帧变焦高清摄像机目标检测结果,将中心位置以及以该中心为基准的所有偏移位置的目标检测结果中目标置信度最大的概率值作为当前目标的检测概率,并记录对应的方位角、俯仰角等目标信息;1.7对剩余N_s-1个目标重复上述步骤1.3-步骤1.6;1.8目标处理结果输出:输出疑似目标个数、每个疑似目标的检测结果信息以及该目标在全景视频中目标检测的置信度以备后续处理过程中其他设备或者用户使用;(2)工作模式二:小型光电转台设备全部运转正常,天气能见度高,用全景相机得到多个疑似目标且疑似目标中存在一个置信度极高的目标,即为待确认目标,需要变焦高清摄像机对该待确认目标进行确认,记录待确认目标的检测结果信息,进入工作模式二,光电转塔运动控制变量置为“2”;光电转塔运动控制变量为“2”时,取待确认目标检测结果信息中的方位角、俯仰角,与工作模式一类似的是:对当前的待确认目标首次规划光电转塔方位角、俯仰角;相机焦距调整;光电转塔防抖动处理;基于变焦高清摄像机目标检测概率的目标确认和目标处理结果输出;与工作模式一不同的是基于变焦高清摄像机目标检测概率的目标确认和目标处理结果输出之间增加激光测距,如果当前目标的检测概率超过了设定的激光测距阈值,则打开激光测距机对当前目标进行距离测量,将得到的激光测距结果信息添加到当前目标的检测结果中;(3)工作模式三:全景相机发生故障,无法正常运行,其他设备运转正常,或者天气能见度较差,需要使用光电转塔带动变焦高清摄像机或者变焦红外摄像机旋转一周代替全景相机工作,具体包括以下流程:3.1相机选择:如果全景相机发生故障,无法正常运行,其他设备运转正常,使用光电转塔带动变焦高清摄像机或者变焦红外摄像机旋转一周代替全景相机工作;如果当前天气能见度较低,光学相机成像效果不如红外相机好,直接使用光电转塔带动变焦红外摄像机旋转一周代替全景相机工作,执行步骤3.3;如果当前天气能见度较好,光学相机成像效果较好,则使用光电转塔带动变焦高清摄像机旋转一周代替全景相机工作,执行步骤3.3:3.2使用变焦高清摄像机代替全景相机:变焦高清摄像机始终处在目标检测的工作状态,根据变焦高清摄像机方位向上最大视场角计算得到光电转塔扫描一周需要转动R_v次,将R_v次目标检测的结果中相似目标信息进行融合,记录并输出融合后的目标信息以备后续处理过程中其他设备或者用户使用;3.3使用变焦红外摄像机代替全景相机:变焦红外摄像机始终处在目标检测的工作状态,根据变焦红外摄像机方位向上最大视场角计算得到光电转塔扫描一周需要转动R_f次,将R_f次目标检测的结果中相似目标信息进行融合,记录并输出融合后的目标信息以备后续处理过程中其他设备或者用户使用。2.根据权利要求1所述的一种目标检测中小型光电转台的智能控制方法,其特征在于,工作模式二,具体包括以下流程:2.1首次规划光电转塔方位角、俯仰角:全景相机始终处在目标检测的工作状态,通过全景相机输出的视频进行目标检测后,对目标检测结果中相似目标信息进行融合,得到多个疑似目标且存在一个置信度极高的目标,该目标即为待确认目标,记录待确认目标的检测结果信息,进入工作模式二,光电转塔运动控制变量置为“2”;光电转塔运动控制变量为“2”时,读取待确认目标检测结果信息中的方位角...

【专利技术属性】
技术研发人员:张静桑柳胡锐魏磊杰周秦李云松
申请(专利权)人:西安电子科技大学
类型:发明
国别省市:陕西,61

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1