显示器的图像融合处理系统及方法技术方案

本发明专利技术涉及显示器的图像融合处理系统及方法，将多目长焦摄像机设置为相同的焦距，对目标区域进行重复拍摄，通过第一信道发送，然后对多幅画面进行融合，得到高画质的全景图像，降低了设备占用，提高了反应速率，利用红外景深测定仪对目标区域进行多点测距，可以将拍摄区域划分为不同的景深，相比于传统的一个摄像头必须兼容所有景深，长焦摄像机具有多目，在多目协同的情况下，可以实现大范围的快速变焦和定焦，通过多信道发送图像，动态图像占用一个独立信道，背景图像占用两个信道，可以保证全景图像的低占比和放大图像（分区图像）的高质量，即保证了画面质量，又降低了容量占比，提高了处理速率。提高了处理速率。提高了处理速率。

【技术实现步骤摘要】
显示器的图像融合处理系统及方法


[0001]本专利技术涉及图像处理
，具体涉及显示器的图像融合处理系统及方法。

技术介绍

[0002]图像融合（Image Fusion）是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像，以提高图像信息的利用率、改善计算机解译精度和可靠性、提升原始图像的空间分辨率和光谱分辨率，利于监测。
[0003]图像融合由低到高分为三个层次：数据级融合、特征级融合、决策级融合。数据级融合是指直接对传感器采集来得数据进行处理而获得融合图像的过程；特征级融合是对图像进行特征抽取，将边缘、形状、轮廓、局部特征等信息进行综合处理的过程；决策级融合是在每种传感器独立完成决策或分类的基础上，将多个传感器的识别结果进行融合做出全局的最优决策。
[0004]现有技术中，存在针对“图像融合”的技术方案：（1）CN105025236A公开了一种内置于显示器的图像融合处理系统，具体公开了视频输入模块包括n个视频输入单元，每个视频输入单元有多路视频输入信号，每个图像窗口可以显示相同的图像信号，也可以显示不同的图像信号。每个图像窗口可平铺，可叠加，并且整个显示屏可以显示一个背景底图，并不占用显示通道。
[0005]（2）CN112866573A公开了一种显示器、融合显示系统及图像处理方法，具体公开了利用叠加器将第一图像和第二图像进行叠加以获得处理后的第一图像的显示数据，再将处理后的第一图像的显示数据传输至有背光液晶屏进行显示，而第二图像的显示数据则直接传输至无背光液晶屏进行显示，使得传输的数据量减小，从而降低数据传输的带宽需求并缩短数据传输的时间，使得图像融合所需的时间也大幅减少，使融合后的图像能够进行快速显示，避免用户产生动晕症。
[0006]（3）CN109993718B公开了一种多通道投影图像融合方法及装置，具体公开了通过对多通道图像中相邻通道图像之间的图像重叠区域进行特征点匹配，得到相邻通道图像之间相匹配的特征点集，以及基于相匹配的特征点集对相邻通道图像配准至同一坐标系上，最后对配准后的相邻通道图像进行拼接融合，形成最终投影图像，从而有效地减少由于物理条件限制导致的安装调试困难问题，弥补理想状态下光路设计与实际施工现场的情况有区别而造成的施工误差，大大提高了整个投影系统的效率和稳定性。
[0007]上述技术方案提出了对显示器图像融合的改进，但是，现有技术在显示器图像融合领域，仍然存在以下问题：1、以现有技术（1）为例，其具有n个视频输入单元，每个视频输入单元有多路视频输入信号，这样的设置使信号输入繁杂，显示器处理器需要同时处理较多的信号通道，提高了硬件成本，降低了软件的即时反应速率。
[0008]2、以现有技术2为例，其将背景信息放置在一个信道内，前景信息放置在另一个通
道内，降低了通道的繁杂度，但是，背景信息的精度不足，特别是对于具有较大景深的运动场景，例如运动场图像，需要实时方法时，背景图像只能依靠对图像进行缩放的方式来调整，在放大的情况下，背景模糊程度较重，而无法通过摄像机变焦的方式来提高图像精度。
[0009]3、以现有技术3为例，其对目标图像进行了分区，采用重复区域进行定位，这样可以提高放大情况下的图像质量，但是，对于全景图像来说，额外增加的数据量，即全景图像并不需要放大的细节，这样会造成数据处理缓慢。
[0010]由此可见，现有技术中，仍然存在着无法即保证放大图像的精度，又避免全景图像囊括过度精细的放大图像而造成处理缓慢的技术问题。

技术实现思路

[0011]本专利技术为了解决上述问题，本专利技术提供了显示器的图像融合处理系统及方法，具体提供了如下技术方案：一种显示器的图像融合处理系统，包括显示器、阵列摄像组件、处理器组件和信道分发器；所述阵列摄像组件至少包括多目的长焦摄像机、一个红外景深测定仪、一个高速追踪摄像机；所述处理处理器组件至少包括显示器融合处理器、景深分区处理器、静态背景处理器、动态预测处理器、融合处理器；所述红外景深测定仪用于对目标图像区域生成等距线图；所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像；通过第一信道将图像发送至显示器融合处理器；在所述复眼模式下，各目的焦距相同；所述静态背景处理器基于所述多帧目标图像确定静态背景；所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄；所述景深分区处理器将所述等距线图覆盖至所述静态背景图像，对叠加图像进行聚类分区，相邻分区具有重复区域，确定各分区至阵列摄像组件的距离，所述长焦摄像机进入变焦模式，各目的焦距不同，基于各分区的距离确定景深和焦距，各目进行巡点拍摄，得到放大的分区图像，通过第二信道发送至所述显示器融合处理器；所述高速追踪摄像机对运动目标进行拍摄，并基于所述动态预测处理器所测算的运动目标的加速度向量，进行跟踪拍摄，将图像经第三信道发送至所述显示器融合处理器。
[0012]进一步的，所述红外景深测定仪用于对目标图像区域生成等距线图，具体为：所述红外景深测定仪对目标图像区域进行拍摄，并所有将目标点的距离信息标记在目标图像上，并发送至景深分区处理器，所述景深分区处理器对所述目标点的距离信息进行滤波，在目标图像区域内生成等距线图；所述滤波为小波滤波或卡尔曼滤波。
[0013]进一步的，所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像，具体为：景深分区处理器计算目标点与阵列摄像组件的距离平均值，并将所述距离平均值发送至长焦摄像机；所述长焦摄像机根据所述距离平均值确定焦距，对所述目标图像区域进行多帧拍摄。
[0014]进一步的，所述静态背景处理器基于所述多帧目标图像确定静态背景，具体为：将
多帧长焦图像发送至所述静态背景处理器，当像素点的RGB波动量在预定时间内小于预设的阈值时，则认为该像素点为静态像素点，基于由于静态像素点确定静态背景图像，发送至所述景深分区处理器；进一步的，所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄，具体为：所述景深分区处理器根据长焦摄像机的焦点数量，对目标图像进行分区，各分区内分别包含一个长焦摄像机的焦点；所述景深分区处理器计算各分区的最大距离、最小距离和平均距离，并对各分区的平均距离的聚类分析；所述景深分区处理器完成聚类分析后，对各分区赋予焦距标识符；对具有相同焦距标识符的分区，根据最大距离和最小距离确定景深，进行对此拍摄，式被摄的分区完全覆盖目标图像区域。
[0015]一种显示器的图像融合处理方法，所述处理方法基于所述的处理系统实施，其特征在于，包括以下步骤：步骤S1：使用红外景深测定仪对目标区域进行多点测距，将测得的距离标记于目标区域图像，并进行滤波，绘制等距线图；步骤S2：根据目标区域与阵列摄像组件的平均距离，确定长焦摄像机进入复验眼模式，对目标区域进行拍摄；所述复眼模式是指，所述长焦摄像的所有目设置位相同的焦距，对整个目标区域进行拍摄，并对所有目所拍摄的像素的R本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种显示器的图像融合处理系统，包括显示器、阵列摄像组件、处理器组件和信道分发器；所述阵列摄像组件至少包括一个多目的长焦摄像机、一个红外景深测定仪、一个高速追踪摄像机；所述处理处理器组件至少包括显示器融合处理器、景深分区处理器、静态背景处理器、动态预测处理器、融合处理器；其特征在于，所述红外景深测定仪用于对目标图像区域生成等距线图；所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像；通过第一信道将图像发送至显示器融合处理器进行融合；在所述复眼模式下，各目的焦距相同；所述静态背景处理器基于所述多帧目标图像确定静态背景；所述景深分区处理器根据距离对目标图像区域进行分区和聚类分析并使用长焦摄像机进行拍摄；相邻分区具有重复区域，确定各分区至阵列摄像组件的距离，所述长焦摄像机进入变焦模式，各目的焦距和焦点不同，基于各分区的距离确定景深和焦距，各目进行巡点拍摄，得到放大的分区图像，通过第二信道发送至所述显示器融合处理器；所述高速追踪摄像机对运动目标进行拍摄，并基于所述动态预测处理器所测算的运动目标的加速度向量，进行跟踪拍摄，将图像经第三信道发送至所述显示器融合处理器。2.根据权利要求1所述的一种显示器的图像融合处理系统，其特征在于，所述红外景深测定仪用于对目标图像区域生成等距线图，具体为：所述红外景深测定仪对目标图像区域进行拍摄，并所有将目标点的距离信息标记在目标图像上，并发送至景深分区处理器，所述景深分区处理器对所述目标点的距离信息进行滤波，在目标图像区域内生成等距线图；所述滤波为小波滤波或卡尔曼滤波。3.根据权利要求2所述的一种显示器的图像融合处理系统，其特征在于，所述长焦摄像机采用复眼模式对目标区域进行连续拍摄多帧图像，具体为：景深分区处理器计算目标点与阵列摄像组件的距离平均值，并将所述距离平均值发送至长焦摄像机；所述长焦摄像机根据所述距离平均值确定焦距，对所述目标图像区域进行多帧拍摄。4.根据权利要求2或3所述的一种显示器的图像融合处理系统，其特征在于，所述静态背景处理器基于所述多帧目标图像确定静态背景，具体为：将多帧长焦图像发送至所述静态背景处理器，当像素点的RGB波动量在预定时间内小于预设的阈值时，则认为该像素点为静态像素点，基于由于静态像素点确定静态背景图像，发送至所述景深分区处理器。5.根据权利要求4所述的一种显示器的图像融合处理系统，其特征在于，所述景深分区处理器根据距离对目标图像区域进行分区和聚...

【专利技术属性】
技术研发人员：余家敏，席松，王晶，康士志，
申请(专利权)人：江苏盛利智能科技有限公司，
类型：发明
国别省市：