【技术实现步骤摘要】
本专利技术涉及嵌入式计算机视频处理，公开了多源异构图像信息、数据信息和地理信息实时融合方法。
技术介绍
1、随着传感器技术的飞速发展，所采集到的多模态图像、数据具有更丰富的细节信息，信息融合就成为嵌入式视频处理领域重要的研究内容之一。传感器种类繁多，如可见光图像传感器、红外热像仪、激光成像雷达，毫米波雷达、合成孔径雷达成像仪、多光谱/超光谱成像仪等，每种传感器都有自身的物理原理和成像特点，即使针对同一场景，不同传感器采集的信息内容也不尽相同。实际应用中需根据具体应用场景的特点和复杂程度，采用不同的传感器组合来提高获取信息的准确和全面性。
2、例如复杂战场环境下，对于伪装的敌方目标，可见光拍出来的图像无法实现有效侦测，而红外热像仪能清楚显示温度较高的人和物，这样就可以通过红外与可见光图像的融合，实现对伪装目标的有效识别。而随着gis技术的发展，多源异构图像信息、数据信息实时融合地理信息并实现可视化显示在辅助导航、进近引导、低空搜救等领域发挥着越来越大的作用。
3、信息融合是按照流程通过算法将同一目标场景的多源异构图像信息、数据信息和地理信息合成一幅包含丰富信息内容的图像，融合后的图像包含了原始图像的所有重要信息。随着传感器种类的增多，所获得的信息也变得多样，并且信息的内容也更加复杂。信息融合技术可将这些复杂的信息整合在一起，极大提升了信息内容，使用户更容易发现，识别和确定目标并增加用户对信息内容的情景感知。
4、目前关于多源信息融合的技术已有许多研究结果，但大多数融合方法都是提前采集多传感器信息
技术实现思路
1、本专利技术的目的在于提供多源异构图像信息、数据信息和地理信息实时融合方法，能够弥补纯图像融合误差大、遮挡物后的关注目标无法侦测、容易造成误判、算法处理延迟时间长、可靠性低的不足，提高融合精度和准确度；从而确保系统有较高的可靠性和鲁棒性，增强数据的可信度、准确度，扩展系统的时间、空间覆盖率，增加系统的实时性和可视化效果。
2、为了实现上述技术效果，本专利技术采用的技术方案是：
3、多源异构图像信息、数据信息和地理信息实时融合方法，包括：
4、建立传感器信息分类数据库，根据传感器信息分类数据库对多源异构传感器信息进行侦测与分类，区分出图像信息和数据信息；
5、对图像信息和数据信息分别进行预处理，得到预处理图像信息和预处理数据信息；
6、对预处理数据信息和地理信息进行时间对准后，再对预处理数据信息和地理信息进行空间对准，将统一时间、统一空间的预处理数据信息和地理信息进行数据融合，将融合后的预处理数据信息和地理信息绘制成第一图像信息；
7、将预处理图像信息和第一图像信息进行统一色彩空间处理，然后进行时间对准后，再对预处理图像信息和第一图像信息进行空间对准；
8、对统一时间、统一空间的预处理图像信息和第一图像信息进行目标检测，获得统一时间、统一空间的预处理图像信息和第一图像信息之间的共同特征；
9、根据获得的共同特征，将统一时间、统一空间的预处理图像信息和第一图像信息进行配准，再将统一时间、统一空间且配准后的预处理图像信息和第一图像信息进行图像融合和图像增强，并将融合增强的图像输出至显示设备进行显示。
10、进一步地，多源异构传感器信息中，所述图像信息包括但不限于cmos摄像头、红外热像仪、激光成像雷达采集的信息；所述数据信息包括但不限于合成孔径雷达、毫米波雷达采集的信息。
11、进一步地，对图像信息进行预处理的方法包括对图像信息进行滤波得到预处理图像信息；对数据信息进行预处理的方法包括对数据信息进行格式转换，得到包含采集目标经纬度、高度信息的预处理数据信息。
12、进一步地，所述时间对准的方法包括：对需要对准的信息进行时间参数统一，所述时间参数包括帧率。
13、进一步地，所述空间对准的方法包括：对需要对准的信息的空间参数对准，所述空间参数包括视角和分辨率。
14、进一步地，对统一时间、统一空间的预处理图像信息和第一图像信息进行目标检测，获得统一时间、统一空间的预处理图像信息和第一图像信息之间的共同特征的方法包括：
15、采用算法进行目标检测，检测出统一时间、统一空间的预处理图像信息和第一图像信息之间的共性特征，所述算法包括神经网络算法、yolo算法、ssd算法或retinanet算法。
16、进一步地，将统一时间、统一空间且配准后的预处理图像信息和第一图像信息进行图像融合和图像增强的方法包括：
17、采用图像融合算法对配准后的统一时间、统一空间且配准后的预处理图像信息和第一图像信息进行图像融合，采用非局部均值滤波、亮度调节或对比度调节中的一种或多种对融合后的图像信息进行增强处理。
18、与现有技术相比，本专利技术所具备的有益效果是：
19、1、本专利技术通过时间对准和空间对准，有效提高融合信息的精度和可靠性，规避各传感器安装的位置角度不一致、性能指标各异而导致得到的图像信息和数据信息的时间参数和空间参数也不同的问题；且通过对融合后的图像信息进行增强，提高显示画面亮度和对比度低，提升可视化效果。
20、2、本专利技术充分利用多源传感器的异构特征和地理信息系统的数据优势，为实时融合决策提供强有力的信息支撑，能够提高系统的可靠性和鲁棒性，增强数据的可信度、准确度，扩展系统的时间、空间覆盖率，增加系统的实时性和可视化效果。
21、3.本专利技术先将数据信息进行时间对准、空间对准后再进行数据融合，得到第一图像信息，再将第一图像信息与预处理后图像信息经色彩空间的统一后进行二次对准和融合，得到的最终融合的图像，第一图像信息同时包含了实时的数据信息和地理信息，通过数据融合结果能够弥补纯图像融合误差大、遮挡物后的关注目标无法侦测、容易造成误判的不足，提高融合精度和准确度。
本文档来自技高网...【技术保护点】
1.多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，
2.根据权利要求1所述的多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，多源异构传感器信息中，所述图像信息包括但不限于CMOS摄像头、红外热像仪、激光成像雷达采集的信息；所述数据信息包括但不限于合成孔径雷达、毫米波雷达采集的信息。
3.根据权利要求1所述的多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，对图像信息进行预处理的方法包括对图像信息进行滤波得到预处理图像信息；对数据信息进行预处理的方法包括对数据信息进行格式转换，得到包含采集目标经纬度、高度信息的预处理数据信息。
4.根据权利要求1所述的多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，所述时间对准的方法包括：对需要对准的信息进行时间参数统一，所述时间参数包括帧率。
5.根据权利要求4所述的多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，所述空间对准的方法包括：对需要对准的信息的空间参数对准，所述空间参数包括视角和分辨率。
6.根据权利要求1
7.根据权利要求1所述的多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，将统一时间、统一空间且配准后的预处理图像信息和第一图像信息进行图像融合和图像增强的方法包括：
...【技术特征摘要】
1.多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，
2.根据权利要求1所述的多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，多源异构传感器信息中，所述图像信息包括但不限于cmos摄像头、红外热像仪、激光成像雷达采集的信息；所述数据信息包括但不限于合成孔径雷达、毫米波雷达采集的信息。
3.根据权利要求1所述的多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，对图像信息进行预处理的方法包括对图像信息进行滤波得到预处理图像信息；对数据信息进行预处理的方法包括对数据信息进行格式转换，得到包含采集目标经纬度、高度信息的预处理数据信息。
4.根据权利要求1所述的多源异构图像信息、数据信息和地理信息实时融合方法，其特征在于，所...
【专利技术属性】
技术研发人员：詹思维，邓豹，王生霄，樊超，强凯，秦琪，
申请(专利权)人：中国航空工业集团公司西安航空计算技术研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。