一种多光谱图像融合双目光波导显示智能数字孪生眼镜制造技术

本发明专利技术实施例提供一种多光谱图像融合双目光波导显示智能数字孪生眼镜，通过目标轮廓融合可以在保留光波导眼镜的透视功能的同时，将场景以不同波段光谱相机的成像轮廓融合显示，利用颜色和亮度进行区分；并利用目标识别算法将特定类型目标以特定颜色等方式融合进入送显图像；具备视觉感知、深度感知和温度感知能力，具备接入多种图像视频采集终端的能力，可见光相机、红外相机等不同波段的光谱相机都可选择接入；具备接入外部信息的能力，如武器装备火控、GIS、地图、音频，以字符、图形方式驱动显示。式驱动显示。式驱动显示。

【技术实现步骤摘要】
一种多光谱图像融合双目光波导显示智能数字孪生眼镜


[0001]本专利技术实施例涉及智能眼镜成像
，尤其涉及一种多光谱图像融合双目光波导显示智能数字孪生眼镜。

技术介绍

[0002]随着紫外、可见光、微光、近红外、红外、太赫兹等光谱成像技术的发展，人类专利技术光电产品越来越丰富，例如公开号为CN307019834S的中国外观专利公开的夜视眼镜，可以实现红外热成像夜视功能，虽然不用双手，但是使用时已经丧失裸眼视觉能力，需要摘除眼镜才能恢复视觉感知能力。公开号为CN306111713S的中国外观专利公开的红外热像仪实现了四光融合多功能手持测距，需要占用双手才能正常使用；公开号为CN306979706S的中国外观专利公开的双目夜视仪，具备头戴模式，使用时需要眼镜对接目镜观察成像，也会丧失裸眼视觉能力对外部感知。
[0003]现有技术中，用户在使用望远镜时，需要首先将眼球靠近望远镜的目镜，然后移动望远镜，直至在望远镜的观测区域观察到目标物体，然后调整望远镜的焦距将该目标物体的成像放大至合理的大小，进而通过该望远镜观察该目标物体。无语音智能控制功能，无法解放双手，需要手动操作，使用时完全占用眼睛视觉功能；像素级融合，不具备深度感知能力；不具备人工智能自动检测、识别、跟踪目标的功能；无法接入外部信息，并分析显示；不具备多传感器、多信息装备的数字孪生模型构建能力。

技术实现思路

[0004]本专利技术实施例提供一种多光谱图像融合双目光波导显示智能数字孪生眼镜，目标轮廓融合可以在保留光波导眼镜的透视功能的同时，将场景以不同波段光谱相机的成像轮廓融合显示，利用颜色和亮度进行区分；并利用目标识别算法将特定类型目标以特定颜色等方式融合进入送显图像。
[0005]第一方面，本专利技术实施例提供一种多光谱图像融合双目光波导显示智能数字孪生眼镜，包括多光谱图像数据采集单元、光波导显示与语音传输单元和信息数据智能处理综合控制单元；
[0006]所述多光谱图像数据采集单元，用于采集多个波段的光谱图像，并传输至所述信息数据智能处理综合控制单元；
[0007]所述信息数据智能处理综合控制单元，用于分别对多个波段的光谱图像进行目标检测、轮廓提取，并对提取后的多个波段的光谱图像的图像轮廓进行多光谱融合；
[0008]所述光波导显示与语音传输单元，用于基于光波导显示技术显示多光谱融合后的轮廓信息、图像信息；并输出眼镜的语音提示信号。
[0009]作为优选的，还包括外部信息输入单元，所述外部信息输入单元用于连接外部非光谱成像类信息，以将外部非光谱成像类信息作为数字孪生的重要信息源，根据外部信息输入单元连接外部非光谱成像类信息的类型的不同，切换至预先匹配的数字孪生模型。
[0010]作为优选的，还包括语音输入单元，所述语音输入单元用于采集声音信号，并传输至所述信息数据智能处理综合控制单元；
[0011]所述信息数据智能处理综合控制单元包括语音识别模块，所述语音识别模块用于接收所述语音输入单元传输的声音信号，并进行声纹解密与识别解析，转换成为眼镜可执行的控制命令。
[0012]作为优选的，所述信息数据智能处理综合控制单元包括信息分析模块、图像接收模块和驱动显示模块；
[0013]所述信息分析模块连接所述外部信息输入单元，用于接收外部信息，所述外部信息包括火控信息、命令信息、GIS信息、地图信息；
[0014]所述图像接收模块连接所述多光谱图像数据采集单元，用于接收所述多光谱图像数据采集单元传输的多个波段的光谱图像，所述光谱图像包括红外光光谱图像和可见光光谱图像；
[0015]所述驱动显示模块连接所述光波导显示与语音传输单元，用于驱动所述光波导显示与语音传输单元显示多光谱融合后的轮廓信息、图像信息。
[0016]作为优选的，所述信息数据智能处理综合控制单元还包括图像融合模块和AI计算模块，所述图像融合模块和所述AI计算模块连接所述图像接收模块；
[0017]所述图像融合模块用于对接收到的多个波段的光谱图像进行融合处理；
[0018]所述AI计算模块用于进行视觉感知计算、深度感知计算、温度感知计算，确定视觉场景中的人、物，以及对应人、物的距离；并对多个波段的光谱图像和信息分析模块获得的外部非光谱成像类信息进行数字孪生重建，将多源信息综合处理，形成数字信息同步获取、同步更新。
[0019]作为优选的，所述图像融合模块具体用于利用加速稳健特征SURF特征点选择方法，确认配准坐标特征点；根据场景中信息特征对可见光图像与红外图像的特征点配对，形成坐标对；利用仿射变换计算获取可见光光谱图像与红外光光谱图像的配准参数；
[0020]基于梯度算子检测可见光光谱、红外光光谱的可见光图像轮廓和红外光图像轮廓，利用可见光光谱图像与红外光光谱图像的配准参数，对可见光图像轮廓与红外光图像轮廓进行配准；
[0021]基于非极大值抑制方法对可见光图像轮廓与红外光图像轮廓进行融合。
[0022]作为优选的，所述AI计算模块具体用于基于深度卷积神经网络算法对场景中的人、物进行检测分类、跟踪、识别、分析；基于双相机立体成像技术，计算场景中人、物的距离；基于红外热成像技术确定场景中的温度分布状态，确定场景中的最高温度目标和最低温度目标。
[0023]作为优选的，所述信息数据智能处理综合控制单元还包括菜单交互模块和渲染处理模块；
[0024]所述菜单交互模块用于实现对眼镜的控制，并形成菜单显示变化，反馈到眼睛，对语音控制结果进行确认；
[0025]所述渲染处理模块用于基于立体视觉技术进行深度计算，通过渲染处理模块实现三维显示效果。
[0026]本专利技术实施例提供的一种多光谱图像融合双目光波导显示智能数字孪生眼镜，通
过目标轮廓融合可以在保留光波导眼镜的透视功能的同时，将场景以不同波段光谱相机的成像轮廓融合显示，利用颜色和亮度进行区分；并利用目标识别算法将特定类型目标以特定颜色等方式融合进入送显图像；具备视觉感知、深度感知和温度感知能力，具备接入多种图像视频采集终端的能力，可见光相机、红外相机等不同波段的光谱相机都可选择接入；具备接入外部信息的能力，如武器装备火控、GIS、地图、音频，以字符、图形方式驱动显示。
附图说明
[0027]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0028]图1为根据本专利技术实施例的多光谱图像融合双目光波导显示智能数字孪生眼镜系统框图；
[0029]图2为根据本专利技术实施例的特定轮廓融合算法流程图。
具体实施方式
[0030]为使本专利技术实施例的目的、技术方案和优点更加清楚，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种多光谱图像融合双目光波导显示智能数字孪生眼镜，其特征在于，包括多光谱图像数据采集单元、光波导显示与语音传输单元和信息数据智能处理综合控制单元；所述多光谱图像数据采集单元，用于采集多个波段的光谱图像，并传输至所述信息数据智能处理综合控制单元；所述信息数据智能处理综合控制单元，用于分别对多个波段的光谱图像进行目标检测、轮廓提取，并对提取后的多个波段的光谱图像的图像轮廓进行多光谱融合；所述光波导显示与语音传输单元，用于基于光波导显示技术显示多光谱融合后的轮廓信息、图像信息；并输出眼镜的语音提示信号。2.根据权利要求1所述的多光谱图像融合双目光波导显示智能数字孪生眼镜，其特征在于，还包括外部信息输入单元，所述外部信息输入单元用于连接外部非光谱成像类信息，以将外部非光谱成像类信息作为数字孪生的重要信息源，根据外部信息输入单元连接外部非光谱成像类信息的类型的不同，切换至预先匹配的数字孪生模型。3.根据权利要求1所述的多光谱图像融合双目光波导显示智能数字孪生眼镜，其特征在于，还包括语音输入单元，所述语音输入单元用于采集声音信号，并传输至所述信息数据智能处理综合控制单元；所述信息数据智能处理综合控制单元包括语音识别模块，所述语音识别模块用于接收所述语音输入单元传输的声音信号，并进行声纹解密与识别解析，转换成为眼镜可执行的控制命令。4.根据权利要求2所述的多光谱图像融合双目光波导显示智能数字孪生眼镜，其特征在于，所述信息数据智能处理综合控制单元包括信息分析模块、图像接收模块和驱动显示模块；所述信息分析模块连接所述外部信息输入单元，用于接收外部信息，所述外部信息包括火控信息、命令信息、GIS信息、地图信息；所述图像接收模块连接所述多光谱图像数据采集单元，用于接收所述多光谱图像数据采集单元传输的多个波段的光谱图像，所述光谱图像包括红外光光谱图像和可见光光谱图像；所述驱动显示模块连接所述光波导显示与语音传输单元，用于驱动所述光波导显示与语音传输单元显示多光谱融合后的轮廓信息、图像信...

【专利技术属性】
技术研发人员：林道庆，孙国强，
申请(专利权)人：武汉智谱科技有限公司，
类型：发明
国别省市：