一种应用于AR场景下的武器瞄准系统的图层融合方法技术方案

本发明专利技术涉及一种应用于AR场景下的武器瞄准系统的图层融合方法，包括以下步骤：步骤S1：提供一武器瞄准系统，该系统包括一眼镜和一瞄准器；所述眼镜与瞄准器通过有线或无线的方式进行通讯连接，相互传输数据；步骤S2：将该武器瞄准系统中瞄准器采集到的图像进行处理，并传输至眼镜上进行显示；步骤S3：该武器瞄准系统中将眼镜与瞄准器的图层融合，使用者通过眼镜实景部分与虚景部分，看到的实景部分是人眼实际看到的景象，虚景部分是图像处理模块生成的叠加图层。本发明专利技术能够在现实场景下生成虚拟3D目标，能够使眼镜使用者在游戏互动的应用领域完成模拟训练，或在军事实战的应用领域实现人枪分离的实时瞄准以及具有机器视觉辅助的射击能力。

A layer fusion method for weapon aiming system used in AR scenario

The present invention relates to a method used in AR scenarios of the weapon aiming system of the integration layer, which comprises the following steps: step S1: provide a weapon aiming system, the system includes a lens and a sight; communicate and connect the sight glasses through wired or wireless mode to transmit data to each other; step S2: the weapon aiming system sight image collected, and transmitted to the glasses on the show; step S3: the fusion weapon aiming system, sight glasses and glasses through the user layer, part of the real part and the real part of virtual scene, see the human eye to see the scene, virtual part is superimposed the layer image processing module generation. The present invention can generate virtual 3D in the real scene, the user can make glasses simulation training applications in the field of interactive games, or in military combat applications to achieve real-time target separation and gun shooting ability with machine vision aided.

【技术实现步骤摘要】
一种应用于AR场景下的武器瞄准系统的图层融合方法
本专利技术涉及AR领域，特别是涉及一种应用于AR场景下的武器瞄准系统的图层融合方法。
技术介绍
随着AR技术的发展，市场上已有许多用于游戏互动和模拟训练的系统，但是此类系统中的武器瞄准系统在使用眼镜与瞄准器相结合时，现有技术中的图层融合方法存在许多缺陷，使得体验达不到令人满意的效果；此外，在军事应用领域中，传统的武器瞄准系统缺少先进的机器视觉辅助，无法做到每时每刻地进行实时瞄准，而通过AR辅助瞄准，可以解决这一问题，使得武器与人结合得更加紧密，达到快速响应，由此能更好地发挥出武器的作用。
技术实现思路
有鉴于此，本专利技术的目的是提供一种应用于AR场景下的武器瞄准系统的图层融合方法，在现实场景下生成虚拟3D目标，能够使眼镜使用者在游戏互动的应用领域完成模拟训练，在军事实战的应用领域实现人枪分离的实时瞄准以及具有机器视觉辅助的射击能力。本专利技术采用以下方案实现：一种应用于AR场景下的武器瞄准系统的图层融合方法，包括以下步骤：步骤S1：提供一武器瞄准系统，该系统包括一眼镜和一瞄准器；所述眼镜与瞄准器通过有线或无线的方式进行通讯连接，相互传输数据；步骤S2：将该武器瞄准系统中瞄准器采集到的图像进行处理，并传输至眼镜上进行显示；步骤S3：该武器瞄准系统中将眼镜与瞄准器的图层融合，使用者通过眼镜实景部分与虚景部分，看到的实景部分是人眼实际看到的景象，虚景部分是图像处理模块生成的叠加图层。进一步地，该武器瞄准系统中将眼镜与瞄准器的图层融合分别两种方式：方式一为直接将瞄准器中的瞄准镜的图像混合到眼镜的图像上，方式二为通过一综合传感器信息判断出当前瞄准器视角是否与眼镜视角相交，如果相交，则启动图层融合；如果不相交，则不启动图层融合。进一步地，所述瞄准器中的瞄准镜的放大系数大于等于1。进一步地，当采用方式二进行图层融合时，当瞄准器视角与眼镜视角相交时，启动图像识别，匹配瞄准器图像中的物体与眼镜图像中的物体的位置关系，分为以下两种情况：当瞄准镜放大系数大于1时，需要先对图像进行缩放处理，由于图像放大后，瞄准镜中只剩下物体的局部信息，通过此信息直接与眼镜图像进行匹配相对困难，与瞄准镜上光学摄像头拍摄的图像先进行匹配，然后再将结果送到眼镜侧进行图像比较；当瞄准镜放大系数为1时，由于视角透视的差异，瞄准镜的成像与眼镜的成像存在一定差异，则采用图像模糊匹配算法，视觉识别技术以及SLAM技术进行辅助匹配；当匹配结束后，只将瞄准器上的瞄准点信息绘制到眼镜图层上。进一步地，采用所述SLAM技术进行辅助匹配时，在匹配结束后，使用者在所述眼镜图层上看到一条三维的虚化的瞄准镜的中轴线。特别地，通过SLAM技术，可实时进行3D（三维）空间的地图重建和目标跟踪，因此可做到精确的视角匹配，同时还能对瞄准镜的定位（位置和姿态）进行实时的校准补偿。对于通过SLAM技术实现匹配的，匹配结束后，会在眼镜图层上看到一条三维的虚化的瞄准镜的中轴线。相较于现有技术，本专利技术具有以下有益效果：本专利技术中提供的系统与方法主要应用于军事实战，模拟训练，游戏娱乐等用途。对于军事实战，该方法能够应用于目视相对安全的环境，此时瞄准器上的传输来的信息对眼镜是一种补充，主要是辅助眼镜使用者实时了解当前瞄准器的工作状态（如瞄准的位置，目标距离等），对于眼镜使用者的好处是：1.不必端起枪就能完成瞄准，在战斗过程中有利于节省体力，且保持视野开阔；2.由于免除了端枪和瞄准这两个“多余”动作，缩短了射击判断决策的时间，在战斗中能提高射击速度，比敌方能更快地发起攻击，有利于提高作战能力以及战场生存能力；3.能够保持对目标的实时瞄准和提供机器视觉辅助，有利于保持较高的射击精度，以及对战场信息的快速把握。对于模拟训练，游戏娱乐，该方法能在现实场景下生成虚拟3D目标，与眼镜使用者完成游戏互动或模拟训练，在这种场景下，眼镜使用者会有较好的沉浸感。附图说明图1是本专利技术实施例中采用方式一进行图层融合时的示意图。图2是本专利技术实施例中采用方式二进行图层融合时的示意图。具体实施方式下面结合附图及实施例对本专利技术做进一步说明。本实施例提供一种应用于AR场景下的武器瞄准系统的图层融合方法，包括以下步骤：步骤S1：提供一武器瞄准系统，该系统包括一眼镜和一瞄准器；所述眼镜与瞄准器通过有线或无线的方式进行通讯连接，相互传输数据；步骤S2：将该武器瞄准系统中瞄准器采集到的图像进行处理，并传输至眼镜上进行显示；步骤S3：该武器瞄准系统中将眼镜与瞄准器的图层融合，使用者通过眼镜实景部分与虚景部分，看到的实景部分是人眼实际看到的景象，虚景部分是图像处理模块生成的叠加图层。在本实施例中，该武器瞄准系统中将眼镜与瞄准器的图层融合分别两种方式：方式一为直接将瞄准器中的瞄准镜的图像混合到眼镜的图像上，如图1所示，方式二为通过一综合传感器信息判断出当前瞄准器视角是否与眼镜视角相交，如果相交，则启动图层融合；如果不相交（例如枪口朝向其它方位），则不启动图层融合，以降低计算功耗，如图2所示。在本实施例中，采用方式一的优点为：直接融合，无需校准，图像时延低；缺点为：两个图层显示，不够直观；采用方式二的优点为：眼镜上的图像比较清爽，当移动枪口时，只有红色的瞄准点在跟随移动，缺点为需要校准，计算量可能较大，可能会引入一定时延。在本实施例中，所述瞄准器中的瞄准镜的放大系数大于等于1。在本实施例中，当采用方式二进行图层融合时，当瞄准器视角与眼镜视角相交时，启动图像识别，匹配瞄准器图像中的物体与眼镜图像中的物体的位置关系，分为以下两种情况：当瞄准镜放大系数大于1时，需要先对图像进行缩放处理，由于图像放大后，瞄准镜中只剩下物体的局部信息，通过此信息直接与眼镜图像进行匹配相对困难，与瞄准镜上光学摄像头拍摄的图像先进行匹配，然后再将结果送到眼镜侧进行图像比较；当瞄准镜放大系数为1时，由于视角透视的差异，瞄准镜的成像与眼镜的成像存在一定差异，则采用图像模糊匹配算法，视觉识别技术以及SLAM技术进行辅助匹配；当匹配结束后，只将瞄准器上的瞄准点信息绘制到眼镜图层上。在本实施例中，采用所述SLAM技术进行辅助匹配时，在匹配结束后，使用者在所述眼镜图层上看到一条三维的虚化的瞄准镜的中轴线。在本实施例中，采用图像模糊匹配算法，这种方法计算量小，以损失一定精度为代价；通过视觉识别技术，能够识别出目标是同一物体，然后进行相关合并。在本实施例中，通过SLAM技术，可实时进行3D空间的地图重建和目标跟踪，因此可做到精确的视角匹配，同时还能对瞄准镜的定位（位置和姿态）进行实时的校准补偿；更进一步，如果此项技术做得好，甚至不需要进行图像匹配，而是通过解算瞄准镜的定位信息，就能够得到瞄准器在眼镜视角图像上的投影。对于通过SLAM技术实现匹配的，匹配结束后，会在眼镜图层上看到一条三维的虚化的瞄准镜的中轴线。以上所述仅为本专利技术的较佳实施例，凡依本专利技术申请专利范围所做的均等变化与修饰，皆应属本专利技术的涵盖范围。本文档来自技高网...

【技术保护点】
一种应用于AR场景下的武器瞄准系统的图层融合方法，其特征在于：包括以下步骤：步骤S1：提供一武器瞄准系统，该系统包括一眼镜和一瞄准器；所述眼镜与瞄准器通过有线或无线的方式进行通讯连接，相互传输数据；步骤S2：将该武器瞄准系统中瞄准器采集到的图像进行处理，并传输至眼镜上进行显示；步骤S3：该武器瞄准系统中将眼镜与瞄准器的图层融合，使用者通过眼镜实景部分与虚景部分，看到的实景部分是人眼实际看到的景象，虚景部分是图像处理模块生成的叠加图层。

【技术特征摘要】
1.一种应用于AR场景下的武器瞄准系统的图层融合方法，其特征在于：包括以下步骤：步骤S1：提供一武器瞄准系统，该系统包括一眼镜和一瞄准器；所述眼镜与瞄准器通过有线或无线的方式进行通讯连接，相互传输数据；步骤S2：将该武器瞄准系统中瞄准器采集到的图像进行处理，并传输至眼镜上进行显示；步骤S3：该武器瞄准系统中将眼镜与瞄准器的图层融合，使用者通过眼镜实景部分与虚景部分，看到的实景部分是人眼实际看到的景象，虚景部分是图像处理模块生成的叠加图层。2.根据权利要求1所述的一种应用于AR场景下的武器瞄准系统的图层融合方法，其特征在于：该武器瞄准系统中将眼镜与瞄准器的图层融合分别两种方式：方式一为直接将瞄准器中的瞄准镜的图像混合到眼镜的图像上，方式二为通过一综合传感器信息判断出当前瞄准器视角是否与眼镜视角相交，如果相交，则启动图层融合；如果不相交，则不启动图层融合。3.根据权利要求1所述的一种应用于AR场景下的武器瞄准系统的图层融合方法，其特征在于：所述瞄准器中的瞄准...

【专利技术属性】
技术研发人员：林星森，林敏，
申请(专利权)人：林星森，林敏，
类型：发明
国别省市：福建,35