一种基于Hololens2的增强现实识别框渲染方法技术

本发明专利技术公开了一种基于Hololens 2的增强现实识别框渲染方法，该方法包括一种将深度学习图像识别框，以及将该图像识别框在增强现实头戴式设备的可透光镜片上显示，并准在框中确识别目标物体的方法，该方法可以应用在基于增强现实与图像识别结合领域的开发过程中，在Hololens 2上调用摄像机获取实时视频流，通过网络将视频流逐帧传输到服务器，部署在服务器上的深度学习图像识别模型识别图片帧中的目标，将服务器返回的结果在头戴式增强现实设备Hololens 2上准确地呈现给用户。2上准确地呈现给用户。2上准确地呈现给用户。

【技术实现步骤摘要】
一种基于Hololens 2的增强现实识别框渲染方法


[0001]本专利技术涉及增强现实与深度学习图像识别结合
，更具体地说，本专利技术涉及一种基于Hololens 2的增强现实识别框渲染方法。

技术介绍

[0002]Hololens2是一款增强现实(Augmented Reality，AR)头戴设备，其识别框识别系统是基于深度传感器和计算机视觉技术的，本系统能够在现实场景中动态生成识别框，并通过Hololens2的全息显示功能将识别结果直接投影到用户的视野中，从而提供一个交互性强、用户体验友好的识别框解决方案。
[0003]Hololens2通过内置的深度传感器和摄像头对周围环境进行感知，从摄像头捕捉到的视觉图像中，并从捕捉到的视觉图像中来提取图像中的特征信息，通过机器学习和计算机视觉算法，对提取到的特征进行目标检测和识别，当目标被识别出来时，识别系统会进行姿态估计和跟踪，最后，识别系统将根据目标的姿态和跟踪结果，在Hololens2的显示器上生成增强现实场景，识别框会被准确放置在目标物体周围，使用户能够在现实环境中直观地看到并与识别框进行交互。
[0004]一般深度学习图像识别最直观的结果是显示识别框，而且由于前端设备为增强现实头戴式设备，所以接收识别结果的显示端并非固定机位，再加之服务器对于视频流帧中目标的识别、所返回给显示端的结果是实时的，因而要求一种可靠的技术来将服务器实时返回的识别结果准确地呈现给前端用户，让用户可以稳定、准确地辨认到识别目标。因此本专利要解决的问题是如何将服务器返回的结果在头戴式增强现实设备Hololens 2上准确地呈现给用户。

技术实现思路

[0005]为了克服现有技术的上述缺陷，本专利技术的实施例提供一种基于Hololens 2的增强现实识别框渲染方法，包含一种将深度学习图像识别框，以及将该图像识别框在增强现实头戴式设备的可透光镜片上显示，并准在框中确识别目标物体的方法，该方法可以应用在基于增强现实与图像识别结合领域的开发过程中，在Hololens 2上调用摄像机获取实时视频流，通过网络将视频流逐帧传输到服务器，部署在服务器上的深度学习图像识别模型识别图片帧中的目标，将服务器返回的结果在头戴式增强现实设备Hololens 2上准确地呈现给用户。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]本专利技术提供一种基于Hololens 2的增强现实识别框渲染方法，包括：图像识别模块，所述的图像识别模块包含可以在眼镜上创建一个供渲染的透明画布，将服务器回传坐标换算成透明画布坐标，在透明画布上定位渲染图像识别框，并在Unity3D中调整其大小属性以与真实视图相匹配；
[0008]所述的透明画布创建包含以下步骤：
[0009](1)确定画布的适当大小属性，首先将Hololens 2相机拍摄的一张照片渲染到画布组件上；
[0010](2)在Unity中调整画布的Texture Size属性，直到站在相同位置上看到画布上渲染的照片与在真实视图中看到的重叠；
[0011](3)在确定画布的Transform属性后，再将用于调试的图片删除，将画布属性改为完全透明，最终在HoloLens上呈现的画布是透明的。
[0012]所述的服务器回传坐标换算成透明画布坐标方法包含以下步骤：
[0013](1)接收到服务器识别框的左上角坐标(x1,y1)、右下角坐标(x2,y2)；
[0014](2)判断x2与x1、y2与y1之间的距离是否大于阈值，若这两个距离其中一个小于阈值，证明识别框边框两条边几乎贴在一起，抛弃此次结果；
[0015](3)再判断x2与x1、y2与y1之间的距离是否大于调整后的透明画布大小，若这两个距离大于画布大小，则识别框大小即为透明画布大小。否则识别框距离暂定为X＝x2
‑
x1,Y＝y2
‑
y1；
[0016](4)假设透明画布上识别框左上角坐标为(X1,Y1)，右下角坐标为(X2,Y2)，服务器回传坐标换算成透明画布坐标换算关系为：
[0017]X1＝画布宽textureSize.x*x1/2272；
[0018]Y1＝画布高textureSize.y
‑
画布高textureSize.y*y1/1278；
[0019]X2＝画布宽textureSize.x*X/2272；
[0020]Y2＝画布高textureSize.y
‑
画布高textureSize.y*Y/1278；
[0021](5)最后判断Y2是否大于Y1，若Y2大于Y1，则Y2更新为Y2＝2*Y1
‑
Y2。
[0022]所述的图像识别模块还包含以下：
[0023]感知模块：通过Hololens2的摄像头，实时捕捉并解析现实场景的图像或视频流；
[0024]特征提取模块：从感知模块捕捉到的现实场景的图像或视频中提取目标物体的特征；
[0025]目标检测模块：根据提取的特征判断图像中是否存在目标物体，并确定其位置和大小。
[0026]作为本专利技术的进一步改进，所述对目标现场的图像视频进行分块和去噪处理，具体包括：
[0027]通过Hololens2的摄像头实时捕捉现实场景的图像视频，将目标现场的图像按帧数分为若干个子图像视频，并对每个子图像视频进行分析编号，分别记为a1，a2，
……
，a
n
，通过图像处理库来实现对目标现场的子图像视频进行像素值的提取，获得目标现场子图像的像素值，并记为a(i，j)和b(i，j)，分别将a(i，j)和b(i，j)代入公式其中n表示为图像视频块的大小，i和j分别表示为块内像素位置的索引，值接近于0，表示图像视频块的相似度越高；
[0028]分别比较每两个相邻的子图像视频块，得到每两个相邻的子图像视频块的相似度比值，将每两个相邻的子图像视频块的相似度比值与预设的每两个相邻的子图像视频块的相似度阈值进行对比，如果相差在一定范围内，则表示为相邻的子图像视频块中不含有噪声，或者可以忽略不计，反之，则表示可能含有噪声，根据差异较大的子图像视频块估计噪
声模型，并通过噪声模型对差异较大的子图像视频块进行噪声平滑处理，将经过处理后的子图像视频快进行重新整理，得到新的子图像视频。
[0029]作为本专利技术的进一步改进，所述通过角点检测对目标现场的视频图像进行特征提取，具体包括：
[0030]将得到的新子图像视频通过公式y＝eR+qG+wB转换为灰度图像，其中，e，q，w分别表示为自然常数，通过数学公式对灰度图像进行梯度计算，即：
[0031][0032]其中G
x
和G
y
分别表示为图像在水平和垂直方向上的梯度，将G
x
和G
y
分别代入公式M＝[(l
xx
，l
xy
)，(本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Hololens 2的增强现实识别框渲染方法，其特征在于，包括：图像识别模块，所述的图像识别模块包含可以在眼镜上创建一个供渲染的透明画布，将服务器回传坐标换算成透明画布坐标，在透明画布上定位渲染图像识别框，并在Unity3D中调整其大小属性以与真实视图相匹配；所述的透明画布创建包含以下步骤：步骤1)：确定画布的适当大小属性，首先将Hololens 2相机拍摄的一张照片渲染到画布组件上；步骤2)：在Unity中调整画布的Texture Size属性，直到站在相同位置上看到画布上渲染的照片与在真实视图中看到的重叠；步骤3)：在确定画布的Transform属性后，再将用于调试的图片删除，将画布属性改为完全透明，最终在HoloLens上呈现的画布是透明的。2.根据权利要求1所述的一种基于Hololens 2的增强现实识别框渲染方法，其特征在于，所述的服务器回传坐标换算成透明画布坐标方法包含以下步骤：(1)接收到服务器识别框的左上角坐标(x1,y1)、右下角坐标(x2,y2)；(2)判断x2与x1、y2与y1之间的距离是否大于阈值，若这两个距离其中一个小于阈值，证明识别框边框两条边几乎贴在一起，抛弃此次结果；(3)再判断x2与x1、y2与y1之间的距离是否大于调整后的透明画布大小，若这两个距离大于画布大小，则识别框大小即为透明画布大小。否则识别框距离暂定为X＝x2
‑
x1,Y＝y2
‑
y1；(4)假设透明画布上识别框左上角坐标为(X1,Y1)，右下角坐标为(X2,Y2)，服务器回传坐标换算成透明画布坐标换算关系为：X1＝画布宽textureSize.x*x1/2272；Y1＝画布高textureSize.y
‑
画布高textureSize.y*y1/1278；X2＝画布宽textureSize.x*X/2272；Y2＝画布高textureSize.y
‑
画布高textureSize.y*Y/1278；(5)最后判断Y2是否大于Y1，若Y2大于Y1，则Y2更新为Y2＝2*Y1
‑
Y2。3.根据权利要求1所述的一种基于Hololens 2的增强现实识别框渲染方法，其特征在于，所述的图像识别模块还包含感知模块：通过Hololens2的摄像头，实时捕捉并解析现实场景的图像或视频流；其特征在于，对目标现场的图像视频进行分块和去噪处理，具体包括：通过Hololens2的摄像头实时捕捉现实场景的图像视频，将目标现场的图像按帧数分为若干个子图像视频，并对每个子图像视频进行分析编号，分别记为，通过图像处理库来实现对目标现场的子图像视频进行像素值的提取，获得目标现场子图像的像素值，并记为a(i，j)和b(i，j)，分别将a(i，j)和b(i，j)代入公式*；其中n表示为图像视频块的大小，i和j分别表示为块内像素位置的索引，值接近于0，表示图像视频块的相似度越高；分别比较每两个相邻的子图像视频块，得到每两个相邻的子图像视频块的相似度比值，将每两个相邻的子图像视频块的相似度比值与预设的每两个相邻的子图像视频块的相似度阈值进行对比，如果相差在一定范围内，则表示为相邻的子图像视频块中不含有噪声，或者可以忽略不计，反之，则表示可能含有噪声，根据差异较大的子图像视频块估计噪声模
型，并通过噪声模型对差异较大的子图像视频块进行噪声平滑处理，将经过处理后的子图像视频快进行重新整理，得到新的子图像视频。4.根据权利要求1所述的一种基于Hololens 2的增强现实识别框渲染方法，其特征在于，所述的图像识别模块还包含特征提取模块：从现实场景的图像或视频中提取目标物体的特征；通过角点检测对目标现场的视频图像进行特征提取，具体包括：将得到的新子图像视频通过公式y＝eR+qG+wB转换为灰度图像，其中，e，q，w分别表示为自然常数，通过数学公式对灰度图像进行梯度计算，即：其中G
x
和G
y
分别表示为图像在水平和垂直方向上的梯度，将G
x
和G
y
分别代入公式M＝[(l
xx
，l
xy
)，(l
xy
，l
yy
)]，M表示为每个像素的梯度...

【专利技术属性】
技术研发人员：吴梓祺，张秀峰，李锦军，
申请(专利权)人：珠海中航通用飞机客户服务有限公司，
类型：发明
国别省市：