AR眼镜和通过AR眼镜识别内窥镜采集视频内容的方法技术

本申请涉及视频检测分析技术领域，且更为具体地，涉及一种AR眼镜和通过AR眼镜识别内窥镜采集视频内容的方法，AR眼镜包括：第一接口，用于通过USB、microUSB或Type

【技术实现步骤摘要】
AR眼镜和通过AR眼镜识别内窥镜采集视频内容的方法


[0001]本专利技术涉及视频检测分析
，且更为具体地，涉及一种AR眼镜和通过AR眼镜识别内窥镜采集视频内容的方法。

技术介绍

[0002]AR(Augmented Reality，增强现实)眼镜是一种增强现实技术眼镜，可以将虚拟图像叠加在现实场景中，使用户可以看到虚拟现实与现实世界的混合。AR眼镜通常包括显示屏、计算机视觉技术、传感器和无线连接等功能。其主要优点是可以提供更加沉浸的用户体验和更高的效率，同时也可以帮助用户更好地理解和掌握复杂的信息和技能。
[0003]目前AR眼镜常常连接各种类型的外设，如内窥镜，常见的有线连接方式包括使用USB、microUSB或Type
‑
c等接口等，现有技术中将AR眼镜与内窥镜有线连接并结合使用的缺点在于，AR眼镜常常检测不到接入的内窥镜的视频数据，用户无法查看内窥镜所拍摄的视频内容，造成用户无法使用AR眼镜与内窥镜进行工作。

技术实现思路

[0004]为了解决上述技术问题，提出了本申请，以提供一种克服AR眼镜检测不到已连接的内窥镜所采集的视频数据、无法及时查看内窥镜拍摄的视频内容的AR眼镜和通过AR眼镜识别内窥镜采集视频内容的方法。
[0005]第一方面，本专利技术提供了一种AR眼镜，用于识别内窥镜所采集视频的内容，包括：第一接口，用于通过USB、microUSB或Type
‑
c方式连接所述内窥镜上的第二接口；名称获取模块，获取所述内窥镜在所述AR眼镜的系统中注册的名称；内窥镜启用模块，根据所述内窥镜的名称启用所述内窥镜；视频采集模块，基于V4L2内核驱动，控制所述内窥镜采集视频，其中，所述视频的格式设置为V4L2_PIX_FMT_H264；视频解析模块，对所述视频进行解析以获得视频帧，其中，所述视频帧的数据流类型设置为V41L2_BUF_TYPE_VIDEO_CAPTURE；视频缓冲模块，将所述视频帧转换为供所述AR眼镜的系统应用识别的二进制数组，并以数据流形式放入所述AR眼镜内存中的视频缓冲区；所述系统应用，从所述视频缓冲区中读取所述二进制数组，识别所述二进制数组对应的视频内容。
[0006]优选地，前述的AR眼镜，还包括：图像强化模块，在所述视频解析模块对所述视频进行解析以获得所述视频帧后，获取所述视频帧对应的RGB通道的图像，识别所述RGB通道的图像中的像素值高低，从所述RGB通道中识别出暗通道，以及根据所述暗通道以及所述内窥镜工作环境的环境光强度，计算所述视频帧对应的透射图：
[0007][0008]其中，π(x)为所述视频帧上以x为中心的像素区域，t(x)为所述视频帧对应的透射图，I
c
(y)为所述像素区域在RGB通道的原始图像，env
c
为所述内窥镜工作环境下的环境光在RGB通道下的强度，α为权重系数，基于所述视频帧对应的透射图，对所述视频帧进行图像强
化。
[0009]优选地，前述的AR眼镜，还包括：环境光检测模块，在所述图像强化模块根据所述暗通道以及所述内窥镜工作环境的环境光强度计算所述视频帧对应的透射图之前，检测所述内窥镜的位置坐标以及所述工作环境中的光源的位置坐标，并查询所述光源的功率，根据所述内窥镜的位置坐标以及所述光源的位置坐标和功率，计算所述环境光强度：
[0010][0011]其中，env为所述内窥镜工作环境的环境光强度，nit(p)为功率为p的光源的光强度，L1为所述内窥镜的位置坐标，L2为所述光源的位置坐标，β为表示光强度随距离变化的光强度衰减系数。
[0012]优选地，前述的AR眼镜，还包括：第三接口，用于通过USB、microUSB或Type
‑
c方式连接测温模块上的第四接口；温度采集模块，在所述视频解析模块对所述视频进行解析以获得视频帧后，获取所述测温模块采集的所述内窥镜工作环境的温度；色温调节模块，根据所述内窥镜工作环境的温度，对所述视频帧的色温进行调节：
[0013]Tc
′
＝Tc+γ(T
‑
T0)
[0014]其中，Tc为所述视频帧被调节前的色温，Tc
′
为所述视频帧被调节后的色温，T为所述内窥镜工作环境的温度，T0为所述内窥镜工作环境的期望温度值，所述γ为权重系数。
[0015]优选地，前述的AR眼镜，还包括：无线连接模块，用于通过4G/5G、蓝牙或WiFi方式经互联网连接流媒体服务器；视频转换模块，从所述视频缓冲区中读取所述二进制数组，并转换为通过所述互联网传输的H264格式的流媒体，并按照预先与所述AR眼镜的地址绑定的所述流媒体服务器的标识信息，使用所述无线连接模块发送至所述流媒体服务器，用于在支持H264格式的客户端进行展示。
[0016]优选地，前述的AR眼镜，所述系统应用还从所述二进制数组对应的视频内容中识别所述内窥镜工作环境中存在的目标事物，生成所述目标事物的标识信息，并将所述所述目标事物的标识信息叠加显示在所述视频内容的上层。
[0017]第二方面，本专利技术提供了一种通过AR眼镜识别内窥镜采集视频内容的方法，用于使用前述的AR眼镜识别内窥镜所采集视频的内容，包括：在AR眼镜上的第一接口通过USB、microUSB或Type
‑
c方式连接内窥镜上的第二接口后，获取所述内窥镜在所述AR眼镜的系统中注册的名称；根据所述内窥镜的名称启用所述内窥镜；基于V4L2内核驱动，控制所述内窥镜采集视频，其中，所述视频的格式设置为V4L2_PIX_FMT_H264；对所述视频进行解析以获得视频帧，其中，所述视频帧的数据流类型设置为V41L2_BUF_TYPE_VIDEO_CAPTURE；将所述视频帧转换为供所述AR眼镜的系统应用识别的二进制数组，并以数据流形式放入所述AR眼镜内存中的视频缓冲区；所述AR眼镜的系统应用从所述视频缓冲区中读取所述二进制数组，识别所述二进制数组对应的视频内容。
[0018]优选地，前述的通过AR眼镜识别内窥镜采集视频内容的方法，“对所述视频进行解析以获得视频帧”的步骤还包括：获取所述视频帧对应的RGB通道的图像；识别所述RGB通道的图像中的像素值高低，从所述RGB通道中识别出暗通道；根据所述暗通道以及所述内窥镜工作环境的环境光强度，计算所述视频帧对应的透射图：
[0019][0020]其中，π(x)为所述视频帧上以x为中心的像素区域，t(x)为所述视频帧对应的透射图，I
c
(y)为所述像素区域在RGB通道的原始图像，env
c
为所述内窥镜工作环境下的环境光在RGB通道下的强度，α为权重系数；基于所述视频帧对应的透射图，对所述视频帧进行图像强化。
[0021]优选地，前述的通过AR眼镜识别内窥镜采集视频内容的方法，在“根据所述暗通道以及所述内窥镜工作环境的环境光强度，计算所述视频帧对应的透射图”之前，还包括：检测所述内窥镜的位置坐标以及所述工作环境中的光源的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种AR眼镜，用于识别内窥镜所采集视频的内容，其特征在于，包括：第一接口，用于通过USB、microUSB或Type
‑
c方式连接所述内窥镜上的第二接口；名称获取模块，获取所述内窥镜在所述AR眼镜的系统中注册的名称；内窥镜启用模块，根据所述内窥镜的名称启用所述内窥镜；视频采集模块，基于V4L2内核驱动，控制所述内窥镜采集视频，其中，所述视频的格式设置为V4L2_PIX_FMT_H264；视频解析模块，对所述视频进行解析以获得视频帧，其中，所述视频帧的数据流类型设置为V41L2_BUF_TYPE_VIDEO_CAPTURE；视频缓冲模块，将所述视频帧转换为供所述AR眼镜的系统应用识别的二进制数组，并以数据流形式放入所述AR眼镜内存中的视频缓冲区；所述系统应用，从所述视频缓冲区中读取所述二进制数组，识别所述二进制数组对应的视频内容。2.根据权利要求1所述的AR眼镜，其特征在于，还包括：图像强化模块，在所述视频解析模块对所述视频进行解析以获得所述视频帧后，获取所述视频帧对应的RGB通道的图像，识别所述RGB通道的图像中的像素值高低，从所述RGB通道中识别出暗通道，以及根据所述暗通道以及所述内窥镜工作环境的环境光强度，计算所述视频帧对应的透射图：其中，π(x)为所述视频帧上以x为中心的像素区域，t(x)为所述视频帧对应的透射图，I
c
(y)为所述像素区域在RGB通道的原始图像，env
c
为所述内窥镜工作环境下的环境光在RGB通道下的强度，α为权重系数，基于所述视频帧对应的透射图，对所述视频帧进行图像强化。3.根据权利要求2所述的AR眼镜，其特征在于，还包括：环境光检测模块，在所述图像强化模块根据所述暗通道以及所述内窥镜工作环境的环境光强度计算所述视频帧对应的透射图之前，检测所述内窥镜的位置坐标以及所述工作环境中的光源的位置坐标，并查询所述光源的功率，根据所述内窥镜的位置坐标...

【专利技术属性】
技术研发人员：洪舸，
申请(专利权)人：上海疆通科技有限公司，
类型：发明
国别省市：