智能眼镜操控系统技术方案

本发明专利技术提供了智能眼镜操控系统，其控制MR眼镜的摄像头拍摄得到外界环境图像，对外界环境图像进行图像画面预处理，再对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；最后根据关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像，以及将影像加工模块生成的待显示影像的数据流传输到MR眼镜；该智能眼镜操控系统通过对外界环境进行图像拍摄和识别加工处理后，得到外界环境存在的不同目标对象的实时状态信息，并将实时状态信息、或者用户定义的文字或图形元素加载叠加到MR眼镜的待显示影像，这样佩戴者在观看MR眼镜显示的虚拟影像时，提高MR眼镜与外界现实环境的显示匹配度和显示智能化程度。度。度。

【技术实现步骤摘要】
智能眼镜操控系统


[0001]本专利技术涉及MR显示的
，特别涉及智能眼镜操控系统。

技术介绍

[0002]MR(Mixed Reality)眼镜是用于向佩戴者显示虚拟现实影像的头戴式显示设备。现有的MR眼镜都是将虚拟影像与现实影像进行叠加后，再呈现给佩戴者，其中虚拟影像是预先设定好的影像，其在显示过程中根据MR眼镜所处的现实环境进行适应性的调整变化，这导致MR眼镜无法根据现实环境的变化进行匹配的显示调整以及无法实现对现实影像的渲染，从而降低MR眼镜与外界现实环境的显示匹配度和显示智能化程度。

技术实现思路

[0003]针对现有技术存在的缺陷，本专利技术提供智能眼镜操控系统，其控制MR眼镜的摄像头拍摄得到外界环境图像，对外界环境图像进行图像画面预处理，再对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；最后根据关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像，以及将影像加工模块生成的待显示影像的数据流传输到MR眼镜；该智能眼镜操控系统通过对外界环境进行图像拍摄和识别加工处理后，得到外界环境存在的不同目标对象的实时状态信息，并将实时状态信息、或者用户定义的文字或图形元素加载叠加到MR眼镜的待显示影像，这样佩戴者在观看MR眼镜显示的虚拟影像时，能够同时观看到经过渲染加工的现实影像，提高MR眼镜与外界现实环境的显示匹配度和显示智能化程度。
[0004]本专利技术提供智能眼镜操控系统，所述智能眼镜操控系统与MR眼镜连接，所述智能眼镜操控系统包括：
[0005]摄像控制模块，其用于控制MR眼镜的第一摄像头对外界环境进行拍摄，得到外界环境图像；
[0006]图像预处理模块，其用于对所述外界环境图像进行图像画面预处理；
[0007]图像识别模块，其用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；
[0008]影像加工模块，其用于根据所述关联信息，对目标对象的识别结果、或者用户定义的文字或图形元素叠加到MR眼镜的待显示影像；
[0009]显示控制模块，其用于将所述影像加工模块生成的待显示影像的数据流传输到MR眼镜。
[0010]进一步，所述摄像控制模块向MR眼镜的第一摄像头发送第一摄像控制指令，指示第一摄像头对MR眼镜所处的外界环境进行扫描拍摄，得到关于外界环境的1080P图像数据流；
[0011]以及，
[0012]所述图像预处理模块对所述外界环境图像进行图像画面预处理之前还包括：
[0013]按照预设时间间隔，从所述1080P图像数据流中依次提取若干图像帧。
[0014]进一步，所述图像预处理模块对所述外界环境图像进行图像画面预处理包括：
[0015]所述图像预处理模块对提取得到的每一图像帧进行图像画面对比度调整预处理和/或图像画面分辨率调整预处理，从而使预处理后的图像画面满足预设对比度值范围和/或预设分辨率值范围条件。
[0016]进一步，所述图像识别模块用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息具体包括：
[0017]所述图像识别模块根据预处理的图像帧的图像画面轮廓特征，确定图像帧的图像画面上存在的目标对象及其所处位置信息；
[0018]所述图像识别模块还对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息；
[0019]所述图像识别模块还将所述位置信息、所述缺陷信息和所述动作状态信息作为目标对象的关联信息，上传到所述影像加工模块。
[0020]进一步，所述图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息具体包括：
[0021]所述图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理，得到目标对象的表面缺陷信息和/或结构缺陷信息；其中，所述表面缺陷信息包括表面划痕缺陷、表面裂纹缺陷或表面涂层脱落缺陷；所述结构缺陷信息包括目标对象包含的零部件的脱落缺陷或变形缺陷；
[0022]所述图像识别模块对图像帧的图像画面存在的每个目标对象进行状态识别处理，从而得到目标对象包含的部件的动作状态信息；其中，所述动作状态信息包括部件的开关状态信息或部件的动作姿势状态信息。
[0023]进一步，所述影像加工模块根据对所述关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像具体包括：
[0024]所述影像加工模块根据所述位置信息，将每个目标对象对应的缺陷信息和/或动作状态信息叠加到MR眼镜的待显示影像中相同目标对象的附近画面区域；
[0025]所述显示控制模块将所述影像加工模块生成的待显示影像的数据流进行数据制式的调整后，再传输到MR眼镜的显示器。
[0026]进一步，所述智能眼镜操控系统还包括位姿传感器控制模块和姿态数据处理模块；
[0027]所述位姿传感器控制模块用于控制安装于MR眼镜所处室内空间的九轴传感器采集室内空间的姿态数据；
[0028]所述姿态数据处理模块用于对所述姿态数据进行处理，得到所述室内空间的姿态朝向信息；
[0029]所述摄像控制模块还用于控制MR眼镜的第二摄像头对MR眼镜所处室内空间存在的人员对象进行拍摄，得到人员对象图像；
[0030]所述图像识别模块还用于对所述人员对象图像进行识别处理，确定人员对象在所述室内空间的存在位置信息；
[0031]所述影像加工模块还将所述姿态朝向信息和人员对象在所述室内空间的存在位
置信息叠加到MR眼镜的待显示影像。
[0032]进一步，所述摄像控制模块还用于控制MR眼镜的第三摄像头对MR眼镜的佩戴者的手部图像；
[0033]所述图像识别模块还用于对所述手部图像进行识别，确定佩戴者的手势信息；
[0034]所述智能眼镜操控系统还包括显示状态调整模块，所述显示状态调整模块根据所述手势信息，向MR眼镜发送显示状态调整指令，从而使MR眼镜调整自身的显示状态。
[0035]进一步，所述智能眼镜操控系统还包括用于拍摄MR眼镜的佩戴者的眼部图像的第四摄像头；
[0036]所述摄像控制模块还用于控制所述第四摄像头；
[0037]所述MR眼镜上设置有物理按键，当所述物理按键被按下时，所述MR眼镜会进入自动识别矫正提醒状态，所述摄像控制模块会控制所述第四摄像头采集佩戴者的眼部图像；所述图像识别模块还用于对所述眼部图像进行识别，确定佩戴者的眼睛瞳孔中心位置；
[0038]所述MR眼镜上还设置有左右镜框振动模块，所述智能眼镜操控系统根据所述眼睛瞳孔中心位置，控制所述左右镜框振动模块进行振动，从而向佩戴者发出振动动作以提醒所述MR眼镜佩戴正确与否；
[0039]所述左右镜框振动模块包括设置在所述MR眼镜的左右镜框的左右上下边框中心点位置的致动器，每个致动器能够独立进行振动，其具体过程为：
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.智能眼镜操控系统，所述智能眼镜操控系统与MR眼镜连接，其特征在于，所述智能眼镜操控系统包括：摄像控制模块，其用于控制MR眼镜的第一摄像头对外界环境进行拍摄，得到外界环境图像；图像预处理模块，其用于对所述外界环境图像进行图像画面预处理；图像识别模块，其用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息；影像加工模块，其用于根据所述关联信息，对目标对象的识别结果、或者用户定义的文字或图形元素叠加到MR眼镜的待显示影像；显示控制模块，其用于将所述影像加工模块生成的待显示影像的数据流传输到MR眼镜。2.如权利要求1所述的智能眼镜操控系统，其特征在于：所述摄像控制模块向MR眼镜的第一摄像头发送第一摄像控制指令，指示第一摄像头对MR眼镜所处的外界环境进行扫描拍摄，得到关于外界环境的1080P图像数据流；以及，所述图像预处理模块对所述外界环境图像进行图像画面预处理之前还包括：按照预设时间间隔，从所述1080P图像数据流中依次提取若干图像帧。3.如权利要求2所述的智能眼镜操控系统，其特征在于：所述图像预处理模块对所述外界环境图像进行图像画面预处理包括：所述图像预处理模块对提取得到的每一图像帧进行图像画面对比度调整预处理和/或图像画面分辨率调整预处理，从而使预处理后的图像画面满足预设对比度值范围和/或预设分辨率值范围条件。4.如权利要求3所述的智能眼镜操控系统，其特征在于：所述图像识别模块用于对预处理后的外界环境图像进行识别，确定外界环境图像中存在的目标对象的关联信息具体包括：所述图像识别模块根据预处理的图像帧的图像画面轮廓特征，确定图像帧的图像画面上存在的目标对象及其所处位置信息；所述图像识别模块还对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息；所述图像识别模块还将所述位置信息、所述缺陷信息和所述动作状态信息作为目标对象的关联信息，上传到所述影像加工模块。5.如权利要求4所述的智能眼镜操控系统，其特征在于：所述图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理和状态识别处理，从而得到目标对象的缺陷信息和动作状态信息具体包括：所述图像识别模块对图像帧的图像画面存在的每个目标对象进行缺陷识别处理，得到目标对象的表面缺陷信息和/或结构缺陷信息；其中，所述表面缺陷信息包括表面划痕缺陷、表面裂纹缺陷或表面涂层脱落缺陷；所述结构缺陷信息包括目标对象包含的零部件的脱落缺陷或变形缺陷；所述图像识别模块对图像帧的图像画面存在的每个目标对象进行状态识别处理，从而
得到目标对象包含的部件的动作状态信息；其中，所述动作状态信息包括部件的开关状态信息或部件的动作姿势状态信息。6.如权利要求4所述的智能眼镜操控系统，其特征在于：所述影像加工模块根据对所述关联信息，对目标对象的识别结果叠加到MR眼镜的待显示影像具体包括：所述影像加工模块根据所述位置信息，将每个目标对象对应的缺陷信息和/或动作状态信息叠加到MR眼镜的待显示影像中相同目标对象的附近画面区域；所述显示控制模块将所述影像加工模块生成的待显示影像的数据流进行数据制式的调整后，再传输到MR眼镜的显示器。7.如权利要求1所述的智能眼镜操控系统，其特征在于：所述智能眼镜操控系统还包括位姿传感器控制模块和姿态数据处理模块；所述位姿传感器控制模块用于控制安装于MR眼镜所处室内空间的九轴传感器采集室内空间的姿态数据；所述姿态数据处理模块用于对所述姿态数据进行处理，得到所述室内空间的姿态朝向信息；所述摄像控制模块还用于控制MR眼镜的第二摄像头对MR眼镜所处室内空间存在的人员对象进行拍摄，得到人员对象图像；所述图像识别模块还用于对所述人员对象图像进行识别处理，确定人员对象在所述室内空间的存在位置信息；所述影像加工模块还将所述姿态朝向信息和人员对象在所述室内空间的存在位置信息叠加到MR眼镜的待显示影像。8.如权利要求1所述的智能眼镜操控系统，其特征在于：所述摄像控制模块还用于控制MR眼镜的第三摄像头对MR眼镜的佩戴者的手部图像；所述图像识别模块还用于对所述手部图像进行识别，确定佩戴者的手势信息；所述智能眼镜操控系统还包括显示状态调整模块，所述显示状态调整模块根据所述手势信息，向MR眼镜发送显示状态调整指令，从而使MR眼镜调整自身的显示状态。9.如权利要求1所述的...

【专利技术属性】
技术研发人员：房洪臣，王朋，王华，田策，何军潮，
申请(专利权)人：北京领为军融科技有限公司，
类型：发明
国别省市：