基于自适应视觉差异的混合现实交互式导识系统及方法技术方案

本发明专利技术公开了基于自适应视觉差异的混合现实交互式导识系统及方法，该系统主要包括指令接收模块、图像扫描模块、视力检测模块、储存模块、处理模块、虚拟成像模块；指令接收模块用来接收指令并识别目的地；图像扫描模块用来扫描室内场景并提取场景特征信息；视力检测模块用来检测佩戴者双眼的屈光数据；储存模块用来存储室内三维场景模型以及不同视力状态的界面呈现方案；处理模块主要用来规划导航路径；虚拟成像模块用来按相应的界面呈现方案在现实情景中叠加导航路径的虚拟图像。本发明专利技术将视觉定位技术和混合现实技术结合来实现寻路导航与设施导识，可将虚拟影像与现实场景精准契合，融为一体，给用户带来更好的沉浸体验。给用户带来更好的沉浸体验。给用户带来更好的沉浸体验。

【技术实现步骤摘要】
基于自适应视觉差异的混合现实交互式导识系统及方法


[0001]本专利技术属于混合现实
，尤其涉及一种基于自适应视觉差异的混合现实交互式导识系统及方法。

技术介绍

[0002]随着社会现代化程度的提高以及智慧城市建设的深入，商业综合体、医院、地铁、博物馆等公共场所的空间布局越来越复杂，公共场所内布置的智能设施也更加多样化。虽然可利用手机APP进行导航，但手机所带GPS定位模块在室内定位误差大，且信息呈现界面小。MR（混合现实）技术可将虚拟影像与现实场景精准契合，融为一体，如果将MR技术应用于公共场所室内的寻路导航等，可以给用户更好的沉浸体验。虽然目前有将MR技术应用于其他领域，但未考虑对不同视力状态人群差异化呈现混合现实图像，对视力缺陷人群不友好。

技术实现思路

[0003]本专利技术的目的提供一种基于自适应视觉差异的混合现实交互式导识系统及方法，该系统及方法将可交互的虚拟信息叠加到现实环境，为用户提供易解读且高效的导识服务；并且还针对不同视力状态人群差异化呈现混合现实图像，提升各类用户的体验感。
[0004]本专利技术提供的基于自适应视觉差异的混合现实交互式导识系统，包括指令接收模块、图像扫描模块、视力检测模块、储存模块、处理模块、虚拟成像模块、以及第一数据传输模块和第二数据传输模块；所述指令接收模块，用来接收指令并识别目的地，将目的地通过第一数据传输模块发送给处理模块；所述图像扫描模块，用来扫描室内场景并提取场景特征信息，将场景特征信息通过第一数据传输模块发送给处理模块；所述视力检测模块，用来检测佩戴者双眼的屈光数据，屈光数据通过第一数据传输模块发送给处理模块；所述储存模块，用来存储室内三维场景模型以及不同视力状态对应的界面呈现方案，其中界面呈现方案包括界面布局及配色方案；所述处理模块进一步包括视觉定位子模块、导航规划子模块和界面呈现方案子模块；其中，视觉定位子模块用来将场景特征信息与所述储存模块预存的室内三维场景模型进行比对，获取佩戴者在室内的位置信息；导航规划子模块用来根据佩戴者的位置信息和目的地，规划导航路径，并通过第二数据传输模块发送给虚拟成像模块；界面呈现方案子模块用来根据屈光数据获取佩戴者的视力状况，从储存模块中调取相应的界面呈现方案并通过第二数据传输模块发送给虚拟成像模块；所述虚拟成像模块用来利用混合现实技术，按相应的界面呈现方案在现实情景中叠加导航路径的虚拟图像。
[0005]在一些具体实施方式中，指令接收模块接收的指令为语音指令或手势指令。
[0006]在一些具体实施方式中，储存模块还存储有室内设施的三维物体模型及操作方法；所述处理模块还包括设施导识子模块；当图像扫描模块接收到设施识别指令时，所述图像扫描模块用来对目标设施进行扫描并提取设施特征信息，并通过第一数据传输模块发送给处理模块；在接收到设施特征信息后，所述设施导识子模块将设施特征信息与所述储存模块内预存的三维物体模型进行匹配，识别目标设施，同时调取目标设施对应的操作方法，并通过第二数据传输模块发送给虚拟成像模块；所述虚拟成像模块利用混合现实技术，按相应的界面呈现方案，在目标设施操作区域叠加操作方法的虚拟图像。
[0007]在一些具体实施方式中，设施识别指令为手势指令。
[0008]在一些具体实施方式中，储存模块中不同视力状态人群对应的界面呈现方案采用如下方法获得：（1）预定义若干不同视力状态以及各视力状态对应的屈光度；（2）通过调研确定各类视力状态人群适用的界面布局，界面布局包括界面分区、各区域尺寸及位置；（3）利用遗传法分别确定各类视力状态人群适用的配色方案，进一步包括：S100：遵循基本美学色彩搭配原理，在当前视力状态人群适用的界面布局上对各区域随机赋予色彩值，经排列组合获得预设数量的不同配色方案；S200：对各配色方案中色彩值进行编码，之后作为初代群体种群；S300：获取各配色方案的主观评分，利用三角模糊数量化评分，利用群体意象偏好模型分别构建各配色方案对应的三角模糊数矩阵；S400：基于三角模糊数矩阵计算当前视力状态人群对各配色方案的偏好共识度；S500：依次判断各配色方案的偏好共识度是否大于预设的偏好共识度阈值β0，一旦有配色方案的偏好共识度大于β0，则将该配色方案作为最优配色方案，执行步骤S700；若所有配色方案的偏好共识度均不大于β0，继续执行步骤S600；β0为经验值；S600：以当前群体种群为基础，依次进行选择、交叉、变异操作，将生成的新配色方案作为新的群体种群，再次执行步骤S300~S500，直至偏好共识度大于偏好共识度阈值，执行步骤S700；S700：对最优配色方案进行解码，将解码后的配色方案与当前视力状态人群适用的界面布局结合，即获得当前视力状态人群对应的界面呈现方案。
[0009]在一些具体实施方式中，步骤（2）进一步包括：将界面划分为导识区域、提示区域和选择区域；对各类视力状态人群进行调研，获得各类视力状态人群对界面的要求，包括界面中三个区域的重要程度、尺寸以及位置；再结合通用的导识界面布局原则，分别生成适用各类视力状态人群的界面布局。
[0010]在一些具体实施方式中，步骤S400中基于三角模糊数矩阵计算当前视力状态人群对配色方案的偏好共识度，具体为：
配色方案对应的三角模糊数矩阵为；针对各用户主观调研的矩阵化处理的结果，用算数平均的方式聚合化处理向量之间的距离T，并以该距离来衡量不同视力状态人群对混合现实界面色彩偏好的差异性，；偏好共识度；其中，表示当前视力状态人群中t个用户对当前配色方案的三角模糊数，对第j、k个用户，对应的三角模糊数分别记为、。
[0011]在一些具体实施方式中，步骤S600的选择操作中，采用偏好共识度与偏好共识度阈值的距离的倒数作为适应度，采用各配色方案适应度与所有配色方案适应度总和之商作为各配色方案被选中的概率，基于概率和轮盘赌法选取进行后续交叉、变异的群体种群。
[0012]本专利技术提供的一种基于自适应视觉差异的混合现实交互式导识方法为：视力检测模块检测佩戴者双眼的屈光数据，屈光数据发送给处理模块；图像扫描模块扫描佩戴者所在位置的场景并提取场景特征信息，场景特征信息发送至处理模块；处理模块中的视觉定位子模块将场景特征信息与储存模块预存的室内三维场景模型进行比对，获取佩戴者在室内的位置信息；处理模块中的界面呈现方案子模块根据屈光数据获取佩戴者的视力状况，从储存模块中调取佩戴者相应的界面呈现方案；当指令接收模块接收到寻路导航指令，指令接收模块识别目的地并将目的地发送给处理模块；处理模块中导航规划子模块根据佩戴者的位置信息和目的地，规划导航路径；处理模块将相应的界面呈现方案和导航路径发送给虚拟成像模块；虚拟成像模块利用混合现实技术，按相应的界面呈现方案在现实情景中叠加导航
路径。
[0013]在一些具体实施方式中，上述混合现实交互式导识方法还包括：当图像扫描模块接收到设施识别指令，图像扫描模块对佩戴者选取的目标设施进行扫描并提取设施特征信息，将设施特征信息发送给处理模块；处理模块中的设施导识子模块将设施特征信息与储存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自适应视觉差异的混合现实交互式导识系统，其特征是：包括指令接收模块、图像扫描模块、视力检测模块、储存模块、处理模块、虚拟成像模块、以及第一数据传输模块和第二数据传输模块；所述指令接收模块，用来接收指令并识别目的地，将目的地通过第一数据传输模块发送给处理模块；所述图像扫描模块，用来扫描室内场景并提取场景特征信息，将场景特征信息通过第一数据传输模块发送给处理模块；所述视力检测模块，用来检测佩戴者双眼的屈光数据，屈光数据通过第一数据传输模块发送给处理模块；所述储存模块，用来存储室内三维场景模型以及不同视力状态对应的界面呈现方案，其中界面呈现方案包括界面布局及配色方案；所述处理模块进一步包括视觉定位子模块、导航规划子模块和界面呈现方案子模块；其中，视觉定位子模块用来将场景特征信息与所述储存模块预存的室内三维场景模型进行比对，获取佩戴者在室内的位置信息；导航规划子模块用来根据佩戴者的位置信息和目的地，规划导航路径，并通过第二数据传输模块发送给虚拟成像模块；界面呈现方案子模块用来根据屈光数据获取佩戴者的视力状况，从储存模块中调取相应的界面呈现方案并通过第二数据传输模块发送给虚拟成像模块；所述虚拟成像模块用来利用混合现实技术，按相应的界面呈现方案在现实情景中叠加导航路径的虚拟图像。2.如权利要求1所述的基于自适应视觉差异的混合现实交互式导识系统，其特征是：所述指令接收模块接收的指令为语音指令或手势指令。3.如权利要求1所述的基于自适应视觉差异的混合现实交互式导识系统，其特征是：所述储存模块还存储有室内设施的三维物体模型及操作方法；所述处理模块还包括设施导识子模块；当图像扫描模块接收到设施识别指令时，所述图像扫描模块用来对目标设施进行扫描并提取设施特征信息，并通过第一数据传输模块发送给处理模块；在接收到设施特征信息后，所述设施导识子模块将设施特征信息与所述储存模块内预存的三维物体模型进行匹配，识别目标设施，同时调取目标设施对应的操作方法，并通过第二数据传输模块发送给虚拟成像模块；所述虚拟成像模块利用混合现实技术，按相应的界面呈现方案，在目标设施操作区域叠加操作方法的虚拟图像。4.如权利要求3所述的基于自适应视觉差异的混合现实交互式导识系统，其特征是：所述设施识别指令为手势指令。5.如权利要求1所述的基于自适应视觉差异的混合现实交互式导识系统，其特征是：储存模块中不同视力状态人群对应的界面呈现方案采用如下方法获得：（1）预定义若干不同视力状态以及各视力状态对应的屈光度；（2）通过调研确定各类视力状态人群适用的界面布局，界面布局包括界面分区、各区域尺寸及位置；（3）利用遗传法分别确定各类视力状态人群适用的配色方案，进一步包括：
S100：遵循基本美学色彩搭配原理，在当前视力状态人群适用的界面布局上对各区域随机赋予色彩值，经排列组合获得预设数量的不同配色方案；S200：对各配色方案中色彩值进行编码，之后作为初代群体种群；S300：获取各配色方案的主观评分，利用三角模糊数量化评分，利用群体意象偏好模型分别构建各配色方案对应的三角模糊数矩阵；S400：基于三角模糊数矩阵计算当前视力状态人群对各配色方案的偏好共识度；S500：依次判断各配色方案的偏好共识度是否大于预设的偏好共识度阈值β0，一旦有配色方案的偏好共识...

【专利技术属性】
技术研发人员：胡珊，荣令达，贾琦，韩嘉林，蓝峰，张东，王凯华，孙锐奇，
申请(专利权)人：湖北工业大学，
类型：发明
国别省市：