【技术实现步骤摘要】
本专利技术涉及增强现实交互，具体为基于ar眼镜的多模态大模型的主动交互系统。
技术介绍
1、随着ar技术的快速发展，用户期望获得更自然、直观的交互体验。然而，现有的ar交互系统多依赖单一的交互方式，如视觉或语音，这在多变的使用环境中可能受限，无法满足用户对于高效、准确交互的需求。此外，单一模态可能因环境噪声、用户行为的变化等因素而降低交互的准确性和可靠性；
2、为了克服单一交互模态的局限，多模态交互系统应运而生，它能够结合视觉、语音、手势等多种交互方式，提供更加丰富和适应性强的用户体验。但是，多模态系统在实际应用中面临着数据融合、模态选择、不确定性处理等技术挑战。如何有效地整合来自不同模态的信息，以及如何在不同场景下智能地选择合适的交互模态，是实现高效多模态交互系统的关键问题。此外，现有系统在处理模糊或不确定的交互命令时，往往缺乏有效的策略来提高交互的准确性。
3、为了解决上述缺陷，现提供技术方案。
技术实现思路
1、本专利技术的目的在于解决现有ar交互系统中单一模态局限性、多模态信息融合复杂性以及不确定性交互命令处理效率低下的问题，而提出基于ar眼镜的多模态大模型的主动交互系统。
2、本专利技术的目的可以通过以下技术方案实现：
3、基于ar眼镜的多模态大模型的主动交互系统，包括：
4、确定模块，用于根据应用场景和用户需求，选择最对应的主交互模态，具体过程如下：
5、通过问卷及使用历史方式收集用户对不同交互模态
6、根据环境特点评估不同模态的准确性和适用性；
7、为每种交互模态设定优先级，并结合用户需求和环境适应性；
8、根据优先级和场景评估结果选择主交互模态；
9、设计策略用于实现在主模态不适用或需求变化时平滑切换到其他模态；
10、根据选择的模态适配用户界面，确保直观交互；
11、监控用户交互行为和反馈，评估主模态的有效性，并在需要调整时进行交互模态的调整选择；
12、利用机器学习不断优化模态选择策略，适应用户需求；
13、在收集和处理用户数据时，确保符合安全标准，提供透明的用户数据使用政策，并允许用户控制自己的数据；
14、交互分析模块，用于对主交互模态形成的交互命令进行分析；
15、辅助分析模块，用于对交互分析模块分析的不确定交互命令通过辅助交互模态进行确定；
16、决策模块，用于采用机器学习和模式识别技术，综合分析所有交互模态信息，确定最终交互命令。
17、进一步的，所述交互分析模块对主交互模态形成的交互命令进行分析的具体步骤如下：
18、清洗数据，去除噪声和异常值，标准化数据格式；
19、从数据中提取对应的特征；
20、应用nlp、计算机视觉或运动跟踪技术解析交互命令；
21、对识别的交互意图进行评分，判断准确性和可靠性；
22、结合用户历史行为和环境因素验证交互意图；
23、识别不确定性或模糊性，准备触发辅助交互模态，当置信度低于阈值时，请求并触发辅助分析模块；
24、根据分析结果优化交互命令，提高清晰度和准确性；
25、暂存分析后的命令和置信度供决策模块使用；
26、设计反馈机制，根据用户反馈调整分析参数；
27、检查不同模态间的信息一致性，增强可靠性。
28、进一步的，所述交互分析模块中识别不确定性或模糊性，准备触发辅助交互模态，当置信度低于阈值时，请求并触发辅助分析模块的具体操作步骤如下：
29、明确交互命令中的不确定性或模糊性特征；
30、实施工具置信度评分机制，使用声学和语言模型概率评估语音识别置信度；
31、设定评分阈值，低于该阈值的命令视为存在不确定性；
32、对比不同模态数据，当差异大于预设差异时，则判断存在不确定性；
33、应用统计或机器学习算法识别数据中的异常值；
34、使用模糊逻辑处理模糊性，将数值转换为模糊集合；
35、结合环境噪音等上下文信息评估不确定性；
36、分析用户行为模式，与历史行为不一致的命令需要进行确认，并评估命令的深度和复杂性；
37、识别到不确定性时触发预定义的辅助交互模态；
38、用概率值、等级或模糊值量化不确定性；
39、用不确定性标记的数据训练模型，自动识别和处理不确定性；
40、持续监测并根据性能和反馈自适应调整策略。
41、进一步的，所述辅助分析模块对交互分析模块分析的不确定交互命令通过辅助交互模态进行确定的具体操作步骤如下：
42、从交互分析模块接收交互命令和置信度，识别低于预设置信度阈值的命令；
43、根据应用场景、用户需求和环境条件选择最佳的辅助交互模态；
44、激活相应传感器收集辅助交互模态数据，并与主模态数据同步时间戳和上下文；
45、分析辅助交互模态数据，提取特征，并与主模态数据融合以增强决策输入；
46、结合主辅模态信息重新识别用户意图，并对增强后的命令重新评估置信度；
47、向用户提供交互意图摘要，请求确认或更正，并将反馈集成到系统中；
48、设定策略解决主交互模态与辅助交互模态数据间的冲突；
49、监控辅助分析模块性能，根据反馈调整算法和参数；
50、根据用户反馈和行为模式使系统学习并适应用户对辅助交互模态的使用习惯，记录关键数据用于系统评估和改进。
51、进一步的，所述辅助分析模块中根据应用场景、用户需求和环境条件选择最佳的辅助交互模态的具体操作步骤如下：
52、分析光线、噪音及空间环境因素，并观察用户活动状态；
53、根据任务类型和复杂性选择对应的辅助交互模态；
54、对选择的辅助交互模态特性进行分析，根据用户历史偏好和行为预测辅助交互模态；
55、评估ar眼镜的传感器精度和处理能力，确定支持的交互模态；
56、根据任务对实时性的需求选择快速响应的交互模态；
57、评估系统资源，选择资源范围内的交互模态，避免选择的交互模态导致系统过载；
58、设计模态间的集成和切换逻辑，实现无缝切换；
59、实现实时监测，收集可量化参数动态调整模态选择；
60、利用决策支持系统结合上述因素自动选择最优辅助交互模态。
61、进一步的，所述决策模块综合分析所有交互模态信息确定最终交互命令具体操作步骤如下：
62、收集主交互模态和辅助交互模态数据，提取并整合特征；
63、根据各模态置信度为特征分配权重；
64、应用分类器及聚类算法进行特征本文档来自技高网...
【技术保护点】
1.基于AR眼镜的多模态大模型的主动交互系统，其特征在于，包括：
2.根据权利要求1所述的基于AR眼镜的多模态大模型的主动交互系统，其特征在于，所述交互分析模块对主交互模态形成的交互命令进行分析的具体步骤如下：
3.根据权利要求2所述的基于AR眼镜的多模态大模型的主动交互系统，其特征在于，所述交互分析模块中识别不确定性或模糊性，准备触发辅助交互模态，当置信度低于阈值时，请求并触发辅助分析模块的具体操作步骤如下：
4.根据权利要求1所述的基于AR眼镜的多模态大模型的主动交互系统，其特征在于，所述辅助分析模块对交互分析模块分析的不确定交互命令通过辅助交互模态进行确定的具体操作步骤如下：
5.根据权利要求4所述的基于AR眼镜的多模态大模型的主动交互系统，其特征在于，所述辅助分析模块中根据应用场景、用户需求和环境条件选择最佳的辅助交互模态的具体操作步骤如下：
6.根据权利要求1所述的基于AR眼镜的多模态大模型的主动交互系统，其特征在于，所述决策模块综合分析所有交互模态信息确定最终交互命令具体操作步骤如下：
7.根据权
8.根据权利要求7所述的基于AR眼镜的多模态大模型的主动交互系统，其特征在于，所述决策模块中决策优化的过程如下：
...【技术特征摘要】
1.基于ar眼镜的多模态大模型的主动交互系统，其特征在于，包括：
2.根据权利要求1所述的基于ar眼镜的多模态大模型的主动交互系统，其特征在于，所述交互分析模块对主交互模态形成的交互命令进行分析的具体步骤如下：
3.根据权利要求2所述的基于ar眼镜的多模态大模型的主动交互系统，其特征在于，所述交互分析模块中识别不确定性或模糊性，准备触发辅助交互模态，当置信度低于阈值时，请求并触发辅助分析模块的具体操作步骤如下：
4.根据权利要求1所述的基于ar眼镜的多模态大模型的主动交互系统，其特征在于，所述辅助分析模块对交互分析模块分析的不确定交互命令通过辅助交互模态进行确定的具体操作步骤如下：...
【专利技术属性】
技术研发人员：王加芳，曹佰鑫，古鉴，茹忆，
申请(专利权)人：杭州李未可科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。